Materi Softskill oleh :
Alvi Fajrin
Fajar Rizky
Riyana Wicaksono (56412508)
Teuku Alfian Pase (57412341)
Pada tugas softskill mata kuliah Pengantar Web Science kali ini, akan dibahas tentang Analisis Web.
Image by
: intersearchmedia.com
Analisis
Web adalah pengukuran, pengumpulan, analisis dan pelaporan data internet untuk
tujuan memahami dan mengoptimalkan penggunaan web. Web analytics bukan hanya
alat untuk mengukur lalu lintas web, tetapi dapat digunakan sebagai alat untuk
bisnis dan riset pasar, dan untuk menilai dan meningkatkan efektivitas dari
sebuah situs web, membantu orang untuk memperkirakan bagaimana lalu lintas ke
situs web berubah setelah peluncuran
kampanye iklan baru. Web analytics menyediakan informasi tentang jumlah
pengunjung ke sebuah situs web dan jumlah tampilan halaman. Ini membantu
mengukur lalu lintas dan popularitas tren yang berguna untuk riset pasar.
Pengukuran
Web
pengukuran
kinerja web (web measurement) adalah seni untuk mengumpulkan data dan
menganalisa data agar dapat digunakan dan mudah dibaca oleh manusia. Salah satu
teknik mengukur dan menguji suatu kinerja web adalah dengan mengukur pengalaman
seseorang atau user experience pengunjung situs yang berinteraksi dengan
halaman-halaman web yang berada di internet.
Ada
beberapa tools yang digunakan untuk mengukur website dari segi kecepatan akses
dan performanya, serta mengukur banyaknya pengunjung suatu website. Dibawah ini
akan dipaparkan beberapa tools tersebut:
1.
Pingdom Tools
Merupakan
sebuah alat ukur kecepatan website dapat di akses, nilai dari sebuah website,
dan beberapa ukuran dari sebuah website tersebut.
Beberapa
kelebihannya di kategorikan sebagai berikut
:
Performance
Grade : melihat nilai kecepatan performa halaman web, dari akses DNS, browser
cache, combine external css dan lain-lain.
Waterfall
: melihat detail kecepatan akses ketika membuka halaman web, dari gambar bahkan
sampai seberapa cepat script tersebut dapat di akses.
Page
Analysis : melihat detail analisa halaman web.
History
: melihat detail akses dari beberapa hari lalu.
Kekurangan
yang terdapat pada tools ini, sama seperti tools alat ukur akses web pada
umumnya yaitu Membutuhkan akses internet yang stabil, karena tidak mungkin kita
bisa mengukur kecepatan akses suatu website kalau akses internet kita terhadap
website tersebut tidak stabil/berjalan dengan baik.
2.
GTmetrix
image by
: buildajoomlawebsite.com
Adalah
website untuk menganalisa kecepatan web yang tersedia secara gratis, dengan
menggunakan google page speed dan Yahoo Yslow sebagai analyze engine dan untuk
menampilkan hasil serta rekomendasi yang harus dilakukan.
Dengan
GTmetrix juga dapat membandingkan beberapa URL sekaligus
3. Alexa
Rank
Alexa
Internet, Inc. adalah perusahaan yang mengoperasikan situs yang menyediakan
informasi mengenai banyaknya pengunjung suatu situs dan urutannya. Cara kerja
Alexa rank Alexa memberikan peringkat ke sebuah situs berdasarkan jumlah
pengunjung unik. Semakin rendah alexarank dari situs berarti situs memiliki
sedikit pengunjung unik.Jadi jika Anda bisa mendapatkan lebih banyak traffic ke
situs Anda, Anda akan mendapatkan lebih rendah alexa rank.
Selain
tools-tools diatas, masih banyak tools serupa lainnya yang bisa dicari sendiri
di Search Engine.
Crawlers
image by
: seo-advisors.com
Crawler
adalah robot milik search engine yg tugasnya mengumpulkan informasi pada
halaman blog/web dan semua media internet yg bisa diindeks oleh search engine.
Cara
kerja Crawlers, Pertama robot mengumpulkan informasi pada halaman blog/web dan
semua media internet yg bisa diindeks oleh search engine. Robot tersebut
kemudian membawa informasi yg didapatnya ke data center. Di data center, data
tersebut kemudian di oleh sedemikian rupa, apabila memenuhi persyaratan, maka
dia akan dimasukkan ke dalam indeks. Nah, proses yg dilakukan oleh user search
engine adalah memanggil indeks-indeks tersebut, apabila indeks2 memiliki
kesesuaian dengan yg dicari user (dan bila memiliki peringkat yg baik), di akan
ditampilkan di halaman utama search engine (berperingkat).
Web
crawler adalah suatu program atau script otomat yang relatif simple, yang
dengan metode tertentu melakukan scan atau “crawl” ke semua halaman-halaman
Internet untuk membuat index dari data yang dicarinya. Nama lain untuk web
crawl adalah web spider, web robot, bot, crawl dan automatic indexer.
Web
crawl dapat digunakan untuk beragam tujuan. Penggunaan yang paling umum adalah
yang terkait dengan search engine. Search engine menggunakan web crawl untuk
mengumpulkan informasi mengenai apa yang ada di halaman-halaman web publik.
Tujuan utamanya adalah mengumpukan data sehingga ketika pengguna Internet mengetikkan
kata pencarian di komputernya, search engine dapat dengan segera menampilkan
web site yang relevan.
Ketika
web crawl suatu search engine mengunjungi halaman web, ia “membaca” teks yang
terlihat, hyperlink, dan konten berbagai tag yang digunakan dalam situs seperti
meta tag yang banyak berisi keyword. Berdasar informasi yang dikumpulkan web
crawl, search engine akan menentukan mengenai apakah suatu situs dan mengindex
informasinya. Website itu kemudian dimasukkan ke dalam database search engine
dan dilakukan proses penentuan ranking halaman-halamannya.
Search
Engine
image by
: encrypted-tbn0.gstatic.com
Mesin
pencari atau Search engine adalah program komputer yang dirancang untuk
melakukan pencarian atas berkas-berkas yang tersimpan dalam layanan www, ftp,
publikasi milis, ataupun news group dalam sebuah ataupun sejumlah komputer
peladen dalam suatu jaringan. Search engine merupakan perangkat pencari
informasi dari dokumen-dokumen yang tersedia. Hasil pencarian umumnya
ditampilkan dalam bentuk daftar yang seringkali diurutkan menurut tingkat
akurasi ataupun rasio pengunjung atas suatu berkas yang disebut sebagai hits.
Informasi yang menjadi target pencarian bisa terdapat dalam berbagai macam
jenis berkas seperti halaman situs web, gambar, ataupun jenis-jenis berkas
lainnya. Beberapa mesin pencari juga diketahui melakukan pengumpulan informasi
atas data yang tersimpan dalam suatu basisdata ataupundirektori web.
Sebagian
besar mesin pencari dijalankan oleh perusahaan swasta yang menggunakan
algoritma kepemilikan dan basisdata tertutup, di antaranya yang paling populer
adalah Google (MSN Search danYahoo!). Telah ada beberapa upaya menciptakan
mesin pencari dengan sumber terbuka (open source), contohnya adalah Htdig,
Nutch, Egothor dan OpenFTS.
Mesin
pencari web bekerja dengan cara menyimpan informasi tentang banyak halaman web,
yang diambil langsung dari WWW. Halaman-halaman ini diambil dengan web crawler
— browser web otomatis yang mengikuti setiap pranala/link yang dilihatnya. Isi
setiap halaman lalu dianalisis untuk menentukan cara indeks-nya (misalnya,
kata-kata diambil dari judul, subjudul, atau field khusus yang disebut meta
tag). Data tentang halaman web disimpan dalam sebuah database indeks untuk
digunakan dalam pencarian selanjutnya. Sebagian mesin pencari, seperti Google,
menyimpan seluruh atau sebagian halaman sumber (yang disebut cache) maupun informasi
tentang halaman web itu sendiri.
Selain
halaman web, Mesin pencari juga menyimpan dan memberikan informasi hasil
pencarian berupa pranala yang merujuk pada file, seperti file audio, file
video, gambar, foto dan sebagainya, serta informasi tentang seseorang, suatu
produk, layanan, dan informasi beragam lainnya yang semakin terus berkembang
sesuai dengan perkembangan teknologi informasi.
Ketika
seseorang mengunjungi mesin pencari dan memasukkan query, biasanya dengan
memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web
yang paling sesuai dengan kriterianya, biasanya disertai ringkasan singkat
mengenai judul dokumen dan kadang-kadang sebagian teksnya.
Archiving
Web
Adalah
proses pengumpulan bagian-bagian dari World Wide Web untuk memastikan informasi
tersebut diawetkan dalam arsip bagi para peneliti di masa depan, sejarawan, dan
masyarakat umum. Web Archivist biasanya menggunakan web crawler untuk menangkap
otomatis karena ukuran besar dan jumlah informasi di Web. Organisasi terbesar
web pengarsipan berdasarkan pendekatan bulk crawling adalah Internet Archive
yang berusaha untuk mempertahankan sebuah arsip dari seluruh Web.
Web
Archive adalah Sebuah file format terkompresi, didefinisikan oleh Java EE
standar, untuk menyimpan semua sumber daya yang diperlukan untuk menginstal dan
menjalankan aplikasi Web dalam satu file.
Teknik
yang paling umum digunakan dalam pengarsipan Web adalah dengan menggunakan web
crawler untuk mengotomatisasi proses pengumpulan halaman web. Web crawler biasanya
mengakses halaman web dengan cara yang sama seperti yang user biasa lihat pada
Web. Contoh pengarsipan web yang menggunakan web crawlers diantaranya adalah :
1.
Heritrix
image by
: wikipedia.org
Heritrix
adalah crawler web yang dirancang untuk keperluan Web Archiving. Heritrix
ditulis oleh Internet Archive. Heritrix berlisensi free software dan ditulis
dalam bahasa Java. Interface utama dapat diakses menggunakan Web Browser,, ada
beberapa baris perintah yang opsional dapat digunakan untuk menginisiasi
Crawler.
Heritrix
dikembangkan bersama oleh Internet Archive dan perpustakaan nasional Nordic
pada awal 2003. Rilis resmi pertama adalah pada bulan Januari 2004, dan telah
terus ditingkatkan oleh karyawan dari Internet Archive dan pihak lain yang
berkepentingan.
Heritrix
bukan crawler utama yang digunakan untuk menjelajah konten untuk koleksi web
Internet Archive selama bertahun-tahun. Penyumbang terbesar untuk koleksi
adalah Alexa Internet. menjelajah web untuk keperluan sendiri, dengan
menggunakan crawler bernama ia_archiver. Alexa kemudian menyumbangkan materi ke
Internet Archive. Internet Archive sendiri melakukan crawlingnya sendiri
menggunakan Heritrix, tetapi hanya pada skala yang lebih kecil.
Mulai
tahun 2008, Internet Archive mulai peningkatan kinerja untuk melakukan Crawling
skala luas sendiri, dan sekarang telah mengumpulkan sebagian besar isinya.
2.
HTTrack
image by
: httrack.com
HTTrack
merupakan Web Crawler yang gratis dan bersifat open source, dikembangkan oleh
Xavier Roche dan berlisensi di bawah Lisensi GNU General Public License Versi
3. HTTrack memungkinkan pengguna untuk men-download situs World Wide Web dari
Internet ke komputer lokal. HTTrack juga dapat mengupdate situs mirror yang ada
dan melanjutkan download terputus. HTTrack dikonfigurasi dengan option dan oleh
filter (include/exclude), dan memiliki sistem bantuan yang terintegrasi. Ada
versi baris perintah dasar dan dua versi GUI (WinHTTrack dan WebHTTrack)
HTTrack
menggunakan crawler Web untuk men-download website. Beberapa bagian dari situs
web tidak dapat didownload secara default karena protokol exclusion robot
dinonaktifkan selama program. HTTrack dapat mengikuti link yang dihasilkan
dengan dasar JavaScript dan di dalam Applet atau Flash, tapi bukan kompleks
link (dihasilkan dengan menggunakan fungsi atau ekspresi) atau peta gambar
server-side.
3. Wget
image by
: wikipedia
GNU
Wget, seringkali hanya disebut wget, adalah sebuah program komputer sederhana
yang mengambil materi dari web server, dan merupakan bagian dari Proyek GNU.
Namanya diturunkan dari World Wide Web dan get, konotatif dari fungsi
primernya. Program ini mendukung pengunduhan melalui protokol HTTP, HTTPS, dan
FTP, protokol berbasis TCP/IP yang paling luas digunakan untuk penjelajahan
web.
Fitur-fiturnya
meliputi pengunduhan rekursif, konversi pranala untuk peninjauan offline dari
HTML lokal, mendukung proxy, dan lebih banyak lagi. Pertama kali muncul pada
tahun 1996, dilatarbelakangi oleh ledakan penggunaan Web, menyebabkan
penggunaan yang luas di antara para pengguna Unix dan distribusi
Linuxterkemuka. Ditulis menggunakan bahasa C portabel, Wget dapat diinstal
secara mudah pada sistem mirip-Unix apa saja dan telah diportasi ke beberapa
lingkungan, termasuk Mac OS X, Microsoft Windows, OpenVMS danAmigaOS.
Wget
digunakan sebagai basis program-program GUI semisal Gwget untuk desktop GNOME.
Dirilis di bawah Lisensi Publik Umum GNU v3, Wget adalah perangkat lunak bebas.
Cara
kerja Web Archiving
1. Menemukan Informasi Website lewat crawling
web
Bagaimana
cara kerja web crawling Google ? Google memiliki software khusus untuk proses
perayapan website/blog yang bisa diakses secara umum. Secara sederhana cara
kerja web crawler Google menggunakan aplikasi yang disebut Googlebot.
Crawler
Googlebot akan merayapi setiap halaman website/blog seperti ketika sobat
belajar online membuka link lewat browser, kemudian mengikuti link setiap
halaman web dan membawa data dari website/blog tersebut ke server Google.
Proses
crawling web oleh googlebot dimulai dari crawling alamat utama web (domain),
kemudian ke sitemap (peta situs) yang dibuat oleh pemilik website.
adanya
sitemap website akan memudahkan google bot google dalam proses crawling
web/blog tersebut.
Pada
akhirnya program google bot akan menentukan situs mana yang ramai pengunjung
dan selalu diupdate, berapa banyak konten yang ada, untuk menentukan posisinya.
Google
tidak menerima bayaran dalam memposisikan website. Website/blog yang menurut
mesin pencari google bagus maka akan berada di posisi pertama hasil pencarian
Google. Mengapa Google tidak mau menerima bayaran dalam merayapi dan mengindeks
website ? Hal ini tentu saja berkaitan dengan manfaat untuk pengguna yang
mencari informasi lewat mesin pencari google, karena itu merupakan bisnis utama
mesin pencari Google.
2. Mengorganisasi informasi hasil proses
crawling web
Setelah
proses crawling web, maka mesin pencari google kemudian memasukkannya dalam
daftar indeks Google. Gambaran internet itu ibarat perpustakaan dengan miliaran
buku, namun sayangnya tidak mempunyai katalog khusus dan pengarsipan utama.
Dari situ, maka google mengumpulkan alamat dan isi halaman-halaman web yang
dicrawl oleh google bot kemudian membuat indeks. Dengan begitu mesin pencari
google tahu persis bagaimana Google melihat halaman yang bersangkutan.
Gambaran
bagaimana google membuat indeks dari miliaran web yang ada di dunia, coba sobat
belajar online buka indeks buku yang ada di bagian belakang. Indeks Google juga
berisi tentang informasi kata-kata dan lokasi kata tersebut.
Dengan
perkembangan web generasi kedua, ditambah dengan html 5 yang memberikan
kesempatan kepada developer web untuk membuat web dinamis semakin banyak jenis
konten yang harus diindeks google, dari teks, gambar dan video. Google pun juga
menyempurnakan pengindekan konten-konten yang ada di internet untuk memahami
apa yang diinginkan oleh pencari informasi lewat mesin pencari Google.
3. Pengaturan crawling pada pemilik
website/blog
Walaupun
Google dapat merayapi setiap halaman web, namun mesin pencari juga memberikan
kebebasan kepada pemilik situs yang tidak ingin websitenya dirambah dan
diindeks mesin pencari Google.
Untuk
memilih dan memberitahu google bot agar tidak merayapi dan mengindeks halaman
sensitif yang berbahaya apabila diakses oleh umum, maka sobat dapat menggunakan
file robot.txt. Sobat dapat mengakses Google Webmasters Tool untuk mendapatkan
file robots.txt dan mengisi bagian mana yang tidak boleh dirayapi dan diindeks
dari website/blog sobat oleh Google crawl
Sumber :
http://en.wikipedia.org/wiki/Web_analytics
http://empatbelast.blogspot.com/2011/04/pengukur-kinerja-situs-web.html
http://clickforgamers.blogspot.com/2013/04/pengukuran-web-crawler-search-engine.html
http://bie-wellca.blogspot.com/2013/04/pengukuran-web-crawler-search-engine.html
http://djuyadi.wordpress.com/2010/03/06/web-crawl-web-spider-web-robot-bot-crawl-automatic-indexer/
http://id.wikipedia.org/wiki/Mesin_pencari_web
http://en.wikipedia.org/wiki/Web_archiving
http://en.wikipedia.org/wiki/Heritrix
http://en.wikipedia.org/wiki/HTTrack
http://id.wikipedia.org/wiki/Wget
http://muhammadyusuf-gunadarma.blogspot.com/2013/05/web-archiving.html
