Web Crawler? Apa sih?

1.Jelaskan yang dimaksud WebCrawler beserta Contohnya

Web crawler/spider/bots merupakan dasar dari mesin pencari. Program inilah yang bertugas mengindeks setiap halaman web di internet. Dengan demikian, mesin pencari bisa memberikan output sesuai kebutuhan user.

Selain menunjang fungsi mesin pencari, program ini juga sangat membantu dalam hal collecting data. Baik itu untuk membandingkan data, menunjang analysis tool, menunjang data mining, 

Contoh Web Crawl:

Bingbot dari Bing. Slurp Bot dari Yahoo. DuckDuckBot dari DuckDuckGO. Baiduspider dari Baidu (mesin pencari dari China)


2.Jelaskan Cara Kerja Web Crawler!

Proses crawling bermula dari seed, atau daftar URL yang sudah diketahui crawler. Ia akan merayapi laman web dari daftar URL tersebut.

Pada proses tersebut, biasanya bots akan menemukan link ke URL lain. Hal itu akan masuk ke list halaman untuk dirayapi setelah proses sebelumnya selesai. 

Proses ini berlangsung secara berulang dan terus menerus hingga tanpa batas. Pasalnya, saat ini sudah ada sangat banyak halaman web di internet. 

Setiap search engine menerapkan algoritma tertentu. Kemudian, bots atau crawler akan bekerja berdasarkan ketentuan yang tertulis di algoritma. 

Setidaknya ada tiga prinsip yang jadi acuan kerjanya.

➜ Mengutamakan Web Pageyang Valuable  

Di antara begitu banyaknya halaman web di internet, tidak semuanya penting. Pasti ada saja web yang berisi informasi yang tidak terlalu berguna untuk user.  

Maka dari itu, bots akan mengutamakan halaman yang penting (valuable).

Hal yang jadi acuan untuk menilai seberapa penting suatu halaman yaitu kualitas backlink, jumlah pengunjung, dan faktor-faktor lain.

Kemungkinan besar, web page yang jadi rujukan dari banyak web lain dan memiliki banyak pengunjung akan berisi informasi otoritatif berkualitas tinggi. 

Anda sebagai user tentu lebih puas jika rekomendasi dari mesin pencari berisi informasi yang akurat dan berkualitas. Maka dari itu, bots mesin pencari akan mengutamakan halaman semacam ini demi menunjang kepuasan user.

➜ Mengunjungi Ulang Web Pageuntuk Memeriksa Update

Rata-rata, setiap web pasti mengalami pembaruan secara berkala. Kecuali pemiliknya lupa akses ke website tersebut sehingga tidak bisa melakukan update.

Nah, crawler akan melakukan kunjungan ulang ke setiap web page yang sudah pernah terindeks untuk memastikan versi teranyarnya.

3.Fungsi dari WebCrawler apa sih?

Pada prinsipnya, web crawler berfungsi untuk merayapi dan mengindeks seluruh halaman atau konten yang ada di internet.

Bisa diambil kesimpulan, crawler adalah pondasi atau dasar dari fungsionalitas mesin pencari.

Di samping itu, web crawler juga memiliki banyak fungsi lainnya. Tidak hanya mesin pencari, bot semacam ini juga digunakan oleh perusahaan yang berbasis di bidang data. 

Apalagi saat ini sudah ada banyak web crawler tool yang bisa Anda manfaatkan untuk mengumpulkan data tertentu dari internet.

Nah, secara lebih luas, manfaat crawleradalah sebagai berikut:

1. Melihat Data Perbandingan Harga 

2. Menunjang Web Analysis Tool

3. Menunjang Data Mining

Maaf jika tulisan tidak rapih karena saya sedang kesulitan untuk menggunakan komputer/laptop untuk saat ini

Comments

Post a Comment

Popular posts from this blog

Sistem Informasi Manajemen pada KFC

Image
  SISTEM INFORMASI MANAJEMEN KFC Sistem informasi manajemen  (SIM) adalah sekelompok atau sekumpulan proses dimana data dapat diolah, dianalisis, dan ditampilkan supaya data tersebut menjadi berguna untuk kebutuhan pengambilan suatu keputusan. Sistem ini merupakan alat yang sangat berguna untuk menunjang dan mengendalikan operasi perusahaan Memberikan pelayanan yang terbaik adalah visi dari KFC. Untuk itu KFC merancang suatu sistem informasi yang berbasiskan IT sehingga bisa menunjang seluruh aktivitas bisnis KFC. Sistem informasi di KFC mencakup Operating Support System (OSS) dan Managing Support System (MSS).. Operating Support System Sistem informasi selalu dibutuhkan untuk memproses data yang dihasilkan oleh dan digunakan dalam operasi bisnis. Sistem pendukung operasi semacam ini menghasilkan berbagai produk informasi yang paling dapat digunakan oleh para manajer. Peran dari sistem pendukung operasi perusahaan bisnis adalah untuk secara efisien memproses tra...
Read more

Dampak IPTEK untuk Kemiskinan

Dampak IPTEK untuk Kemiskinan Dampak Teknologi untuk kemiskinan menurut kalian ada tidak sih? Jika jawaban kalian tidak, itu sangat salah! Walaupun tidak terlalu banyak mari kita bahas Dampak Ilmu Pengetahuan Teknologi untuk Kemiskinan  saya akan memberi contoh jika seorang pembatik atau penenun di pedesaan yang sudah biasa mengerjakan dengan manual dan butuh beberapa bulan untuk menyesaikannya, dan dengan mereka yang mengerjakannya ketika sudah mengerjakannya dengan mesin atau komputer. Jelas disini bahwa salah satu manfaat iptek dalam kehidupan tersebut adalah diantaranya dapat mempersingkat proses, dan bisa jadi juga meningkatkan mutu hasil, serta menjaga efisiensi dan efektifitas sehingga mendapatkan hasil yang maksimal. Dan jika dikaitkan dengan efek teknologi bagi masyarakat yang belum siap mental, saya akan berikan contoh lain. Contoh paling sederhana ialah dengan adanya  Internet , jika kita dapat memanfaatkannya dengan baik bahkan sangat baik, akan ada banyak ...
Read more