Web Crawler? Apa sih?
1.Jelaskan yang dimaksud WebCrawler beserta Contohnya Web crawler/spider/bots merupakan dasar dari mesin pencari. Program inilah yang bertugas mengindeks setiap halaman web di internet. Dengan demikian, mesin pencari bisa memberikan output sesuai kebutuhan user . Selain menunjang fungsi mesin pencari, program ini juga sangat membantu dalam hal collecting data . Baik itu untuk membandingkan data, menunjang analysis tool , menunjang data mining , Contoh Web Crawl: Bingbot dari Bing. Slurp Bot dari Yahoo. DuckDuckBot dari DuckDuckGO. Baiduspider dari Baidu (mesin pencari dari China) 2.Jelaskan Cara Kerja Web Crawler! Proses crawling bermula dari seed , atau daftar URL yang sudah diketahui crawler . Ia akan merayapi laman web dari daftar URL tersebut. Pada proses tersebut, biasanya bots akan menemukan link ke URL lain. Hal itu akan masuk ke list halaman untuk dirayapi setelah proses s...