Apa sih fungsi dari googlebot, atau crawler atau bot spider yang dimiliki google? . Googlebot atau crawler berfungsi sebagai robot yang terus merayap, bergerilya, bergentayangan, untuk terus menerus mencari data/berita/artikel terbaru berupa halaman website yang uptodate. Maksudnya seperti apa? Anggaplah seperti ini, Anda adalah googlebot, tugas Anda adalah mengecek semua website di dunia, apakah ada situs terbaru yang terdaftar, atau adakah pembaruan/update dari situs yang lama yang sudah masuk ke dalam database penyimpanan. Kemudian Anda akan masuk ke dalam sebuah situs server dunia yang di mana terdapat nama-nama website/domain terbaru yang terdaftar, setelah itu Anda mengunjungi satu persatu websitenya, dan setiap halaman dari semua website itu Anda kunjungi pula, dan Anda simpan setiap halaman dari semua website itu ke dalam sebuah tempat penyimpanan data, anggaplah flashdisk. Tentunya Anda pun membuat semacam daftar halaman apa saja yang sudah disimpan, dan diambil di website ma...