Apa itu Search Engine Bot / Web Crawler

web crawler merupakan program komputer yang melakukan kunjungan ke situs situs di internet, secara periodek & sistematis tergantung kepada aturan yang sudah ditentukan. Biasa dikenal dengan sebutan bot / robot / automatic indexer / web spider

program ini biasanya dimiliki oleh situs mesin pencari, dimana mereka membutuhkan data dari situs yang ada, dimana proses kunjungan (crawling / indexing) tidak tentu dan tergantung sekali oleh banyak faktor yang sudah ditentukan melalui algoritma & aturan dari si mesin pencari

penting sekali bagi situs anda untuk mempersiapkan diri menjadi tuan rumah yang baik ketika sang robot menjadi tamu mengunjungi situs anda, sehingga hasil pencatatan tentang situs anda juga memuaskan, yang tentu berdampak bagi nilai situs anda di mata mesin pencari