Robot mesin pencari bertanggungjawab untuk merangkak laman web. Program ini secara automatik membaca data dari semua laman web dan mendaftarkannya dalam bentuk yang dapat difahami untuk mesin pencari itu sendiri, sehingga kemudian sistem akan memaparkan hasil yang paling sesuai untuk pengguna.
Fungsi
Semua maklumat yang diindeks dicatatkan dalam pangkalan data biasa.
Robot carian adalah program yang bergerak secara automatik melalui halaman Internet, meminta dokumen yang diperlukan dan menerima struktur laman web yang dirayapi. Robot secara bebas memilih halaman yang akan diimbas. Dalam kebanyakan kes, laman web yang hendak diimbas dipilih secara rawak.
Jenis bot
Robot yang tidak berfungsi dengan ketara meningkatkan beban pada rangkaian dan pelayan, yang boleh menyebabkan sumber tidak tersedia.
Setiap mesin pencari mempunyai beberapa program yang dipanggil robot. Setiap daripada mereka dapat melakukan fungsi tertentu. Sebagai contoh, di Yandex, beberapa robot bertanggungjawab untuk mengimbas suapan berita RSS, yang akan berguna untuk mengindeks blog. Terdapat juga program yang hanya mencari gambar. Walau bagaimanapun, yang paling penting adalah bot pengindeksan, yang menjadi asas bagi sebarang carian. Terdapat juga robot cepat tambahan yang dirancang untuk mencari kemas kini mengenai suapan berita dan acara.
Prosedur imbasan
Cara lain untuk mencegah perayapan kandungan adalah dengan membuat akses ke laman web melalui panel pendaftaran.
Semasa melayari laman web, program mengimbas sistem fail untuk mengetahui adanya fail arahan robots.txt. Sekiranya terdapat dokumen, pembacaan arahan yang ditulis dalam dokumen akan dimulakan. Robots.txt boleh melarang atau, sebaliknya, mengizinkan pemindaian halaman dan fail tertentu di laman web ini.
Proses pengimbasan bergantung pada jenis program. Kadang kala robot hanya membaca tajuk halaman dan beberapa perenggan. Dalam beberapa kes, pemindaian dilakukan di seluruh dokumen bergantung pada markup HTML, yang juga dapat berfungsi sebagai alat untuk menentukan frasa utama. Beberapa program mengkhususkan diri dalam tag tersembunyi atau meta.
Menambah senarai
Setiap juruweb dapat menghalang mesin pencari merangkak halaman melalui robots.txt atau tag META. Juga, pencipta laman web dapat menambahkan laman web ke dalam barisan pengindeksan secara manual, tetapi menambahkannya tidak bermaksud robot akan segera merangkak halaman yang diinginkan. Untuk menambahkan laman web ke barisan, mesin pencari juga menyediakan antara muka khas. Menambah laman web mempercepat proses pengindeksan. Juga, untuk pendaftaran cepat di mesin pencari, sistem analitik web, direktori laman web, dll dapat digunakan.
