Pengindeksan adalah proses mengimbas fail yang terdapat di sumber Internet oleh robot carian. Prosedur ini dijalankan sehingga laman web ini tersedia dalam hasil carian untuk pelbagai pertanyaan di mesin pencari. Antara mesin carian terbesar hari ini ialah Yandex, yang melakukan imbasan ini dengan caranya sendiri.
Arahan
Langkah 1
Pengindeksan laman Internet dilakukan oleh program automatik khas - robot carian, yang secara automatik mengesan kemunculan laman web baru di World Wide Web, sentiasa mengimbas halaman Internet yang terdapat di Internet, fail dan pautan ke setiap sumber.
Langkah 2
Untuk mengimbas, robot pergi ke direktori di mana sumbernya berada di pelayan tertentu. Semasa memilih laman web baru, robot dipandu oleh ketersediaannya. Sebagai contoh, ada pendapat bahawa Yandex pertama kali mengimbas laman web yang dibuat dalam domain berbahasa Rusia dan dalam bahasa Rusia - ru, rf, su atau ua, dan hanya kemudian berpindah ke wilayah lain.
Langkah 3
Robot menavigasi ke laman web dan mengimbas strukturnya, terlebih dahulu mencari fail yang menunjukkan carian lebih lanjut. Sebagai contoh, laman web diimbas untuk Sitemap.xml atau robots.txt. Fail-fail ini dapat digunakan untuk mengatur perilaku robot pencarian ketika melakukan imbasan. Dengan menggunakan peta laman (sitemap.xml), robot mendapat idea yang lebih tepat mengenai struktur sumber. Webmaster menggunakan robots.txt untuk menentukan fail yang dia tidak mahu ditunjukkan dalam hasil carian. Contohnya, ia mungkin maklumat peribadi atau data lain yang tidak diingini.
Langkah 4
Setelah mengimbas kedua dokumen ini dan menerima arahan yang diperlukan, robot itu mula menguraikan kod HTML dan memproses tag yang diterima. Secara lalai, tanpa adanya fail robots.txt, mesin carian mula memproses semua dokumen yang disimpan di pelayan.
Langkah 5
Dengan mengklik pautan dalam dokumen, robot juga menerima maklumat mengenai laman web lain yang diatur untuk mengimbas mengikuti sumber ini. Fail yang diimbas di laman web disimpan sebagai salinan teks dan struktur pada pelayan di pusat data Yandex.
Langkah 6
Keperluan untuk mengimbas semula juga ditentukan secara automatik oleh robot. Program membandingkan hasil imbasan yang ada dengan versi laman web yang dikemas kini apabila melalui pengindeksan sekali lagi. Sekiranya data yang diterima oleh program berbeza, salinan laman web juga dikemas kini pada pelayan Yandex.
