Halaman setiap laman web secara rutin di-crawl oleh robot pencarian, yang memproses informasi di laman web tersebut sehingga tersedia atas permintaan pengguna di mesin pencari. Kunjungan pelawat dari mesin pencari mempunyai kesan positif terhadap lalu lintas laman web dan merangsang pengembangan sumber. Tetapi, jika ada halaman di laman web, maklumat yang tidak dimaksudkan untuk khalayak Internet (misalnya, halaman peribadi pengguna atau halaman pendaftaran), maka peralihan dari mesin pencari ke halaman seperti itu tidak diperlukan dan ia lebih baik melarang maklumat ini daripada diindeks.
Perlu
- - mempunyai laman web anda sendiri
- - untuk mengetahui pautan ke halaman, pengindeksan yang harus dilarang.
- - mempunyai sekurang-kurangnya pengetahuan asas mengenai HTML
Arahan
Langkah 1
Untuk mengelakkan robot carian mengindeks laman web tertentu, anda perlu membuat perubahan pada fail robots.txt, jika sudah ada di laman web anda, atau membuat fail ini.
Langkah 2
Sekiranya fail robots.txt sudah dimuat naik ke laman web dan mungkin untuk mengedit fail ini terus dari panel kawalan sumber, kemudian buka robots.txt melalui perkhidmatan web untuk diedit.
Langkah 3
Sekiranya tidak ada cara untuk membuat perubahan pada fail yang diinginkan terus dari panel kawalan, kemudian buka robots.txt dalam penyemak imbas dengan mengklik pautan ke fail ini. Salin semua data dari halaman yang terbuka dan tampalkannya ke lembaran di Notepad.
Langkah 4
Sekiranya tidak ada robots.txt di laman web ini, buka program "Notepad", dalam dokumen baru yang mana anda perlu memasukkan kod yang diperlukan.
Langkah 5
Pada helaian dokumen kosong, tulis baris pertama yang diperlukan:
Ejen pengguna: *
Langkah 6
Kemudian pergi ke baris seterusnya dengan menekan kekunci Enter dan taipkan kod berikut:
Larang: / index / halaman3 Tidak dibenarkan: menunjukkan tiada pengindeksan, dan / index / halaman3 adalah pautan ke halaman yang tidak perlu diindeks. Daripada pautan / indeks / halaman3, masukkan pautan ke halaman laman web anda yang ingin anda sekat untuk diproses oleh robot.
Langkah 7
Perhatikan bahawa nama domain itu sendiri tidak ada di awal pautan; kehadirannya dalam entri menyiratkan garis miring ke depan. Semasa merangkak laman web, robot carian secara automatik memasukkan nama domain ke dalam pautan tersebut. Oleh itu, tulis pautan ke halaman yang diperlukan dengan cara ini.
Langkah 8
Selepas Tidak Diizinkan: anda boleh meletakkan bukan sahaja pautan ke halaman tertentu, tetapi juga pautan ke bahagian atau direktori mana-mana laman web. Begitu juga, anda boleh melarang pengindeksan bahagian laman web yang diinginkan.
Langkah 9
Sekiranya perlu untuk melarang pemprosesan oleh robot dari beberapa bahagian sumber yang berlainan, tulis pautan ke setiap bahagian atau halaman pada baris baru, di awal yang jangan lupa masukkan entri Larang:.
Langkah 10
Untuk menyelesaikan perubahan robots.txt, klik butang "Simpan" sambil mengedit fail di panel kawalan, atau simpan dokumen teks dengan entri di bawah nama robots.txt dan muat naik fail ini ke laman web.
