Bagaimana cara memeriksa robots.txt saya di Google Search Console?

Q: Bagaimana cara memeriksa robots.txt saya di Google Search Console?

Buka laporan robots.txt di bagian Setelan untuk melihat setiap file yang ditemukan Google, kapan file diambil, dan error parsing apa saja. Periksa satu URL dengan Inspeksi URL.

Buka Setelan, lalu laporan robots.txt. Laporan ini mencantumkan file robots.txt yang ditemukan Google untuk situs Anda, kapan masing-masing terakhir diperiksa, apakah pengambilannya berhasil, ukuran file, dan baris mana saja yang tidak dapat di-parse oleh Google. Untuk mengetahui apakah satu URL tertentu diblokir, inspeksi URL tersebut dan baca kolom Perayapan diizinkan?. Robots.txt Tester mandiri yang dijelaskan di panduan lama tidak lagi menjadi bagian dari alat Search Console.

Isi laporan

Menurut bantuan laporan robots.txt Google:

Laporan ini hanya tersedia untuk properti tingkat domain: properti Domain, atau properti awalan URL tanpa path (https://example.com/, bukan https://example.com/shop/).
Pada properti Domain, laporan mencakup 20 host teratas berdasarkan laju perayapan, karena setiap host memiliki file sendiri.
Untuk setiap file, Anda dapat melihat path, status pengambilan, waktu terakhir diperiksa, ukuran dalam byte, dan jumlah masalah. Error membuat Google melewati sebuah aturan; peringatan tidak.
File muncul jika Google mengambilnya, atau mencoba mengambilnya, dalam 30 hari terakhir.

Status	Artinya
Fetched	Google berhasil mendapatkan file. Baris yang tidak dapat di-parse diabaikan, sisanya digunakan
Not fetched: Not found (404)	Tidak ada file, dan itu tidak masalah: Google boleh merayapi semua URL
Not fetched: any other reason	Terjadi masalah lain; lihat tabel di bawah

Setelah Anda mengubah file

Google umumnya menyimpan cache robots.txt hingga 24 jam, sehingga perubahan tidak langsung berlaku. Jika Anda telah membuka blokir URL penting atau memperbaiki error pengambilan, buka menu file tersebut di laporan dan pilih Minta perayapan ulang. Jika tidak, hal itu tidak perlu dilakukan: Google sering mengambil ulang robots.txt.

Cara Google menangani robots.txt yang bermasalah

Respons yang diterima Google	Yang terjadi
Respons 2xx	Aturan diterapkan
Pengalihan	Google mengikuti setidaknya lima lompatan, lalu menganggap rantai yang tidak terselesaikan sebagai 404
Error 4xx selain 429	Diperlakukan seolah-olah tidak ada file: tidak ada yang diblokir
Error 5xx atau kegagalan jaringan	Perayapan dihentikan selama 12 jam, lalu salinan terakhir yang valid digunakan hingga 30 hari; setelah itu, jika situs tersedia seperti biasa, Google bertindak seolah-olah tidak ada file
File lebih dari 500 KiB	Semua yang melewati batas diabaikan

Sumber: How Google interprets robots.txt. Baris 5xx adalah yang paling perlu diwaspadai: server yang mengembalikan error pada file ini saja dapat menghentikan sementara perayapan seluruh situs.

Menguji aturan sebelum diberlakukan

Untuk URL yang sudah live, kolom Perayapan diizinkan? di Inspeksi URL adalah jawaban tercepat.
Untuk file draf, Google mengarahkan developer ke library robots.txt open source miliknya untuk pengujian secara lokal.
Saat aturan saling bertentangan, Google menerapkan aturan yang paling spesifik, yaitu aturan dengan path pencocokan terpanjang, dan jika dua aturan sama spesifiknya, aturan yang lebih longgar yang berlaku.

Hal yang tidak dapat dilakukan robots.txt

Robots.txt mengatur perayapan, bukan pengindeksan. Google menyatakan bahwa robots.txt bukan cara untuk menjauhkan halaman dari Google: URL yang diblokir tetap dapat diindeks, tanpa deskripsi, jika halaman lain menautkannya. Untuk menjauhkan halaman dari hasil pencarian, gunakan noindex atau kata sandi, seperti dijelaskan di menghapus URL.

Bantuan dari AutoPSEO

Inspeksi URL massal AutoPSEO menampilkan status robots.txt yang dilaporkan Google untuk setiap URL, hingga 500 URL per proses dari daftar yang ditempel atau dari sitemap. Dengan begitu, Anda dapat dengan cepat memastikan bahwa perubahan aturan tidak secara tidak sengaja memblokir seluruh bagian situs.