Di mana laporan Statistik perayapan di Google Search Console?
SEO teknis
Statistik perayapan tidak ada di menu sebelah kiri Search Console. Buka Setelan (ikon roda gigi), lalu Statistik perayapan, dan buka laporannya dari sana. Laporan ini hanya tersedia untuk properti tingkat root: properti Domain seperti example.com, atau properti awalan URL di root seperti https://example.com/. Properti untuk folder seperti https://example.com/blog/ tidak memilikinya. Menurut Google, situs dengan kurang dari 1.000 halaman jarang membutuhkannya.
Cara membukanya
- Beralihlah ke properti Domain atau properti awalan URL di root. Jika Anda hanya punya properti tingkat folder, tambahkan properti Domain untuk situs tersebut.
- Pilih Setelan di bagian bawah menu.
- Temukan Statistik perayapan di halaman setelan, lalu buka laporannya.
Apa yang ditampilkan laporan
Grafik teratas menampilkan tiga total per hari:
- Total permintaan perayapan: setiap permintaan yang dibuat Googlebot, berhasil maupun tidak. Permintaan berulang untuk URL yang sama dihitung setiap kali, begitu pula setiap lompatan dalam rantai pengalihan.
- Total ukuran unduhan: jumlah byte yang diambil. Resource yang di-cache dan dipakai ulang oleh beberapa halaman hanya diambil sekali.
- Waktu respons rata-rata: dihitung dari semua resource yang diambil, dengan setiap resource halaman dihitung terpisah.
Di bawahnya, status host memeriksa tiga hal selama 90 hari terakhir: apakah robots.txt dapat diambil, apakah DNS berhasil diselesaikan, dan apakah server merespons. Masing-masing menampilkan tanda hijau, masalah yang terjadi lebih dari seminggu lalu, atau masalah terbaru dalam seminggu terakhir.
Lalu ada empat rincian, masing-masing sebagai persentase dari total permintaan:
| Rincian | Dipecah berdasarkan | Yang perlu diperhatikan |
|---|---|---|
| Menurut respons | 200, 301/308, 302/307, 304, 404, 5xx, error DNS dan pengambilan | Proporsi 5xx, timeout, atau "halaman tidak dapat dijangkau" yang terus naik |
| Menurut jenis file | HTML, gambar, JavaScript, CSS, JSON, PDF, dan lainnya | Lonjakan satu jenis file setelah perubahan template atau aplikasi |
| Menurut tujuan | Penemuan (URL yang belum pernah dirayapi) atau penyegaran (perayapan ulang) | Penemuan yang sedikit padahal Anda banyak menerbitkan halaman baru |
| Menurut jenis Googlebot | Smartphone, desktop, gambar, video, pemuatan resource halaman, AdsBot, StoreBot | Lonjakan AdsBot, yang biasanya berasal dari target Dynamic Search Ads |
Google mengelompokkan 404 sebagai "kemungkinan baik": halaman yang sudah dihapus memang seharusnya mengembalikan 404, dan Anda tidak perlu memperbaiki setiap 404.
Bagaimana kegagalan robots.txt menghentikan perayapan
robots.txt lebih penting daripada hal lain mana pun dalam laporan ini. Kode 200 (bahkan untuk file kosong), 403, 404, atau 410 semuanya dianggap pengambilan yang berhasil. Kode 429 atau 5xx dianggap gagal, dan setelah itu:
- Selama 12 jam pertama, Google berhenti merayapi situs dan terus meminta file tersebut.
- Dari 12 jam hingga 30 hari, Google memakai salinan terakhir yang valid.
- Setelah 30 hari, Google merayapi tanpa batasan jika beranda Anda dapat dijangkau, dan berhenti jika tidak.
Entri status host berwarna merah untuk robots.txt karena itu merupakan keadaan darurat: hal ini dapat menghentikan seluruh perayapan.
Pola yang perlu ditindaklanjuti
- Permintaan turun sementara waktu respons naik. Google menurunkan laju perayapan saat server melambat atau mengembalikan error. Perbaiki server terlebih dahulu sebelum hal lain.
- Googlebot membebani server Anda. Kembalikan 503 atau 429 hanya untuk waktu singkat, tidak lebih dari dua atau tiga hari, atau perayapan bisa tetap rendah setelahnya.
- Anda ingin perayapan lebih banyak. Anda tidak bisa memintanya. Jaga sitemap tetap mutakhir, hapus URL duplikat dan yang tidak diinginkan, dan pastikan halaman penting tidak diblokir.
- Laporan menghitung permintaan lebih banyak daripada log Anda. Hal ini dapat terjadi saat
robots.txttidak tersedia dalam waktu lama, karena Google menghitung perayapan yang seharusnya dilakukan.
Ada dua batasan yang perlu diingat: permintaan dicantumkan menurut URL yang benar-benar diambil, bukan digabungkan ke URL kanonis, dan resource yang dihosting di domain lain tidak muncul. Selain itu, laporan ini tidak memiliki API, sehingga log server Anda tetap menjadi satu-satunya catatan per URL tentang kunjungan Googlebot. Untuk mengetahui apakah semua ini membatasi pengindeksan Anda, lihat crawl budget.
Bagaimana AutoPSEO membantu
API Google tidak menyediakan statistik perayapan, sehingga AutoPSEO tidak dapat menyalin laporan ini. Yang dilakukan AutoPSEO sebagai gantinya: Index Tracker mencatat tanggal perayapan terakhir yang dilaporkan Google untuk setiap URL yang Anda lacak, dan menandai halaman terindeks yang belum dirayapi selama 120 hari atau lebih. Dengan kunci Bing Webmaster Tools yang terhubung, AutoPSEO juga menampilkan statistik perayapan harian Bing dan daftar masalah perayapan-nya.
Sumber: Bantuan laporan Statistik perayapan dari Google dan referensi Search Console API.
Lainnya di SEO teknis
- Bagaimana cara memeriksa error kegunaan seluler di Google Search Console?
- Bagaimana cara memeriksa data terstruktur di Google Search Console?
- Bagaimana cara memeriksa robots.txt saya di Google Search Console?
- Bagaimana cara menemukan dan memperbaiki error 404 di Google Search Console?
- Apa itu laporan Page Experience di Google Search Console?
- Bagaimana cara memeriksa rich result di Google Search Console?
Jalankan konten SEO Anda secara otomatis
Hubungkan Search Console dan situs Anda. AutoPSEO memindainya dan langsung merencanakan topik pertama. Tanpa kartu kredit.