Apakah Google Search Console menampilkan crawl budget situs saya?

Tidak. Search Console tidak punya angka crawl budget, karena crawl budget bukan jatah yang tetap. Google menggambarkannya sebagai kumpulan URL yang dapat dan ingin di-crawl di situs Anda, yang ditentukan oleh seberapa banyak crawling yang sanggup ditangani server Anda dan seberapa besar minat Google terhadap halaman Anda. Sebagian besar situs tidak perlu memikirkannya: panduan Google tentang topik ini ditulis untuk situs dengan lebih dari satu juta halaman, atau lebih dari 10.000 halaman yang berubah setiap hari.

Apa yang menentukan crawl budget Anda

• Batas kapasitas crawl. Berapa banyak koneksi yang dibuka Google dan berapa lama koneksi itu dipertahankan. Setiap situs memulai dengan pengaturan konservatif yang sama, yang naik selama server Anda merespons dengan cepat dan turun jika respons lambat, ada error 5xx, dan pembatasan laju 429.
• Permintaan crawl (crawl demand). Seberapa besar minat Google terhadap URL Anda: seberapa populer URL tersebut, seberapa cepat kontennya menjadi usang, dan seberapa banyak inventaris URL Anda yang tampak layak di-crawl. URL duplikat dan URL yang tidak diinginkan menghabiskan permintaan ini dengan sia-sia. Perpindahan situs akan menaikkannya untuk sementara waktu.

Setiap hostname memiliki budget sendiri, sehingga www.example.com dan shop.example.com di-crawl secara terpisah.

Apakah situs Anda perlu memperhatikannya?

Google menyebut tiga situasi, dan menyebutnya sebagai perkiraan kasar, bukan ambang batas:

1. Situs dengan lebih dari satu juta halaman unik yang kontennya berubah kira-kira setiap minggu.
2. Situs dengan lebih dari 10.000 halaman unik yang kontennya berubah setiap hari.
3. Situs yang sebagian besar URL-nya berada di status Discovered – currently not indexed.

Jika halaman baru Anda biasanya di-crawl pada hari yang sama saat dipublikasikan, crawl budget bukan masalah Anda. Halaman yang tidak terindeks kemungkinan besar justru tertahan oleh duplikasi, kualitas, atau konfigurasi.

Di mana Search Console menampilkan tanda-tanda peringatan

• Crawl stats (di bawah Settings): jumlah permintaan yang menurun disertai waktu respons yang meningkat, masalah status host, serta pembagian antara crawling untuk penemuan dan crawling untuk penyegaran. Lihat Crawl stats.
• Page indexing: jumlah Discovered – currently not indexed yang besar atau terus bertambah. Lihat penjelasan alasan tersebut.
• URL Inspection: pesan Hostload exceeded berarti Google menahan diri karena server Anda sudah mencapai kapasitasnya.

Cara membuat crawling lebih efisien

• Gabungkan duplikat, agar Google menggunakan crawling-nya untuk halaman yang unik.
• Blokir URL yang tidak perlu di-crawl lewat robots.txt, seperti varian urutan atau filter dari daftar yang sama.
• Kembalikan 404 atau 410 untuk halaman yang sudah hilang secara permanen, dan perbaiki soft 404, yang terus di-crawl.
• Jaga sitemap tetap mutakhir, dengan <lastmod> untuk halaman yang berubah.
• Hindari rantai redirect yang panjang, dan buat halaman cepat disajikan; dukungan untuk 304 Not Modified menghemat bandwidth pada halaman yang tidak berubah.

Dua taktik yang umum dipakai tidak berhasil. noindex tidak menghemat crawl budget, karena Google tetap meminta halaman tersebut untuk membaca tag-nya. Dan memblokir halaman di robots.txt tidak memindahkan jatahnya ke halaman lain, kecuali situs Anda memang sudah mencapai batas kapasitasnya. Untuk menaikkan budget itu sendiri, tambah kapasitas server jika Anda melihat Hostload exceeded, dan buat konten yang layak di-crawl.

Bagaimana AutoPSEO membantu

Index Tracker mengelompokkan URL yang Anda lacak berdasarkan berapa lama sejak terakhir di-crawl Google, dari dalam seminggu hingga lebih dari 120 hari, dan menandai halaman terindeks yang tidak di-crawl selama 120 hari atau lebih: tanda praktis bahwa suatu bagian situs di-crawl lebih jarang dari perkiraan Anda. Content engine AutoPSEO juga menjaga inventaris URL Anda tetap ramping. Setiap topik yang direncanakan diperiksa terhadap halaman yang sudah ada sebelum apa pun ditulis, dan dua halaman yang menjawab pencarian yang sama dapat digabungkan, dengan alamat lama dialihkan ke halaman yang dipertahankan. Lihat topik di content engine.

Sumber: panduan crawl budget dari Google dan bantuan laporan Crawl stats.