Penjelasan indexing: cara Google melakukan crawling, mengindeks, dan melaporkan halaman

Bagaimana sebuah URL berpindah dari tahap penemuan hingga masuk ke indeks Google, apa arti setiap status Page indexing, dan status mana saja yang perlu diperbaiki, berdasarkan dokumentasi Google.

Indexing adalah proses Google menyimpan sebuah halaman agar dapat muncul di hasil pencarian. Sebelum itu terjadi, Google harus menemukan URL tersebut, melakukan crawling, dan biasanya juga merender halamannya. Setelah itu, Google menentukan apakah halaman tersebut duplikat dari URL lain dan apakah layak disimpan. Laporan Page indexing di Search Console menunjukkan di tahap mana setiap URL Anda berhenti, beserta alasan dari Google.

Dari URL hingga hasil pencarian

Penjelasan Google tentang cara kerja Search membagi perjalanan ini menjadi beberapa langkah yang dapat Anda periksa satu per satu.

Penemuan. Tidak ada daftar pusat halaman web, sehingga Google terus mencari halaman baru. Sebagian besar ditemukan melalui tautan dari halaman yang sudah dikenal Google dan melalui sitemap yang dikirim oleh pemilik situs.
Crawling. Googlebot mengambil URL tersebut, selama robots.txt mengizinkannya. Google membatasi kecepatan crawling agar tidak membebani server Anda, dan error server membuatnya melambat lebih jauh.
Rendering. Google menjalankan JavaScript halaman dengan versi Chrome terbaru, karena sebagian konten baru muncul setelah skrip dijalankan.
Indexing. Google menganalisis konten, mengelompokkan halaman yang duplikat atau hampir duplikat, memilih salah satunya sebagai canonical, lalu menyimpannya. Google juga bisa memutuskan untuk tidak mengindeks suatu halaman sama sekali, misalnya karena kualitas kontennya rendah atau ada aturan robots meta yang melarangnya.
Penayangan. Untuk setiap pencarian, Google memilih hasil dari indeks. Halaman yang terindeks berhak untuk tampil, tetapi tidak dijamin akan tampil.

Google menegaskan bahwa mereka tidak menjamin salah satu langkah ini berlaku untuk halaman mana pun. Yang bisa Anda lakukan adalah menyingkirkan hambatan dan memberi Google alasan yang kuat untuk terus melanjutkan prosesnya.

Membaca laporan Page indexing

Laporan ini membagi URL yang diketahui Google menjadi Indexed dan Not indexed, serta mencantumkan alasan untuk setiap kelompok URL yang tidak terindeks (laporan Page indexing). Dua panduan dari Google sendiri sebaiknya memengaruhi cara Anda membaca laporan ini:

Not indexed belum tentu buruk. Google meminta pemilik situs untuk tidak berharap semua URL akan terindeks. Duplikat, alamat yang dialihkan, dan halaman tanpa konten bermakna memang seharusnya tidak masuk indeks. Yang penting adalah halaman-halaman utama Anda terindeks.
Perhatikan Source. Setiap alasan menunjukkan apakah penyebabnya ada pada situs web atau pada sistem Google. Umumnya, Anda hanya bisa memperbaiki alasan yang sumbernya "Website".

Jadi pertanyaan yang berguna bukanlah "mengapa angka not indexed saya tinggi?", melainkan "apakah ada halaman penting saya di daftar ini, dan mengapa?".

Arti setiap status

Alasan dari Google terbagi menjadi lima kelompok. Respons yang tepat jauh lebih bergantung pada kelompoknya daripada pada redaksi persisnya.

Anda meminta Google untuk tidak mengindeksnya

Status	Yang terjadi	Tindakan
URL marked 'noindex'	Halaman memiliki aturan noindex	Tidak perlu jika disengaja; hapus aturan tersebut jika halaman seharusnya diberi peringkat
URL blocked by robots.txt	robots.txt mencegah Google melakukan crawling	Memblokir crawling tidak menjamin halaman tetap berada di luar indeks
Alternate page with proper canonical tag	Halaman menunjuk ke URL lain sebagai canonical-nya, dan Google setuju	Tidak ada
Page with redirect	URL dialihkan ke tempat lain, sehingga URL itu sendiri tidak diindeks	Tidak ada, selama tujuannya adalah halaman yang ingin Anda indeks

Google tidak dapat mengambilnya

Status	Yang terjadi	Tindakan
Server error (5xx)	Server Anda mengembalikan error level 500	Perbaiki server; error yang berulang juga memperlambat crawling
Redirect error	Rantai redirect terlalu panjang, berputar, atau mengarah ke URL yang salah atau kosong	Arahkan redirect langsung ke URL akhir
Blocked due to unauthorized request (401), access forbidden (403) or other 4xx issue	Halaman menolak Googlebot	Hapus hambatannya jika halaman seharusnya publik
Not found (404)	URL mengembalikan 404	Tidak masalah untuk halaman yang sudah dihapus; perbaiki tautannya jika halaman masih ada di tempat lain

Google memilih URL lain

Status	Yang terjadi	Tindakan
Duplicate without user-selected canonical	Google menganggap halaman ini duplikat dan memilih canonical yang berbeda	Biasanya tidak perlu; Google menyebut ini berjalan sebagaimana mestinya
Duplicate, Google chose different canonical than user	Anda menetapkan canonical, tetapi Google lebih memilih URL lain	Samakan sinyal Anda (lihat di bawah)

Google belum memutuskan untuk Anda

Status	Yang terjadi	Tindakan
Discovered - currently not indexed	Google mengetahui URL tersebut tetapi belum melakukan crawling, sering kali dijadwalkan ulang agar tidak membebani situs	Tautkan dari halaman yang sudah di-crawl; pada situs yang sangat besar, kelola crawling
Crawled - currently not indexed	Google sudah melakukan crawling tetapi belum mengindeksnya, dan bisa jadi tidak akan mengindeksnya di masa mendatang	Buat halaman jelas berguna dan berbeda, atau gabungkan ke halaman yang lebih kuat

Kontennya tampak bermasalah

Status	Yang terjadi	Tindakan
Soft 404	Halaman merespons 200 tetapi terlihat seperti halaman error atau kosong	Kembalikan 404 yang sebenarnya untuk halaman yang tidak ada, atau beri halaman yang memang ada konten yang sesungguhnya
Page indexed without content (warning)	Terindeks, tetapi Google tidak dapat membaca kontennya	Periksa apa yang diterima Googlebot dengan URL Inspection
Indexed, though blocked by robots.txt (warning)	Terindeks meskipun diblokir robots.txt	Agar tidak terindeks, izinkan crawling dan tambahkan noindex

Baris terakhir sering mengecoh banyak orang. Google hanya dapat melihat aturan noindex pada halaman yang boleh di-crawl, jadi jika sebuah halaman diblokir di robots.txt sekaligus diberi noindex, noindex tersebut tidak akan pernah terbaca (Block indexing with noindex).

Saat Google memilih canonical yang berbeda

Tag canonical adalah sinyal, bukan perintah. Google mempertimbangkan beberapa sinyal sekaligus: redirect dan rel="canonical" adalah sinyal yang kuat, pencantuman di sitemap adalah sinyal yang lemah, dan Google lebih menyukai alamat HTTPS daripada HTTP (Consolidate duplicate URLs). Ketika sinyal Anda saling bertentangan, misalnya tag canonical menunjuk ke satu URL sementara tautan internal dan sitemap Anda memakai URL lain, Google akan memilih sendiri. Pastikan semua sinyal menyebut URL yang sama, dan tautkan secara internal ke URL tersebut. Jangan gunakan robots.txt atau noindex untuk memilih canonical; noindex menghapus halaman dari Search sepenuhnya.

Memeriksa satu URL dengan URL Inspection

Laporan Page indexing menampilkan kelompok URL, sedangkan URL Inspection menampilkan satu URL secara rinci (alat URL Inspection). Alat ini melaporkan apakah URL terindeks, canonical yang Anda tetapkan dan yang dipilih Google, kapan terakhir kali Google melakukan crawling dan apakah crawling dilakukan sebagai user agent seluler atau desktop, apakah robots.txt mengizinkan crawling, apakah pengambilan berhasil, dan apakah indexing diizinkan.

Ada dua hal yang perlu diperhatikan. Pertama, tampilan default menjelaskan versi terindeks terakhir, yang mungkin sudah usang; Test live URL mengambil halaman saat itu juga, dan inilah cara untuk memastikan perbaikan berhasil, meskipun uji live yang lolos tidak menjamin halaman akan terindeks. Kedua, saat robots.txt memblokir crawling, "Indexing allowed?" selalu menampilkan yes, karena Google tidak dapat melihat aturan noindex yang tidak boleh diambilnya.

Request indexing meminta Google untuk melakukan crawling ulang URL tersebut. Fitur ini dibatasi kuota harian, dan Google menyatakan bahwa meminta crawling berkali-kali untuk URL yang sama tidak akan mempercepatnya (Ask Google to recrawl). Untuk banyak URL, kirimkan sitemap yang selalu diperbarui.

Berapa lama indexing berlangsung?

Google memberikan perkiraan rentang waktu, bukan janji. Mengindeks halaman baru bisa memakan waktu beberapa hari dan tidak pernah instan, bahkan setelah permintaan langsung. Situs baru dapat membutuhkan sekitar satu minggu atau lebih untuk di-crawl dan diindeks, dan crawling ulang bisa memakan waktu mulai dari beberapa hari hingga beberapa minggu. Saat Anda memperbaiki masalah dan menekan Validate fix, pemeriksaan biasanya memakan waktu hingga sekitar dua minggu. Jika halaman penting masih belum muncul setelah sebulan, ikuti panduan masalah indexing teknis daripada meminta indexing lagi.

Membantu Google menemukan dan mempertahankan halaman Anda

Tautkan halaman baru dari halaman yang sudah di-crawl Google, seperti beranda, halaman hub, atau artikel terkait. Tautan adalah cara utama Google menemukan URL.
Isi sitemap hanya dengan URL canonical, ditulis sebagai alamat absolut lengkap, dengan maksimum 50.000 URL atau 50MB tanpa kompresi per berkas. Google menggunakan <lastmod> jika nilainya konsisten akurat dan mengabaikan <priority> dan <changefreq> (Build a sitemap).
Beri setiap konten satu URL, dengan redirect, tag canonical, sitemap, dan tautan internal yang semuanya selaras.
Kembalikan 404 atau 410 yang sebenarnya untuk halaman yang Anda hapus, bukan halaman kosong dengan status 200.
Pikirkan crawl budget hanya pada skala besar. Panduan crawl budget dari Google ditujukan bagi situs dengan lebih dari satu juta halaman yang berubah setiap minggu, atau lebih dari 10.000 halaman yang berubah setiap hari.

Bantuan dari AutoPSEO

AutoPSEO menjalankan URL Inspection langsung dari dalam aplikasi dan dihitung terhadap jatah harian Google sebesar 2.000 inspeksi per properti. Index Tracker menyimpan daftar hingga 1.800 URL pilihan Anda dan memeriksa ulang hingga 200 di antaranya per hari, dimulai dari yang paling lama tidak diperiksa. Fitur ini memberi peringatan jika ada URL yang dikeluarkan dari indeks dalam 30 hari terakhir atau belum di-crawl selama 120 hari, dan dapat memicu peringatan "Index flip" di Slack, Teams, atau webhook ketika URL yang dilacak keluar dari indeks atau kembali masuk. IndexNow memberi tahu Bing dan mesin pencari lain yang mendukungnya; Google tidak ikut serta dalam IndexNow, sehingga untuk Google, sitemap dan tautan internal tetap menjadi jalur masuknya.

Artikel yang ditulis oleh content engine dikirim ke situs Anda sendiri, yang menerbitkan dan menautkannya seperti halaman lainnya. Jika situs Anda mendeklarasikan kunci IndexNow, AutoPSEO mengirim ping ke IndexNow untuk setiap alamat baru atau yang diperbarui di host Anda (Delivery).