Cara mendiagnosis masalah pengindeksan teknis

Diagnosis masalah pengindeksan dimulai dari halaman yang Anda butuhkan, bukan dari total angka di laporan. Susun daftar URL yang penting, cari tahu mana yang belum terindeks dan alasannya, lalu tangani penyebabnya berdasarkan tingkat keparahan: error server dan akses lebih dulu, kemudian pemblokiran yang tidak disengaja, konflik canonical, halaman yang menyerupai error, dan terakhir halaman yang memang dipilih Google untuk tidak diindeks. Konfirmasi setiap perbaikan dengan uji langsung di URL Inspection sebelum meminta Google memvalidasinya.

Panduan ini mengasumsikan Anda sudah memahami status yang dijelaskan di Penjelasan tentang pengindeksan.

Langkah 1: susun daftar URL yang penting

Laporan Pengindeksan halaman menghitung setiap URL yang diketahui Google, termasuk parameter, alamat lama, dan halaman yang tidak pernah Anda maksudkan untuk dipublikasikan. Angka "Tidak diindeks" yang besar adalah hal normal, dan Google menegaskan bahwa tidak semua URL perlu diindeks (Laporan Pengindeksan halaman). Jadi, mulailah dari daftar Anda sendiri:

• Halaman yang mendatangkan traffic: 50 sampai 100 teratas di Performance → Pages selama tiga bulan.
• Halaman yang mendatangkan uang: halaman produk, harga, layanan, dan lokasi, berapa pun traffic-nya.
• Halaman baru: semua yang dipublikasikan dalam 90 hari terakhir.
• Sitemap Anda: sitemap seharusnya memuat persis URL canonical yang ingin Anda indeks. Anda bisa memfilter laporan Pengindeksan halaman berdasarkan sitemap untuk melihat berapa banyak URL-nya yang sudah terindeks, dan setiap sitemap di laporan Sitemap menautkan ke cakupan pengindeksan URL-nya.

Langkah 2: cari tahu mana yang belum terindeks

Untuk daftar yang pendek, periksa setiap URL di URL Inspection. Untuk daftar yang lebih panjang, buka laporan Pengindeksan halaman yang difilter berdasarkan sitemap Anda, lalu telusuri setiap alasan sambil memeriksa URL penting Anda mana saja yang muncul dalam contohnya. Catat setiap URL beserta alasan dan sumber alasannya. Aturan praktis dari Google: pada umumnya Anda hanya bisa memperbaiki masalah yang sumbernya tercantum sebagai "Website".

Langkah 3: tangani penyebab sesuai urutan

Perbaiki penyebab dengan urutan ini. Setiap tingkat bisa menutupi tingkat berikutnya, dan yang pertama memengaruhi paling banyak halaman sekaligus.

Mendiagnosis satu URL dengan URL Inspection

Untuk setiap URL penting dalam daftar Anda, jalankan lima pemeriksaan yang sama (Alat URL Inspection):

1. Baca vonis dan alasannya. "URL tidak dikenal Google" berarti Google belum pernah melihat alamat tersebut sama sekali, sehingga tugasnya adalah penemuan: tautkan dari halaman yang sudah di-crawl Google dan cantumkan di sitemap Anda.
2. Bandingkan canonical-nya. Jika canonical pilihan Google berbeda dengan yang dideklarasikan pengguna, berarti Google mengindeks URL lain sebagai pengganti URL ini. Periksa URL lain tersebut sebelum mengubah apa pun.
3. Periksa crawl-nya. Catat tanggal crawl terakhir, apakah Google melakukan crawl sebagai smartphone atau desktop, apakah crawling diizinkan, dan apakah pengambilan halaman berhasil. Satu peringatan: saat robots.txt memblokir crawling, "Pengindeksan diizinkan?" akan selalu menjawab ya, karena Google tidak bisa melihat noindex pada halaman yang tidak boleh diambilnya.
4. Jalankan Test live URL. Tampilan default menggambarkan versi terakhir yang diindeks, yang mungkin sudah lama. Uji langsung mengambil halaman saat ini dan menampilkan tangkapan layar halaman yang dirender, cara tercepat untuk menemukan konten yang hanya muncul bagi pengguna yang login atau setelah skrip gagal dijalankan.
5. Minta pengindeksan hanya setelah ada perbaikan. Google menerapkan kuota harian dan menyatakan bahwa permintaan berulang untuk URL yang sama tidak mempercepat apa pun (Minta Google meng-crawl ulang).

Catatan tentang status yang lebih sulit

Diblokir robots.txt tidak sama dengan tidak masuk indeks. robots.txt mengatur crawling, bukan pengindeksan; URL yang diblokir tetapi ditautkan oleh halaman lain masih bisa diindeks tanpa kontennya. Untuk menjauhkan halaman dari Google, izinkan crawling dan gunakan noindex, baik di tag meta maupun header X-Robots-Tag (Blokir pengindeksan). Ingat bahwa penghapusan baru terjadi saat Google meng-crawl ulang halaman tersebut, yang bisa memakan waktu cukup lama.

Konflik canonical biasanya disebabkan sendiri. Google menganggap pengalihan dan rel="canonical" sebagai sinyal kuat, pencantuman di sitemap sebagai sinyal lemah, dan lebih memilih HTTPS (Konsolidasikan URL duplikat). Konflik yang paling umum: tag canonical menyebut satu URL, sementara navigasi, sitemap, dan tautan internal semuanya memakai varian lain (garis miring di akhir, huruf kapital, parameter pelacakan, http://). Samakan semuanya, dan konflik biasanya selesai pada crawl berikutnya.

Soft 404 ada dua jenis. Sebagian benar-benar halaman yang tidak ada, misalnya template "item tidak ditemukan" yang mengembalikan 200; halaman seperti itu harus mengembalikan 404 atau 410. Sebagian lain adalah halaman sungguhan yang tampak kosong bagi Google, seperti kategori tanpa produk atau halaman yang kontennya dimuat setelah skrip gagal; halaman seperti itu membutuhkan konten yang bisa dilihat Google, yang dapat dikonfirmasi lewat tangkapan layar pada uji langsung.

Di-crawl - saat ini tidak diindeks adalah penilaian, bukan error. Google sudah meng-crawl halaman itu dan memutuskan, untuk saat ini, tidak menyimpannya; halaman itu mungkin atau mungkin tidak diindeks nanti. Tanyakan dengan jujur apa nilai tambah halaman tersebut. Variasi tipis dari halaman lain, halaman tag yang hanya berisi dua tulisan, dan artikel yang mengulang apa yang sudah dikatakan sepuluh situs lain adalah penghuni yang paling sering. Buat halaman itu jelas lebih baik atau berbeda, atau gabungkan ke halaman yang sudah demikian.

Ditemukan - saat ini tidak diindeks biasanya soal tautan. Google mengetahui URL-nya tetapi belum meng-crawl-nya. Pada sebagian besar situs, perbaikannya adalah menautkan halaman itu dari halaman yang sudah di-crawl Google dan tetap mencantumkannya di sitemap. Panduan crawl budget dari Google ditulis untuk kelompok yang lebih sempit: situs dengan lebih dari satu juta halaman yang berubah setiap minggu, atau lebih dari 10.000 halaman yang berubah setiap hari (Mengelola crawl budget). Jika itu situs Anda, pangkas inventaris URL: gabungkan duplikat, blokir crawling URL yang tidak perlu diambil, kembalikan 404 atau 410 untuk halaman yang sudah dihapus, dan perbaiki soft 404, yang terus di-crawl.

Langkah 4: validasi perbaikan

Setelah URL untuk satu alasan selesai diperbaiki, buka alasan tersebut di laporan Pengindeksan halaman dan tekan Validate fix, cukup sekali. Google lebih dulu memeriksa beberapa halaman sampel; jika masalahnya masih ada, validasi dihentikan. Jika tidak, Google memeriksa ulang setiap URL terdampak yang diketahui dan menandai masing-masing sebagai lolos atau gagal. Google menyebutkan validasi biasanya memakan waktu hingga sekitar dua minggu dan terkadang jauh lebih lama. Google juga bisa menyadari perbaikan saat crawling normal tanpa permintaan validasi.

Kapan harus berhenti

Berhentilah mengejar suatu status jika URL di baliknya memang tidak perlu diindeks (parameter, tampilan terfilter, hasil pencarian internal, pengalihan lama) atau jika halaman sudah diperbaiki, ditautkan, dan diajukan ulang tetapi Google masih menolaknya setelah beberapa bulan. Pada titik itu, langkah yang biasanya berguna adalah menggabungkan halaman ke halaman yang lebih kuat lalu mengalihkannya, bukan meminta pengindeksan lagi.

Bagaimana AutoPSEO membantu

AutoPSEO mengubah langkah 2 menjadi pemeriksaan yang berjalan terus-menerus. Index Tracker menampung hingga 1.800 URL pilihan Anda, memeriksa ulang hingga 200 di antaranya setiap hari melalui URL Inspection API (pemeriksaan terlama didahulukan, dalam batas kuota Google sebesar 2.000 inspeksi per properti per hari), dan menandai halaman yang dihapus dari indeks dalam 30 hari terakhir serta halaman yang tidak di-crawl Google selama 120 hari. Peringatan Index flip dikirim ke Slack, Microsoft Teams, atau webhook saat URL yang dilacak keluar dari indeks atau kembali masuk (peringatan). URL Inspection dan Sitemap bisa digunakan langsung dari dalam aplikasi, dan masalah crawl Bing menampilkan jenis masalah yang sama dari sisi Bing.

Untuk halaman baru, IndexNow memberi tahu Bing dan mesin pencari lain yang mendukungnya tentang URL yang berubah; Google tidak ikut serta dalam IndexNow, jadi sitemap dan tautan internal tetap menjadi cara untuk menjangkau Google. Artikel dari mesin konten dikirim ke situs Anda sendiri, yang memublikasikan dan menautkannya seperti halaman lain; saat situs Anda mendeklarasikan kunci IndexNow, AutoPSEO mengirim ping ke IndexNow untuk setiap alamat yang dipublikasikan atau diperbarui di host Anda dan mencatat jawaban dari IndexNow (Pengiriman).