Dizinleme açıklaması: Google sayfaları nasıl tarar, dizine ekler ve raporlar

Bir URL'nin keşiften Google dizinine uzanan yolculuğu, Sayfa dizinleme durumlarının her birinin ne anlama geldiği ve hangilerinin düzeltilmesi gerektiği; Google'ın belgelerine dayanır.

Dizinleme, Google'ın bir sayfayı arama sonuçlarında görünebilmesi için depolamasıdır. Bunun gerçekleşebilmesi için Google'ın önce URL'yi keşfetmesi, taraması ve çoğu durumda işlemesi (render etmesi) gerekir. Ardından sayfanın başka bir URL'nin kopyası olup olmadığına ve saklanmaya değer olup olmadığına karar verir. Search Console'daki Sayfa dizinleme raporu, URL'lerinizin bu yolda nerede takıldığını ve Google'ın gerekçesini gösterir.

URL'den arama sonucuna

Google'ın Arama'nın nasıl çalıştığına dair açıklaması, bu yolculuğu tek tek kontrol edebileceğiniz adımlara ayırır.

Keşif. Web sayfalarının merkezi bir listesi yoktur; bu yüzden Google yeni sayfaları aramayı sürdürür. Çoğunu, zaten bildiği sayfalardaki bağlantılar ve site sahiplerinin gönderdiği site haritaları aracılığıyla bulur.
Tarama. Googlebot, robots.txt izin veriyorsa URL'yi getirir. Google, sunucunuzu aşırı yüklememek için tarama hızını sınırlar; sunucu hataları bu hızı daha da düşürür.
İşleme (render). Bazı içerikler yalnızca betikler çalıştıktan sonra ortaya çıktığından Google, sayfanın JavaScript kodunu Chrome'un güncel bir sürümüyle çalıştırır.
Dizinleme. Google içeriği analiz eder, kopya veya neredeyse kopya olan sayfaları gruplar, bunlardan birini kanonik olarak seçer ve depolar. Bir sayfayı hiç dizine eklememeye de karar verebilir; örneğin içerik kalitesi düşükse veya bir robots meta kuralı bunu yasaklıyorsa.
Sunum. Google her arama için sonuçları dizinden seçer. Dizine eklenmek, bir sayfanın görünmeye uygun olmasını sağlar; görüneceğinin garantisi değildir.

Google, bu adımlardan hiçbirini hiçbir sayfa için garanti etmediğini açıkça belirtir. Sizin yapabileceğiniz, engelleri kaldırmak ve Google'a devam etmesi için iyi nedenler sunmaktır.

Sayfa dizinleme raporunu okumak

Rapor, Google'ın bildiği URL'leri Dizine eklendi ve Dizine eklenmedi olarak ikiye ayırır ve dizine eklenmeyen her URL grubu için bir neden listeler (Sayfa dizinleme raporu). Google'ın kendi yönergelerinden iki nokta, raporu nasıl okuyacağınızı belirlemelidir:

Dizine eklenmemiş olmak mutlaka kötü değildir. Google, site sahiplerine her URL'nin dizine eklenmesini beklememelerini söyler. Kopyalar, yönlendirilen adresler ve anlamlı içeriği olmayan sayfaların dışarıda kalması gerekir. Önemli olan, kilit sayfalarınızın dizinde olmasıdır.
Kaynağa bakın. Her neden, sorunun web sitesinden mi yoksa Google'ın sistemlerinden mi kaynaklandığını gösterir. Genel olarak yalnızca kaynağı "Web sitesi" olan nedenleri düzeltebilirsiniz.

Dolayısıyla doğru soru asla "dizine eklenmeyenlerin sayısı neden yüksek?" değildir. Doğru soru şudur: "İhtiyaç duyduğum sayfalardan bu listede olan var mı ve neden?"

Her durum ne anlama gelir?

Google'ın nedenleri beş gruba ayrılır. Doğru yanıt, tam ifadeden çok gruba bağlıdır.

Google'a dizine eklememesini siz söylediniz

Durum	Ne oldu?	Eylem
URL 'noindex' olarak işaretlenmiş	Sayfada bir noindex kuralı var	Amaçlandıysa yapılacak bir şey yok; sayfanın sıralanması gerekiyorsa kuralı kaldırın
URL robots.txt tarafından engellenmiş	robots.txt, Google'ın sayfayı taramasını engelliyor	Taramayı engellemek, sayfanın dizin dışında kalacağını garanti etmez
Uygun kanonik etiketi olan alternatif sayfa	Sayfa, kanonik olarak başka bir URL'yi gösteriyor ve Google bu fikre katılıyor	Yok
Yönlendirmeli sayfa	URL başka bir yere yönleniyor, bu yüzden kendisi dizine eklenmiyor	Hedef, dizine eklenmesini istediğiniz sayfaysa yok

Google sayfayı getiremedi

Durum	Ne oldu?	Eylem
Sunucu hatası (5xx)	Sunucunuz 500 serisi bir hata döndürdü	Sunucuyu düzeltin; tekrarlayan hatalar taramayı da yavaşlatır
Yönlendirme hatası	Bir yönlendirme zinciri çok uzundu, döngüye girdi veya hatalı ya da boş bir URL'ye çıktı	Yönlendirmeyi doğrudan son URL'ye yöneltin
Yetkisiz istek (401), erişim yasak (403) veya başka bir 4xx sorunu nedeniyle engellendi	Sayfa Googlebot'u reddetti	Sayfa herkese açık olmalıysa engeli kaldırın
Bulunamadı (404)	URL 404 döndürdü	Kaldırılmış sayfalar için sorun yok; sayfa başka bir yerde hâlâ duruyorsa bağlantıları düzeltin

Google başka bir URL'yi seçti

Durum	Ne oldu?	Eylem
Kullanıcı tarafından seçilmiş kanonik içermeyen kopya	Google sayfayı kopya olarak görüyor ve farklı bir kanonik seçti	Genellikle yok; Google bunun amaçlandığı gibi çalıştığını belirtir
Kopya, Google kullanıcının seçtiğinden farklı kanonik seçti	Bir kanonik belirttiniz, ancak Google başka bir URL'yi tercih etti	Sinyallerinizi birbiriyle uyumlu hale getirin (aşağıya bakın)

Google henüz sizin lehinize karar vermedi

Durum	Ne oldu?	Eylem
Keşfedildi - şu anda dizine eklenmiyor	Google URL'yi biliyor ama henüz taramadı; çoğu zaman siteyi aşırı yüklememek için ertelenir	Taranan sayfalardan bu URL'ye bağlantı verin; çok büyük sitelerde taramayı yönetin
Tarandı - şu anda dizine eklenmiyor	Google sayfayı taradı ama dizine eklemedi; ileride ekleyebilir de eklemeyebilir de	Sayfayı açıkça faydalı ve ayırt edici hale getirin veya daha güçlü bir sayfayla birleştirin

İçerik hatalı görünüyor

Durum	Ne oldu?	Eylem
Soft 404	Sayfa 200 yanıtı veriyor ama hata sayfasına ya da boş sayfaya benziyor	Olmayan sayfalar için gerçek bir 404 döndürün veya gerçek sayfalara gerçek içerik verin
Sayfa içeriksiz olarak dizine eklendi (uyarı)	Dizine eklendi, ancak Google içeriği okuyamadı	Googlebot'un ne aldığını URL Denetimi ile kontrol edin
robots.txt tarafından engellenmesine rağmen dizine eklendi (uyarı)	robots.txt engellemesine rağmen dizine eklendi	Dizin dışında tutmak için taramaya izin verin ve noindex ekleyin

Son satır birçok kişiyi yanıltır. Google, noindex kuralını yalnızca taramasına izin verilen bir sayfada görebilir; bu yüzden bir sayfayı robots.txt ile engelleyip aynı anda noindex eklerseniz noindex hiçbir zaman okunmaz (noindex ile dizinlemeyi engelleme).

Google farklı bir kanonik seçtiğinde

Kanonik etiketler komut değil, sinyaldir. Google bunlardan birkaçını birlikte tartar: yönlendirmeler ve rel="canonical" güçlü sinyallerdir, site haritasına dahil etmek zayıf bir sinyaldir ve Google HTTPS adreslerini HTTP'ye tercih eder (Kopya URL'leri birleştirme). Sinyalleriniz birbiriyle çeliştiğinde (örneğin kanonik etiket bir URL'yi gösterirken iç bağlantılarınız ve site haritanız başka bir URL'yi kullandığında) Google kendi seçimini yapar. Tüm sinyallerin aynı URL'yi göstermesini sağlayın ve iç bağlantıları bu URL'ye verin. Kanonik seçmek için robots.txt veya noindex kullanmayın; noindex sayfayı Arama'dan tamamen kaldırır.

URL Denetimi ile tek bir URL'yi kontrol etmek

Sayfa dizinleme raporu grupları gösterir; URL Denetimi ise tek bir URL'yi ayrıntılı gösterir (URL Denetimi aracı). URL'nin dizine eklenip eklenmediğini, sizin belirttiğiniz ve Google'ın seçtiği kanoniği, Google'ın sayfayı en son ne zaman taradığını ve mobil mi masaüstü kullanıcı aracısıyla taradığını, robots.txt'nin taramaya izin verip vermediğini, getirmenin başarılı olup olmadığını ve dizinlemeye izin verilip verilmediğini bildirir.

İki uyarı: Birincisi, varsayılan görünüm son dizine eklenen sürümü anlatır ve bu sürüm güncel olmayabilir; Canlı URL'yi test et ise sayfayı şimdi getirir, bir düzeltmeyi doğrulamanın yolu budur, ancak başarılı bir canlı test dizine ekleneceğini garanti etmez. İkincisi, robots.txt taramayı engellediğinde "Dizinlemeye izin veriliyor mu?" alanı her zaman evet gösterir; çünkü Google, getirmesine izin verilmeyen bir noindex kuralını göremez.

Dizine eklemeyi iste, Google'dan URL'yi yeniden taramasını ister. Günlük bir kotaya tabidir ve Google, aynı URL için birden çok kez tarama istemenin bunu hızlandırmayacağını söyler (Google'dan yeniden tarama isteme). Çok sayıda URL için bunun yerine güncel bir site haritası gönderin.

Dizinleme ne kadar sürer?

Google söz vermek yerine aralıklar verir. Yeni bir sayfanın dizine eklenmesi birkaç gün sürebilir ve doğrudan istekte bulunulsa bile hiçbir zaman anlık değildir. Yeni sitelerin taranıp dizine eklenmesi yaklaşık bir hafta veya daha fazla sürebilir; yeniden tarama ise birkaç günden birkaç haftaya kadar değişebilir. Bir sorunu düzeltip Düzeltmeyi doğrula'ya bastığınızda kontrol genellikle yaklaşık iki haftaya kadar sürer. Önemli bir sayfa bir ay sonra hâlâ yoksa dizinlemeyi yeniden istemek yerine teknik dizinleme el kitabını izleyin.

Google'ın sayfalarınızı bulmasına ve korumasına yardımcı olmak

Yeni sayfalara, Google'ın zaten taradığı sayfalardan bağlantı verin; örneğin ana sayfanızdan, merkez sayfalardan veya ilgili makalelerden. Bağlantılar, Google'ın URL'leri keşfetmesinin ana yoludur.
Site haritalarında yalnızca kanonik URL'ler bulundurun, bunları tam mutlak adresler olarak yazın ve dosya başına en fazla 50.000 URL veya sıkıştırılmamış 50MB sınırını aşmayın. Google, <lastmod> tutarlı biçimde doğru olduğunda onu kullanır; <priority> ve <changefreq> değerlerini yok sayar (Site haritası oluşturma).
Her içeriğe tek bir URL verin; yönlendirmeler, kanonik etiketler, site haritaları ve iç bağlantılar birbiriyle uyumlu olsun.
Kaldırdığınız sayfalar için 200 durumlu boş bir sayfa yerine gerçek bir 404 veya 410 döndürün.
Tarama bütçesini yalnızca büyük ölçekte düşünün. Google'ın tarama bütçesi kılavuzu, haftalık değişen bir milyondan fazla sayfası veya günlük değişen 10.000'den fazla sayfası olan sitelere yöneliktir.

AutoPSEO nasıl yardımcı olur?

AutoPSEO, URL Denetimi'ni uygulamanın içinden çalıştırır ve bu işlemler Google'ın mülk başına günlük 2.000 denetim kotasından düşer. Index Tracker, sizin seçtiğiniz en fazla 1.800 URL'lik bir liste tutar ve bunlardan günde en fazla 200 tanesini, en uzun süredir denetlenmeyenden başlayarak yeniden denetler. Bir URL son 30 gün içinde dizinden çıkarılmışsa veya 120 gündür taranmamışsa uyarır; izlenen bir URL dizinden düştüğünde ya da geri geldiğinde Slack, Teams veya bir webhook üzerinden "Index flip" uyarısı gönderebilir. IndexNow, Bing'i ve onu destekleyen diğer arama motorlarını bilgilendirir; Google IndexNow'a katılmaz, bu nedenle Google için site haritası ve iç bağlantılar giriş yolu olmaya devam eder.

İçerik motorunun yazdığı makaleler sizin kendi sitenize teslim edilir; site bunları diğer sayfalar gibi yayımlar ve bağlantılandırır. Siteniz bir IndexNow anahtarı tanımladığında AutoPSEO, ana bilgisayarınızdaki her yeni veya güncellenmiş adres için IndexNow'a ping gönderir (Teslimat).