Google Search Console'da robots.txt dosyamı nasıl kontrol ederim?

Q: Google Search Console'da robots.txt dosyamı nasıl kontrol ederim?

Google'ın bulduğu her dosyayı, ne zaman çekildiğini ve ayrıştırma hatalarını görmek için Ayarlar altındaki robots.txt raporunu açın. Tek tek URL'leri URL Denetleme ile kontrol edin.

Ayarlar'ı ve ardından robots.txt raporunu açın. Rapor, Google'ın siteniz için bulduğu robots.txt dosyalarını, her birinin en son ne zaman kontrol edildiğini, çekme işleminin başarılı olup olmadığını, dosya boyutunu ve Google'ın ayrıştıramadığı satırları listeler. Belirli bir URL'nin engellenip engellenmediğini öğrenmek için o URL'yi denetleyin ve Tarama izni var mı? alanını okuyun. Eski rehberlerde anlatılan bağımsız robots.txt Test Aracı artık Search Console araçları arasında yer almıyor.

Raporda neler görünür?

Google'ın robots.txt raporu yardım sayfasına göre:

Rapor yalnızca alan adı düzeyindeki mülklerde kullanılabilir: Alan Adı mülkü veya yol içermeyen bir URL öneki mülkü (https://example.com/shop/ değil, https://example.com/).
Her ana makinenin kendi dosyası olduğundan, Alan Adı mülkünde tarama hızına göre ilk 20 ana makine kapsanır.
Her dosya için yolunu, çekme durumunu, en son ne zaman kontrol edildiğini, bayt cinsinden boyutunu ve sorun sayısını görürsünüz. Hatalar Google'ın bir kuralı atlamasına neden olur; uyarılar olmaz.
Dosyalar, Google son 30 gün içinde onları çektiyse ya da çekmeyi denediyse listelenir.

Durum	Anlamı
Çekildi	Google dosyayı aldı. Ayrıştıramadığı satırları yok sayar, kalanları kullanır
Çekilemedi: Bulunamadı (404)	Dosya yok, bu sorun değil: Google her URL'yi tarayabilir
Çekilemedi: diğer nedenler	Başka bir sorun oluştu; aşağıdaki tabloya bakın

Dosyayı değiştirdikten sonra

Google robots.txt dosyasını genellikle 24 saate kadar önbellekte tutar, bu nedenle bir değişiklik anında yansımaz. Önemli URL'lerin engelini kaldırdıysanız veya bir çekme hatasını düzelttiyseniz, raporda dosyanın menüsünü açıp Yeniden tarama iste'yi seçin. Aksi halde buna gerek yoktur: Google robots.txt dosyasını sık sık yeniden çeker.

Google bozuk bir robots.txt dosyasını nasıl ele alır?

Google'ın aldığı yanıt	Ne olur?
2xx yanıtı	Kurallar uygulanır
Yönlendirme	Google en az beş adım takip eder, ardından çözümlenmeyen zinciri 404 olarak değerlendirir
429 dışındaki bir 4xx hatası	Dosya yokmuş gibi değerlendirilir: hiçbir şey engellenmez
5xx hatası veya ağ hatası	Tarama 12 saat durdurulur, ardından en son çalışan kopya 30 güne kadar kullanılır; bu sürenin sonunda site başka açılardan erişilebilirse Google dosya yokmuş gibi davranır
500 KiB'den büyük dosya	Sınırın ötesindeki her şey yok sayılır

Kaynak: Google robots.txt dosyasını nasıl yorumlar. Asıl dikkat edilmesi gereken satır 5xx satırıdır: yalnızca bu dosyada hata veren bir sunucu, sitenin tamamının taranmasını duraklatabilir.

Kuralları yayına almadan önce test etme

Zaten yayında olan bir URL için en hızlı yanıt, URL Denetleme'deki Tarama izni var mı? alanıdır.
Taslak bir dosya için Google, geliştiricileri yerel test amacıyla açık kaynaklı robots.txt kitaplığına yönlendirir.
Kurallar çakıştığında Google en belirli olanı, yani eşleşen yolu en uzun olan kuralı uygular; iki kural eşit derecede belirliyse daha az kısıtlayıcı olan geçerli olur.

robots.txt'nin yapamadıkları

robots.txt taramayı kontrol eder, dizine eklemeyi değil. Google'a göre bu dosya bir sayfayı Google'dan uzak tutmanın yolu değildir: başka sayfalar bir URL'ye bağlantı veriyorsa, engellenmiş olsa bile o URL açıklama olmadan dizine eklenebilir. Bir sayfayı sonuçların dışında tutmak için URL kaldırma bölümünde açıklandığı gibi noindex veya parola kullanın.

AutoPSEO nasıl yardımcı olur?

AutoPSEO'nun toplu URL denetimi, Google'ın her URL için bildirdiği robots.txt durumunu gösterir; yapıştırılmış bir listeden veya bir site haritasından tek seferde en fazla 500 URL işlenebilir. Böylece bir kural değişikliğinin yanlışlıkla sitenin bütün bir bölümünü engellemediğini hızla doğrulayabilirsiniz.