Jak sprawdzić plik robots.txt w Google Search Console?

Q: Jak sprawdzić plik robots.txt w Google Search Console?

Otwórz raport robots.txt w sekcji Ustawienia, aby zobaczyć każdy plik znaleziony przez Google, czas jego pobrania i błędy analizy. Pojedyncze adresy URL sprawdzisz w narzędziu Inspekcja adresu URL.

Otwórz Ustawienia, a następnie raport robots.txt. Znajdziesz w nim pliki robots.txt, które Google wykrył dla Twojej witryny, a dla każdego z nich: datę ostatniego sprawdzenia, informację o tym, czy pobranie się powiodło, rozmiar pliku oraz wszystkie wiersze, których Google nie zdołał przeanalizować. Aby sprawdzić, czy konkretny adres URL jest zablokowany, przeprowadź jego inspekcję i odczytaj pole Czy skanowanie jest dozwolone?. Samodzielne narzędzie robots.txt Tester, opisywane w starszych poradnikach, nie jest już jednym z narzędzi Search Console.

Co pokazuje raport

Zgodnie z pomocą Google dotyczącą raportu robots.txt:

Raport jest dostępny tylko dla usług na poziomie domeny: usługi typu Domena albo usługi z prefiksem adresu URL bez ścieżki (https://example.com/, a nie https://example.com/shop/).
W usłudze typu Domena obejmuje 20 hostów o największej częstotliwości skanowania, ponieważ każdy host ma własny plik.
Dla każdego pliku widać jego ścieżkę, stan pobierania, datę ostatniego sprawdzenia, rozmiar w bajtach i liczbę problemów. Błędy powodują, że Google pomija daną regułę, a ostrzeżenia nie.
Pliki pojawiają się w raporcie, jeśli Google pobrał je lub próbował pobrać w ciągu ostatnich 30 dni.

Stan	Co oznacza
Pobrano	Google otrzymał plik. Pomija wiersze, których nie udało się przeanalizować, i stosuje pozostałe
Nie pobrano: Nie znaleziono (404)	Pliku nie ma, co jest w porządku: Google może skanować każdy adres URL
Nie pobrano: inny powód	Wystąpił inny problem; zobacz tabelę poniżej

Po zmianie pliku

Google zazwyczaj przechowuje plik robots.txt w pamięci podręcznej przez maksymalnie 24 godziny, więc zmiana nie działa natychmiast. Jeśli odblokowano ważne adresy URL lub naprawiono błąd pobierania, otwórz menu pliku w raporcie i wybierz Poproś o ponowne skanowanie. W przeciwnym razie nie jest to potrzebne: Google często pobiera plik robots.txt ponownie.

Jak Google traktuje uszkodzony plik robots.txt

Co otrzymuje Google	Co się dzieje
Odpowiedź 2xx	Reguły są stosowane
Przekierowanie	Google podąża za co najmniej pięcioma przekierowaniami, a nierozwiązany łańcuch traktuje jak błąd 404
Błąd 4xx inny niż 429	Traktowany tak, jakby pliku nie było: nic nie jest blokowane
Błąd 5xx lub awaria sieci	Skanowanie zostaje wstrzymane na 12 godzin, potem przez maksymalnie 30 dni używana jest ostatnia poprawna kopia; po tym czasie, jeśli witryna poza tym działa, Google postępuje tak, jakby pliku nie było
Plik większy niż 500 KiB	Wszystko, co przekracza limit, jest ignorowane

Źródło: Jak Google interpretuje plik robots.txt. Wiersz dotyczący błędów 5xx jest najgroźniejszy: serwer, który zwraca błąd tylko dla tego jednego pliku, może wstrzymać skanowanie całej witryny.

Testowanie reguł przed wdrożeniem

W przypadku adresu URL, który jest już dostępny, najszybszą odpowiedź daje pole Czy skanowanie jest dozwolone? w narzędziu Inspekcja adresu URL.
W przypadku wersji roboczej pliku Google odsyła programistów do swojej otwartoźródłowej biblioteki robots.txt, służącej do testowania lokalnego.
Gdy reguły są ze sobą sprzeczne, Google stosuje najbardziej szczegółową z nich, czyli tę z najdłuższą pasującą ścieżką, a jeśli dwie są równie szczegółowe, wygrywa mniej restrykcyjna.

Czego robots.txt nie potrafi

Plik robots.txt kontroluje skanowanie, a nie indeksowanie. Google zaznacza, że nie jest to sposób na ukrycie strony przed Google: zablokowany adres URL może nadal zostać zaindeksowany, bez opisu, jeśli prowadzą do niego linki z innych stron. Aby wykluczyć stronę z wyników wyszukiwania, użyj znacznika noindex lub hasła, jak opisano w artykule o usuwaniu adresu URL.

Jak pomaga AutoPSEO

Zbiorcza inspekcja adresów URL w AutoPSEO pokazuje stan pliku robots.txt zgłaszany przez Google dla każdego adresu URL, w jednym uruchomieniu dla maksymalnie 500 adresów z wklejonej listy lub mapy witryny. Dzięki temu łatwo upewnić się, że zmiana reguły nie zablokowała przypadkiem całej sekcji.