Indeksowanie od podstaw: jak Google skanuje, indeksuje i raportuje strony

Indeksowanie to zapisanie strony przez Google tak, aby mogła pojawiać się w wynikach wyszukiwania. Zanim to nastąpi, Google musi wykryć adres URL, przeskanować go i zazwyczaj wyrenderować. Następnie ocenia, czy strona nie powiela innego adresu URL i czy w ogóle warto ją zachować. Raport Indeksowanie stron w Search Console pokazuje, na którym etapie tej drogi zatrzymał się każdy z Twoich adresów URL, oraz podaje powód, który wskazał Google.

Od adresu URL do wyniku wyszukiwania

Opis działania wyszukiwarki przygotowany przez Google dzieli tę drogę na etapy, które można sprawdzać pojedynczo.

1. Wykrywanie. Nie istnieje centralna lista stron internetowych, więc Google stale szuka nowych. Większość z nich znajduje dzięki linkom ze stron, które już zna, oraz mapom witryny przesyłanym przez właścicieli serwisów.
2. Skanowanie. Googlebot pobiera adres URL, o ile pozwala na to plik robots.txt. Google ogranicza tempo skanowania, by nie przeciążać Twojego serwera, a błędy serwera dodatkowo je spowalniają.
3. Renderowanie. Google uruchamia kod JavaScript strony w aktualnej wersji Chrome, ponieważ część treści pojawia się dopiero po wykonaniu skryptów.
4. Indeksowanie. Google analizuje treść, grupuje strony będące duplikatami lub bardzo podobnymi kopiami, wybiera spośród nich jedną jako kanoniczną i zapisuje ją. Może też zdecydować, że strony w ogóle nie zaindeksuje, na przykład z powodu niskiej jakości treści albo reguły robots meta, która to zabrania.
5. Wyświetlanie. Przy każdym wyszukiwaniu Google wybiera wyniki z indeksu. Zaindeksowanie sprawia, że strona może się pojawić, ale nie gwarantuje, że tak się stanie.

Google wyraźnie zaznacza, że nie gwarantuje żadnego z tych kroków dla żadnej strony. Możesz natomiast usunąć przeszkody i dać mu dobre powody, by szedł dalej.

Jak czytać raport Indeksowanie stron

Raport dzieli adresy URL znane Google na zaindeksowane i niezaindeksowane oraz podaje powód dla każdej grupy adresów, które nie trafiły do indeksu (Raport Indeksowanie stron). Dwie wskazówki od samego Google warto mieć w głowie podczas analizy:

• Brak indeksowania nie musi być problemem. Google przestrzega, by nie oczekiwać zaindeksowania wszystkich adresów URL. Duplikaty, adresy przekierowywane i strony bez wartościowej treści mają zostać poza indeksem. Liczy się to, żeby kluczowe strony w nim były.
• Sprawdź kolumnę Źródło. Przy każdym powodzie widać, czy przyczyna leży po stronie witryny, czy systemów Google. Zasadniczo naprawić możesz tylko te powody, których źródłem jest "Witryna".

Dlatego przydatne pytanie nie brzmi "dlaczego mam tyle niezaindeksowanych adresów?". Brzmi: "czy na tej liście są strony, których potrzebuję, i dlaczego?".

Co oznacza każdy status

Powody podawane przez Google dzielą się na pięć grup. O tym, jak zareagować, decyduje przede wszystkim grupa, a nie dokładne brzmienie statusu.

Poinformowano Google, by nie indeksował strony

Google nie mógł pobrać strony

Google wybrał inny adres URL

Google jeszcze nie podjął decyzji na Twoją korzyść

Treść wygląda nieprawidłowo

Ostatni wiersz bywa pułapką. Google widzi regułę noindex tylko na stronie, którą wolno mu skanować, więc zablokowanie strony w robots.txt i jednoczesne dodanie noindex oznacza, że noindex nigdy nie zostanie odczytane (Blokowanie indeksowania za pomocą noindex).

Gdy Google wybiera inny adres kanoniczny

Znaczniki canonical to sygnały, a nie polecenia. Google waży kilka z nich: przekierowania i rel="canonical" są sygnałami silnymi, uwzględnienie w mapie witryny jest słabym, a adresy HTTPS woli od HTTP (Konsolidowanie zduplikowanych adresów URL). Gdy sygnały są sprzeczne, na przykład znacznik canonical wskazuje jeden adres, a linki wewnętrzne i mapa witryny używają innego, Google wybiera sam. Spraw, by każdy sygnał wskazywał ten sam adres URL, i linkuj wewnętrznie właśnie do niego. Nie używaj robots.txt ani noindex do wyboru adresu kanonicznego; noindex całkowicie usuwa stronę z wyszukiwarki.

Sprawdzanie pojedynczego adresu URL w Inspekcji adresu URL

Raport Indeksowanie stron pokazuje grupy, a Inspekcja adresu URL przedstawia jeden adres ze szczegółami (Narzędzie do inspekcji adresów URL). Podaje, czy adres jest zaindeksowany, jaki adres kanoniczny zadeklarowano i który wybrał Google, kiedy Google ostatnio skanował stronę i czy robił to jako agent mobilny, czy desktopowy, czy robots.txt zezwala na skanowanie, czy pobranie się udało oraz czy indeksowanie jest dozwolone.

Dwa zastrzeżenia. Po pierwsze, domyślny widok opisuje ostatnio zaindeksowaną wersję, która może być nieaktualna; Testuj aktywny URL pobiera stronę teraz, dzięki czemu można potwierdzić poprawkę, choć pozytywny wynik testu nie gwarantuje zaindeksowania. Po drugie, gdy robots.txt blokuje skanowanie, pole "Indeksowanie dozwolone?" zawsze pokazuje "tak", ponieważ Google nie widzi reguły noindex, której pobranie było zabronione.

Poproś o zindeksowanie to prośba do Google o ponowne przeskanowanie adresu. Obowiązuje dzienny limit, a Google zaznacza, że wielokrotne zgłaszanie tego samego adresu nie przyspieszy skanowania (Poproś Google o ponowne przeskanowanie). W przypadku wielu adresów prześlij zamiast tego aktualną mapę witryny.

Ile trwa indeksowanie?

Google podaje przedziały czasowe, a nie obietnice. Zaindeksowanie nowej strony może zająć kilka dni i nigdy nie jest natychmiastowe, nawet po bezpośredniej prośbie. Przeskanowanie i zaindeksowanie nowych witryn może potrwać około tygodnia, a ponowne skanowanie od kilku dni do kilku tygodni. Po naprawieniu problemu i kliknięciu Zweryfikuj poprawkę sprawdzanie trwa zwykle do około dwóch tygodni. Jeśli ważnej strony nadal brakuje po miesiącu, skorzystaj z poradnika dotyczącego technicznych problemów z indeksowaniem zamiast ponownie prosić o zindeksowanie.

Jak pomóc Google znaleźć i zachować Twoje strony

• Linkuj nowe strony ze stron, które Google już skanuje, na przykład ze strony głównej, stron tematycznych lub powiązanych artykułów. Linki to główny sposób, w jaki Google odkrywa adresy URL.
• Umieszczaj w mapach witryny wyłącznie kanoniczne adresy URL, zapisane jako pełne adresy bezwzględne, z limitem 50 000 adresów lub 50MB po rozpakowaniu na plik. Google korzysta ze znacznika <lastmod>, gdy jest konsekwentnie dokładny, a <priority> i <changefreq> ignoruje (Tworzenie mapy witryny).
• Przypisz każdej treści jeden adres URL, a przekierowania, znaczniki canonical, mapy witryny i linki wewnętrzne niech są ze sobą spójne.
• Zwracaj prawdziwy kod 404 lub 410 dla usuniętych stron, zamiast pustej strony z kodem 200.
• Budżetem skanowania przejmuj się dopiero przy dużej skali. Przewodnik Google po budżecie skanowania jest skierowany do witryn z ponad milionem stron zmieniających się co tydzień lub ponad 10 000 stron zmieniających się codziennie.

Jak pomaga AutoPSEO

AutoPSEO uruchamia Inspekcję adresu URL z poziomu aplikacji, a wykorzystanie liczy się do dziennego limitu Google wynoszącego 2000 inspekcji na usługę. Index Tracker przechowuje listę do 1800 wybranych przez Ciebie adresów URL i ponownie inspekcjonuje do 200 z nich dziennie, zaczynając od tych sprawdzanych najdawniej. Ostrzega, gdy któryś został wyindeksowany w ciągu ostatnich 30 dni lub nie był skanowany od 120 dni, a także może wysłać alert "Index flip" do Slack, Teams lub webhooka, gdy śledzony adres wypadnie z indeksu albo do niego wróci. IndexNow powiadamia Bing i inne wyszukiwarki, które go obsługują; Google nie uczestniczy w IndexNow, więc w jego przypadku wejściem pozostają mapa witryny i linki wewnętrzne.

Artykuły tworzone przez silnik treści są dostarczane do Twojej witryny, która publikuje je i linkuje jak każdą inną stronę. Gdy witryna deklaruje klucz IndexNow, AutoPSEO wysyła ping do IndexNow z każdym nowym lub zaktualizowanym adresem w Twojej domenie (Dostarczanie).