Megjeleníti a Google Search Console a crawlkeretemet?

Nem. A Search Console nem mutat crawlkeret-értéket, mert a crawlkeret nem egy rögzített keret. A Google úgy írja le, mint azon URL-ek összességét, amelyeket az oldalán be tud járni, és be is akar járni; ezt az határozza meg, mennyi crawlolást bír el a szervere, és mennyire kíváncsi a Google az oldalaira. A legtöbb oldalnak soha nem kell ezzel foglalkoznia: a Google témáról szóló útmutatója az egymillió oldalnál nagyobb, illetve a 10 000 oldalnál nagyobb, naponta változó tartalmú oldalaknak szól.

Mi határozza meg a crawlkeretet

• Crawlkapacitás-korlát. Hány kapcsolatot nyit a Google, és mennyi ideig tartja őket nyitva. Minden oldal ugyanazzal az óvatos beállítással indul, amely addig emelkedik, amíg a szerver gyorsan válaszol, és csökken lassú válaszok, 5xx hibák és 429-es sebességkorlátozás esetén.
• Crawligény. Mennyire akarja a Google az Ön URL-jeit: mennyire népszerűek, milyen gyorsan avulnak el, és az URL-készlet mekkora része tűnik crawlolásra érdemesnek. A duplikált és a nem kívánt URL-ek pazarolják az igényt. Az oldal költöztetése egy időre megemeli.

Minden gazdanévnek saját kerete van, így a www.example.com és a shop.example.com crawlolása egymástól külön történik.

Kell-e foglalkoznia vele az oldalának?

A Google három helyzetet nevez meg, és ezeket durva becslésnek, nem küszöbértéknek tekinti:

1. Egymillió egyedi oldalnál nagyobb oldalak, amelyek tartalma nagyjából hetente változik.
2. 10 000 egyedi oldalnál nagyobb oldalak, amelyek tartalma naponta változik.
3. Olyan oldalak, ahol az URL-ek nagy része a Discovered – currently not indexed állapotban van.

Ha az új oldalait általában a közzététel napján crawlolják, a crawlkeret nem az Ön problémája. Az indexelésre nem kerülő oldalakat ilyenkor sokkal inkább a duplikáció, a minőség vagy a konfiguráció tartja vissza.

Hol mutatja a Search Console a figyelmeztető jeleket

• Crawl stats (a Settings alatt): csökkenő kérésszám növekvő válaszidők mellett, gazdagép-állapotproblémák, valamint a felfedező és a frissítő crawlolás aránya. Lásd: Crawl stats.
• Page indexing: nagy vagy növekvő Discovered – currently not indexed darabszám. Lásd: az ok részletes magyarázata.
• URL Inspection: a Hostload exceeded üzenet azt jelzi, hogy a Google azért fogta vissza magát, mert a szervere elérte a kapacitása határát.

Hogyan lehet hatékonyabbá tenni a crawlolást

• Vonja össze a duplikátumokat, hogy a Google a crawlolási erejét egyedi oldalakra fordítsa.
• Tiltsa le a robots.txt fájlban azokat az URL-eket, amelyeket soha nem kell crawlolni, például ugyanannak a listának a rendezett vagy szűrt változatait.
• Adjon vissza 404-es vagy 410-es kódot a végleg megszűnt oldalakra, és javítsa a soft 404-eket, mert azokat a Google folyamatosan crawlolja.
• Tartsa naprakészen a sitemapeket, a módosított oldalaknál <lastmod> megadásával.
• Kerülje a hosszú átirányítási láncokat, és gondoskodjon a gyors kiszolgálásról; a 304 Not Modified támogatása sávszélességet takarít meg a változatlan oldalaknál.

Két elterjedt módszer nem működik. A noindex nem takarít meg crawlkeretet, mert a Google a címke megtekintéséhez továbbra is lekéri az oldalt. A robots.txt fájlban letiltott oldalak pedig nem adják át a részüket más oldalaknak, hacsak az oldal nem érte már el a kapacitáskorlátját. Magának a keretnek a növeléséhez bővítse a szerverkapacitást, ha Hostload exceeded üzenetet lát, és tegye crawlolásra érdemessé a tartalmat.

Hogyan segít az AutoPSEO

Az Index Tracker a követett URL-eket aszerint csoportosítja, mennyi ideje járta be őket utoljára a Google, egy héten belülitől a 120 napnál régebbiig, és megjelöli azokat az indexelt oldalakat, amelyeket 120 napja vagy annál régebben nem crawloltak: ez a gyakorlati jele annak, hogy egy szekciót ritkábban járnak be, mint gondolná. Az AutoPSEO tartalommotorja emellett karcsúan tartja az URL-készletet. Minden tervezett témát ellenőriz a meglévő oldalaival szemben, mielőtt bármit megírna, és két, ugyanazokra a keresésekre válaszoló oldalt össze lehet vonni, a régi címet pedig átirányítani arra, amelyik megmarad. Lásd: témák a tartalommotorban.

Források: a Google crawlkeret-útmutatója és a Crawl stats jelentés súgója.