Δείχνει το Google Search Console το crawl budget μου;

Όχι. Το Search Console δεν έχει αριθμό για το crawl budget, επειδή το crawl budget δεν είναι σταθερό όριο. Η Google το περιγράφει ως το σύνολο των URL που μπορεί και θέλει να σαρώσει στο site σας, και καθορίζεται από το πόση σάρωση αντέχει ο διακομιστής σας και πόσο ενδιαφέρεται η Google για τις σελίδες σας. Τα περισσότερα sites δεν χρειάζεται ποτέ να το σκεφτούν: ο οδηγός της Google για το θέμα απευθύνεται σε sites με πάνω από ένα εκατομμύριο σελίδες ή με πάνω από 10.000 σελίδες που αλλάζουν καθημερινά.

Τι καθορίζει το crawl budget σας

• Όριο δυναμικότητας σάρωσης (crawl capacity limit). Πόσες συνδέσεις ανοίγει η Google και για πόση ώρα τις κρατά. Κάθε site ξεκινά με την ίδια συντηρητική ρύθμιση, η οποία αυξάνεται όσο ο διακομιστής σας απαντά γρήγορα και μειώνεται με αργές απαντήσεις, σφάλματα 5xx και περιορισμό ρυθμού 429.
• Ζήτηση σάρωσης (crawl demand). Πόσο ενδιαφέρεται η Google για τα URL σας: πόσο δημοφιλή είναι, πόσο γρήγορα παλιώνουν και πόσο αξίζει να σαρωθεί το απόθεμα των URL σας. Τα διπλότυπα και τα ανεπιθύμητα URL σπαταλούν ζήτηση. Η μετακίνηση ενός site την αυξάνει για κάποιο διάστημα.

Κάθε hostname έχει το δικό του budget, οπότε τα www.example.com και shop.example.com σαρώνονται ξεχωριστά.

Χρειάζεται να ασχοληθεί το site σας;

Η Google αναφέρει τρεις περιπτώσεις και τις χαρακτηρίζει πρόχειρες εκτιμήσεις, όχι κατώφλια:

1. Sites με περισσότερες από ένα εκατομμύριο μοναδικές σελίδες, το περιεχόμενο των οποίων αλλάζει περίπου εβδομαδιαία.
2. Sites με περισσότερες από 10.000 μοναδικές σελίδες, το περιεχόμενο των οποίων αλλάζει καθημερινά.
3. Sites στα οποία μεγάλο ποσοστό των URL βρίσκεται στην κατάσταση Discovered – currently not indexed.

Αν οι νέες σελίδες σας συνήθως σαρώνονται την ημέρα που τις δημοσιεύετε, το crawl budget δεν είναι το πρόβλημά σας. Οι σελίδες που δεν ευρετηριάζονται τότε εμποδίζονται πολύ πιθανότερα από διπλότυπο περιεχόμενο, ποιότητα ή ρυθμίσεις.

Πού δείχνει το Search Console τα προειδοποιητικά σημάδια

• Crawl stats (στις Ρυθμίσεις): μείωση των αιτημάτων με ταυτόχρονη αύξηση των χρόνων απόκρισης, προβλήματα κατάστασης του host και η κατανομή μεταξύ σάρωσης ανακάλυψης και σάρωσης ανανέωσης. Δείτε το Crawl stats.
• Ευρετηρίαση σελίδων: μεγάλος ή αυξανόμενος αριθμός στην κατάσταση Discovered – currently not indexed. Δείτε την εξήγηση αυτής της αιτίας.
• Επιθεώρηση URL: το μήνυμα Hostload exceeded σημαίνει ότι η Google περιορίστηκε επειδή ο διακομιστής σας είχε φτάσει στο όριό του.

Πώς να αξιοποιήσετε καλύτερα τη σάρωση

• Ενοποιήστε τα διπλότυπα, ώστε η Google να ξοδεύει τη σάρωσή της σε μοναδικές σελίδες.
• Αποκλείστε στο robots.txt τα URL που δεν πρέπει ποτέ να σαρώνονται, όπως οι ταξινομημένες ή φιλτραρισμένες παραλλαγές της ίδιας λίστας.
• Επιστρέφετε 404 ή 410 για σελίδες που έχουν καταργηθεί οριστικά και διορθώστε τα soft 404, τα οποία συνεχίζουν να σαρώνονται.
• Κρατήστε τα sitemaps ενημερωμένα, με <lastmod> για τις σελίδες που έχουν αλλάξει.
• Αποφύγετε τις μακριές αλυσίδες ανακατευθύνσεων και φροντίστε οι σελίδες να εξυπηρετούνται γρήγορα· η υποστήριξη του 304 Not Modified εξοικονομεί εύρος ζώνης για τις σελίδες που δεν έχουν αλλάξει.

Δύο συνηθισμένες τακτικές δεν λειτουργούν. Το noindex δεν εξοικονομεί crawl budget, επειδή η Google ζητά πάντα τη σελίδα για να δει την ετικέτα. Και ο αποκλεισμός σελίδων στο robots.txt δεν μεταφέρει το μερίδιό τους σε άλλες σελίδες, εκτός αν το site σας έχει ήδη φτάσει στο όριο δυναμικότητάς του. Για να αυξήσετε το ίδιο το budget, προσθέστε δυναμικότητα στον διακομιστή όταν βλέπετε Hostload exceeded και φροντίστε το περιεχόμενο να αξίζει τη σάρωση.

Πώς βοηθά το AutoPSEO

Το Index Tracker ομαδοποιεί τα URL που παρακολουθείτε ανάλογα με το πόσο πρόσφατα τα σάρωσε η Google, από μέσα στην τελευταία εβδομάδα έως πάνω από 120 ημέρες, και επισημαίνει τις ευρετηριασμένες σελίδες που δεν έχουν σαρωθεί για 120 ημέρες ή περισσότερο: το πρακτικό σημάδι ότι μια ενότητα σαρώνεται λιγότερο απ' όσο νομίζετε. Η μηχανή περιεχομένου του AutoPSEO κρατά επίσης το απόθεμα των URL σας μικρό και καθαρό. Κάθε προγραμματισμένο θέμα ελέγχεται με τις υπάρχουσες σελίδες σας πριν γραφτεί οτιδήποτε, και δύο σελίδες που απαντούν στις ίδιες αναζητήσεις μπορούν να συγχωνευτούν, με την παλιά διεύθυνση να ανακατευθύνεται σε εκείνη που μένει. Δείτε τα θέματα στη μηχανή περιεχομένου.

Πηγές: ο οδηγός της Google για το crawl budget και η βοήθεια για την αναφορά Crawl stats.