Πού βρίσκεται η αναφορά Crawl stats στο Google Search Console;

Η αναφορά Crawl stats δεν υπάρχει στο αριστερό μενού του Search Console. Ανοίξτε τις Ρυθμίσεις (το εικονίδιο με το γρανάζι), μετά το Crawl stats, και ανοίξτε την αναφορά από εκεί. Υπάρχει μόνο για ιδιοκτησίες ριζικού επιπέδου: μια ιδιοκτησία τομέα (Domain) όπως το example.com, ή μια ιδιοκτησία με πρόθεμα URL στη ρίζα, όπως το https://example.com/. Μια ιδιοκτησία για φάκελο, όπως το https://example.com/blog/, δεν διαθέτει αναφορά. Η Google αναφέρει ότι οι ιστότοποι με λιγότερες από 1.000 σελίδες σπάνια τη χρειάζονται.

Πώς να την ανοίξετε

1. Μεταβείτε σε μια ιδιοκτησία τομέα (Domain) ή σε μια ιδιοκτησία με πρόθεμα URL στη ρίζα. Αν έχετε μόνο ιδιοκτησία σε επίπεδο φακέλου, προσθέστε μια ιδιοκτησία τομέα (Domain) για τον ιστότοπο.
2. Επιλέξτε Ρυθμίσεις στο κάτω μέρος του μενού.
3. Βρείτε το Crawl stats στη σελίδα ρυθμίσεων και ανοίξτε την αναφορά.

Τι εμφανίζει η αναφορά

Το επάνω γράφημα απεικονίζει τρία ημερήσια σύνολα:

• Total crawl requests: όλα τα αιτήματα που έκανε το Googlebot, επιτυχή ή μη. Τα επαναλαμβανόμενα αιτήματα για το ίδιο URL μετρούν κάθε φορά, όπως και κάθε βήμα μιας αλυσίδας ανακατευθύνσεων.
• Total download size: τα byte που ελήφθησαν. Ένας πόρος που αποθηκεύεται στην προσωρινή μνήμη και επαναχρησιμοποιείται από πολλές σελίδες λαμβάνεται μία φορά.
• Average response time: ο μέσος όρος για όλους τους πόρους που ελήφθησαν, με κάθε πόρο σελίδας να μετράται ξεχωριστά.

Από κάτω, η κατάσταση του κεντρικού υπολογιστή (host status) ελέγχει τρία πράγματα για τις τελευταίες 90 ημέρες: αν ήταν δυνατή η λήψη του robots.txt, αν επιλύθηκε το DNS και αν απάντησε ο διακομιστής. Κάθε στοιχείο εμφανίζει πράσινο σημάδι, πρόβλημα που ανάγεται σε περισσότερο από μία εβδομάδα πριν, ή πρόσφατο πρόβλημα της τελευταίας εβδομάδας.

Ακολουθούν τέσσερις αναλύσεις, η καθεμία ως ποσοστό των αιτημάτων:

Η Google κατατάσσει τα 404 στην κατηγορία «πιθανώς καλά»: μια σελίδα που έχει αφαιρεθεί πρέπει να επιστρέφει 404 και δεν χρειάζεται να διορθώσετε το καθένα.

Πώς μια αποτυχία του robots.txt σταματά την ανίχνευση

Το robots.txt έχει μεγαλύτερη σημασία από οτιδήποτε άλλο στην αναφορά. Ένα 200 (ακόμη και με κενό αρχείο), 403, 404 ή 410 θεωρείται επιτυχής λήψη. Ένα 429 ή 5xx θεωρείται αποτυχία, και τότε:

1. Για τις πρώτες 12 ώρες, η Google σταματά να ανιχνεύει τον ιστότοπο και συνεχίζει να ζητά το αρχείο.
2. Από 12 ώρες έως 30 ημέρες, χρησιμοποιεί το τελευταίο έγκυρο αντίγραφο.
3. Μετά από 30 ημέρες, ανιχνεύει χωρίς περιορισμούς αν η αρχική σας σελίδα είναι προσβάσιμη, και σταματά αν δεν είναι.

Μια κόκκινη εγγραφή στην κατάσταση του κεντρικού υπολογιστή για το robots.txt είναι επομένως έκτακτη ανάγκη: μπορεί να διακόψει πλήρως την ανίχνευση.

Μοτίβα που απαιτούν ενέργεια

• Τα αιτήματα μειώνονται ενώ ο χρόνος απόκρισης αυξάνεται. Η Google μειώνει τον ρυθμό ανίχνευσης όταν ένας διακομιστής επιβραδύνεται ή επιστρέφει σφάλματα. Διορθώστε πρώτα τον διακομιστή.
• Το Googlebot σας υπερφορτώνει. Επιστρέψτε 503 ή 429 μόνο για σύντομο διάστημα, το πολύ δύο ή τρεις ημέρες, διαφορετικά η ανίχνευση μπορεί να παραμείνει χαμηλότερη και μετά.
• Θέλετε περισσότερη ανίχνευση. Δεν μπορείτε να τη ζητήσετε. Διατηρήστε τους χάρτες ιστότοπου (sitemaps) ενημερωμένους, αφαιρέστε διπλότυπα και ανεπιθύμητα URL και βεβαιωθείτε ότι οι σημαντικές σελίδες δεν είναι αποκλεισμένες.
• Η αναφορά μετρά περισσότερα αιτήματα από τα αρχεία καταγραφής σας. Αυτό μπορεί να συμβεί όταν το robots.txt ήταν μη διαθέσιμο για μεγάλο διάστημα, επειδή η Google μετρά τις ανιχνεύσεις που θα είχε κάνει.

Δύο περιορισμοί που πρέπει να έχετε υπόψη: τα αιτήματα παρατίθενται με βάση το URL που ελήφθη πραγματικά, όχι ενοποιημένα σε κανονικά (canonical) URL, και οι πόροι που φιλοξενούνται σε άλλους τομείς δεν εμφανίζονται. Επιπλέον, δεν υπάρχει API για αυτή την αναφορά, οπότε τα αρχεία καταγραφής του διακομιστή σας παραμένουν η μοναδική καταγραφή ανά URL των επισκέψεων του Googlebot. Για το αν κάτι από αυτά περιορίζει την ευρετηρίασή σας, δείτε τον προϋπολογισμό ανίχνευσης (crawl budget).

Πώς βοηθά το AutoPSEO

Το API της Google δεν παρέχει στατιστικά ανίχνευσης, επομένως το AutoPSEO δεν μπορεί να αντιγράψει αυτή την αναφορά. Αντί γι' αυτό: ο Index Tracker καταγράφει την τελευταία ημερομηνία ανίχνευσης που αναφέρει η Google για κάθε URL που παρακολουθείτε και επισημαίνει τις ευρετηριασμένες σελίδες που δεν έχουν ανιχνευτεί εδώ και 120 ημέρες ή περισσότερο. Με συνδεδεμένο κλειδί Bing Webmaster Tools, το AutoPSEO εμφανίζει επίσης τα ημερήσια στατιστικά ανίχνευσης του Bing και τη λίστα του με προβλήματα ανίχνευσης.

Πηγές: η βοήθεια για την αναφορά Crawl stats της Google και η αναφορά αναφοράς του Search Console API.