Πώς ελέγχω το robots.txt μου στο Google Search Console;

Q: Πώς ελέγχω το robots.txt μου στο Google Search Console;

Ανοίξτε την αναφορά robots.txt στις Ρυθμίσεις για να δείτε κάθε αρχείο που βρήκε η Google, πότε ελήφθη και τυχόν σφάλματα ανάλυσης. Ελέγξτε μεμονωμένα URL με το URL Inspection.

Ανοίξτε τις Ρυθμίσεις και έπειτα την αναφορά robots.txt. Εμφανίζει τα αρχεία robots.txt που βρήκε η Google για τον ιστότοπό σας, πότε ελέγχθηκε το καθένα τελευταία φορά, αν η λήψη πέτυχε, το μέγεθος του αρχείου και τις γραμμές που η Google δεν μπόρεσε να αναλύσει. Για να δείτε αν ένα συγκεκριμένο URL είναι αποκλεισμένο, επιθεωρήστε το URL και διαβάστε το πεδίο Crawl allowed?. Το αυτόνομο εργαλείο robots.txt Tester που περιγράφουν οι παλαιότεροι οδηγοί δεν περιλαμβάνεται πλέον στα εργαλεία του Search Console.

Τι εμφανίζει η αναφορά

Σύμφωνα με τη βοήθεια της Google για την αναφορά robots.txt:

Είναι διαθέσιμη μόνο για ιδιότητες επιπέδου τομέα: μια ιδιότητα Domain ή μια ιδιότητα προθέματος URL χωρίς διαδρομή (https://example.com/, όχι https://example.com/shop/).
Σε μια ιδιότητα Domain καλύπτει τους 20 κορυφαίους hosts ως προς τον ρυθμό ανίχνευσης, αφού κάθε host έχει το δικό του αρχείο.
Για κάθε αρχείο βλέπετε τη διαδρομή του, την κατάσταση λήψης, την τελευταία φορά που ελέγχθηκε, το μέγεθός του σε bytes και τον αριθμό των ζητημάτων. Τα σφάλματα κάνουν τη Google να παραλείψει έναν κανόνα· οι προειδοποιήσεις όχι.
Τα αρχεία εμφανίζονται αν η Google τα έλαβε, ή προσπάθησε να τα λάβει, τις τελευταίες 30 ημέρες.

Κατάσταση	Τι σημαίνει
Fetched	Η Google έλαβε το αρχείο. Αγνοεί τις γραμμές που δεν μπόρεσε να αναλύσει και χρησιμοποιεί τις υπόλοιπες
Not fetched: Not found (404)	Δεν υπάρχει αρχείο, κάτι που είναι εντάξει: η Google μπορεί να ανιχνεύσει κάθε URL
Not fetched: any other reason	Κάτι άλλο πήγε στραβά· δείτε τον παρακάτω πίνακα

Αφού αλλάξετε το αρχείο

Η Google συνήθως αποθηκεύει προσωρινά το robots.txt έως και 24 ώρες, επομένως μια αλλαγή δεν εφαρμόζεται άμεσα. Αν έχετε άρει τον αποκλεισμό σημαντικών URL ή έχετε διορθώσει κάποιο σφάλμα λήψης, ανοίξτε το μενού του αρχείου στην αναφορά και επιλέξτε Request a recrawl. Διαφορετικά δεν χρειάζεται: η Google ξαναλαμβάνει το robots.txt συχνά.

Πώς χειρίζεται η Google ένα προβληματικό robots.txt

Τι λαμβάνει η Google	Τι συμβαίνει
Απόκριση 2xx	Εφαρμόζονται οι κανόνες
Ανακατεύθυνση	Η Google ακολουθεί τουλάχιστον πέντε βήματα και, αν η αλυσίδα δεν επιλυθεί, την αντιμετωπίζει ως 404
Σφάλμα 4xx εκτός από 429	Αντιμετωπίζεται σαν να μην υπάρχει αρχείο: τίποτα δεν αποκλείεται
Σφάλμα 5xx ή αποτυχία δικτύου	Η ανίχνευση σταματά για 12 ώρες, έπειτα χρησιμοποιείται το τελευταίο έγκυρο αντίγραφο για έως και 30 ημέρες· μετά, αν ο ιστότοπος είναι κατά τα άλλα διαθέσιμος, η Google ενεργεί σαν να μην υπάρχει αρχείο
Αρχείο άνω των 500 KiB	Ό,τι βρίσκεται πέρα από το όριο αγνοείται

Πηγή: How Google interprets robots.txt. Η γραμμή 5xx είναι αυτή που πρέπει να σας ανησυχεί: ένας διακομιστής που επιστρέφει σφάλμα μόνο για αυτό το αρχείο μπορεί να παγώσει την ανίχνευση ολόκληρου του ιστότοπου.

Δοκιμή των κανόνων πριν τεθούν σε ισχύ

Για ένα URL που είναι ήδη ενεργό, το πεδίο Crawl allowed? του URL Inspection είναι ο γρηγορότερος τρόπος να πάρετε απάντηση.
Για ένα προσχέδιο αρχείου, η Google παραπέμπει τους προγραμματιστές στη βιβλιοθήκη robots.txt ανοιχτού κώδικα για τοπική δοκιμή.
Όταν οι κανόνες συγκρούονται, η Google εφαρμόζει τον πιο συγκεκριμένο, δηλαδή τον κανόνα με τη μακρύτερη διαδρομή που ταιριάζει· αν δύο κανόνες είναι εξίσου συγκεκριμένοι, επικρατεί ο λιγότερο περιοριστικός.

Τι δεν μπορεί να κάνει το robots.txt

Το robots.txt ελέγχει την ανίχνευση, όχι την ευρετηρίαση. Η Google αναφέρει ότι δεν αποτελεί τρόπο για να κρατήσετε μια σελίδα εκτός Google: ένα αποκλεισμένο URL μπορεί να ευρετηριαστεί, χωρίς περιγραφή, αν άλλες σελίδες συνδέονται σε αυτό. Για να κρατήσετε μια σελίδα εκτός των αποτελεσμάτων, χρησιμοποιήστε noindex ή κωδικό πρόσβασης, όπως περιγράφεται στην ενότητα αφαίρεση ενός URL.

Πώς βοηθά το AutoPSEO

Η μαζική επιθεώρηση URL του AutoPSEO δείχνει την κατάσταση του robots.txt που αναφέρει η Google για κάθε URL, για έως και 500 URL ανά εκτέλεση, από επικολλημένη λίστα ή από sitemap. Έτσι επιβεβαιώνετε γρήγορα ότι μια αλλαγή κανόνα δεν απέκλεισε κατά λάθος ολόκληρη ενότητα.