AutoPSEO-Bot

Αναγνώριση

Τα αιτήματα φέρουν το user agent AutoPSEO-Bot/1.0 (On-Page SEO Checker), το οποίο ο ελεγκτής on-page επεκτείνει με έναν σύνδεσμο προς αυτήν τη σελίδα. Ο ανιχνευτής εκτελείται σε Cloudflare Workers, οπότε οι διευθύνσεις προέλευσης προέρχονται από εύρη Cloudflare και αλλάζουν χωρίς προειδοποίηση: κάντε αντιστοίχιση βάσει της συμβολοσειράς του user agent, όχι με λίστα επιτρεπόμενων IP.

Τι ζητά

Ένα GET ανά URL, τίποτα άλλο. Δεν εκτελεί JavaScript, οπότε βλέπει ακριβώς το HTML που επιστρέφει ο διακομιστής σας.

• Μόνο GET, ποτέ POST ή άλλη μέθοδος
• Δέχεται text/html, ακολουθεί έως 5 ανακατευθύνσεις και εγκαταλείπει μετά από 8 δευτερόλεπτα
• Έως 5 ταυτόχρονα αιτήματα σε εξέλιξη
• Σταματά την ανάγνωση μετά από περίπου 1 MB HTML
• Μόνο δημόσιοι hosts http και https, με απόρριψη ιδιωτικών και loopback διευθύνσεων

Πότε εκτελείται

Μόνο ενόσω εκτελείται έλεγχος: ανακτά το robots.txt, τυχόν sitemaps που χρειάζεται, και τις σελίδες υπό έλεγχο. Τα αποτελέσματα αποθηκεύονται σε cache για 24 ώρες, οπότε το εκ νέου άνοιγμα μιας αναφοράς δεν κοστίζει τίποτα στον διακομιστή σας. Μια πλήρης ανίχνευση ιστότοπου περιορίζεται από προεπιλογή σε 100 σελίδες, με ανώτατο όριο 500, βάθος 3 και ένα αίτημα ανά σελίδα.

Αποδοχή

Αν το robots.txt επιτρέπει όλους τους agents, δεν χρειάζεται καμία ενέργεια. Αν αποκλείετε άγνωστους agents από προεπιλογή, προσθέστε ένα ρητό block για το AutoPSEO-Bot με τις διαδρομές που θέλετε να ελεγχθούν· ένας ιστότοπος staging πίσω από HTTP auth απλώς επιστρέφει 401 και η αναφορά το αναφέρει αντί να μαντεύει.

Αποκλεισμός

Ένα block User-agent που κατονομάζει το AutoPSEO-Bot με Disallow: / σταματά τον ανιχνευτή στην επόμενη εκτέλεση, ενώ οι κανόνες Allow εντός αυτού του block τηρούνται κανονικά. Τα αποκλεισμένα URL αναφέρονται στην εκτέλεση ως αποκλεισμένα από το robots.txt αντί να παραλείπονται σιωπηλά, ώστε ένας έλεγχος που ξαφνικά δεν επιστρέφει τίποτα να εξηγείται εύκολα.