Τι σημαίνει το «Discovered – currently not indexed»;

Η Google έχει εντοπίσει το URL, μέσω ενός συνδέσμου ή ενός sitemap, αλλά δεν το έχει ανακτήσει ακόμη, γι' αυτό και ο Έλεγχος URL δεν εμφανίζει ημερομηνία τελευταίας σάρωσης. Σύμφωνα με την εξήγηση της Google, συνήθως έχει αναβάλει τη σάρωση για να μην επιβαρύνει υπερβολικά τον ιστότοπό σας. Λίγες νέες σελίδες σε αυτή την κατάσταση είναι φυσιολογικό και το θέμα επιλύεται από μόνο του. Χιλιάδες URL που παραμένουν εδώ για εβδομάδες υποδεικνύουν έναν διακομιστή που δεν μπορεί να ανταποκριθεί ή έναν ιστότοπο που παράγει περισσότερα URL από όσα θέλει να σαρώσει η Google.

Γιατί η Google αναβάλλει μια σάρωση

Η Google αποφασίζει πόσο θα σαρώσει με βάση δύο παράγοντες:

• Δυνατότητα σάρωσης (crawl capacity). Πόση σάρωση αντέχει ο διακομιστής σας. Οι γρήγορες και σταθερές αποκρίσεις την αυξάνουν· οι αργές αποκρίσεις, τα σφάλματα 5xx και οι αποκρίσεις 429 την μειώνουν.
• Ζήτηση σάρωσης (crawl demand). Πόσο ενδιαφέρεται η Google για τα URL σας: πόσο δημοφιλή είναι, πόσο συχνά αλλάζουν και πόσο άξιο ανάκτησης φαίνεται το σύνολο των URL σας. Τα διπλότυπα και τα URL χαμηλής αξίας σπαταλούν τη ζήτηση.

Κάθε όνομα κεντρικού υπολογιστή (hostname) αντιμετωπίζεται ως ξεχωριστός ιστότοπος, επομένως τα www.example.com και shop.example.com σαρώνονται ανεξάρτητα.

Αποτελεί πρόβλημα για τον ιστότοπό σας;

Πώς να σαρωθούν οι σελίδες

1. Ελέγξτε πρώτα τον διακομιστή. Ανοίξτε Ρυθμίσεις > Στατιστικά σάρωσης και δείτε την κατάσταση του host και τον μέσο χρόνο απόκρισης. Διορθώστε τα σφάλματα διακομιστή και τις αργές αποκρίσεις πριν από οτιδήποτε άλλο. Δείτε Crawl stats.
2. Περιορίστε τα URL που δεν θα έπρεπε να υπάρχουν. Αποκλείστε τη σάρωση των παραλλαγών με φίλτρα και ταξινομήσεις στο robots.txt, επιστρέφετε 404 ή 410 για σελίδες που έχουν αφαιρεθεί, διορθώστε τα soft 404 και μειώστε τις αλυσίδες ανακατευθύνσεων. Μην βασίζεστε στο noindex εδώ: η Google πρέπει και πάλι να ζητήσει τη σελίδα για να δει την ετικέτα.
3. Συνδέστε τις σημαντικές σελίδες από σελίδες που έχουν ήδη σαρωθεί και ευρετηριαστεί. Ένα URL που είναι γνωστό μόνο από ένα sitemap έχει μικρό βάρος.
4. Διατηρήστε τα sitemap καθαρά. Συμπεριλάβετε μόνο κανονικά (canonical) URL που μπορούν να ευρετηριαστούν, με ακριβές <lastmod> όταν αλλάζει το περιεχόμενο.
5. Ζητήστε ευρετηρίαση με φειδώ. Η επιλογή Αίτημα ευρετηρίασης του Ελέγχου URL βοηθά για λίγες σελίδες υψηλής προτεραιότητας, εντός ημερήσιου ορίου. Δεν λύνει μια συσσώρευση που αφορά ολόκληρο τον ιστότοπο.

Αν ο αριθμός δεν μειώνεται αφού ο διακομιστής λειτουργεί σωστά και το σύνολο των URL έχει καθαριστεί, εξετάστε αν οι σελίδες αξίζουν να σαρωθούν: η ζήτηση εξαρτάται επίσης από το πόσο χρήσιμες και δημοφιλείς τις κρίνει η Google. Αφού σαρωθεί, μια σελίδα μπορεί και πάλι να καταλήξει στην κατάσταση Crawled – currently not indexed. Για την ευρύτερη εικόνα, δείτε το crawl budget.

Πώς βοηθά το AutoPSEO

Η αναφορά Sitemap Performance συνδυάζει τη λίστα URL κάθε sitemap με τα δεδομένα σελίδων σας από το Search Console και δείχνει πόσα από τα URL της λίστας συγκεντρώνουν κλικ, πόσα δεν συγκεντρώνουν κανένα και πόσα δεν εμφανίζονται ποτέ στο Search Console, εκεί δηλαδή όπου κρύβονται οι σελίδες που δεν έχουν εντοπιστεί ή σαρωθεί. Στη συνέχεια, το Index Tracker ελέγχει καθημερινά τα URL που σας ενδιαφέρουν μέσω του URL Inspection API και καταγράφει την πρώτη ημέρα ευρετηρίασης του καθενός, ώστε να δείτε πόσο χρόνο χρειάζονται οι νέες σελίδες στον δικό σας ιστότοπο.

Πηγές: η βοήθεια για την αναφορά ευρετηρίασης σελίδων της Google, ο οδηγός για το crawl budget και η βοήθεια για το εργαλείο Έλεγχος URL.