Εξήγηση της ευρετηρίασης: πώς η Google σαρώνει, ευρετηριάζει και αναφέρει τις σελίδες

Πώς ένα URL περνά από την ανακάλυψη στο ευρετήριο της Google, τι σημαίνει κάθε κατάσταση της Page indexing και ποιες χρειάζονται διόρθωση, με βάση την τεκμηρίωση της Google.

Ευρετηρίαση είναι η αποθήκευση μιας σελίδας από την Google, ώστε να μπορεί να εμφανιστεί στα αποτελέσματα αναζήτησης. Για να συμβεί αυτό, η Google πρέπει πρώτα να ανακαλύψει το URL, να το σαρώσει και συνήθως να το αποδώσει (render). Στη συνέχεια αποφασίζει αν η σελίδα αντιγράφει κάποιο άλλο URL και αν αξίζει καν να διατηρηθεί. Η αναφορά Page indexing στο Search Console δείχνει σε ποιο σημείο αυτής της διαδρομής σταμάτησε κάθε URL σας και ποιος ήταν ο λόγος της Google.

Από το URL στο αποτέλεσμα αναζήτησης

Η περιγραφή της Google για τον τρόπο λειτουργίας της Αναζήτησης χωρίζει τη διαδρομή σε βήματα που μπορείτε να ελέγξετε ένα προς ένα.

Ανακάλυψη. Δεν υπάρχει κεντρική λίστα με τις ιστοσελίδες, γι' αυτό η Google ψάχνει συνεχώς για νέες. Τις περισσότερες τις βρίσκει μέσω συνδέσμων από σελίδες που ήδη γνωρίζει και μέσω sitemaps που υποβάλλουν οι ιδιοκτήτες των ιστοτόπων.
Σάρωση. Το Googlebot ανακτά το URL, εφόσον το επιτρέπει το robots.txt. Η Google περιορίζει τον ρυθμό σάρωσης ώστε να μην επιβαρύνει τον διακομιστή σας, και τα σφάλματα διακομιστή την κάνουν να επιβραδύνει ακόμη περισσότερο.
Απόδοση. Η Google εκτελεί τη JavaScript της σελίδας με πρόσφατη έκδοση του Chrome, επειδή ορισμένο περιεχόμενο υπάρχει μόνο αφού εκτελεστούν τα scripts.
Ευρετηρίαση. Η Google αναλύει το περιεχόμενο, ομαδοποιεί τις σελίδες που είναι διπλότυπες ή σχεδόν διπλότυπες, επιλέγει μία από αυτές ως canonical και την αποθηκεύει. Μπορεί να αποφασίσει να μην ευρετηριάσει καθόλου μια σελίδα, για παράδειγμα επειδή το περιεχόμενο είναι χαμηλής ποιότητας ή επειδή το απαγορεύει κάποιος κανόνας robots meta.
Εμφάνιση. Για κάθε αναζήτηση, η Google επιλέγει αποτελέσματα από το ευρετήριο. Η ευρετηρίαση καθιστά μια σελίδα επιλέξιμη για εμφάνιση, αλλά δεν εγγυάται ότι θα εμφανιστεί.

Η Google δηλώνει ρητά ότι δεν εγγυάται κανένα από αυτά τα βήματα για καμία σελίδα. Αυτό που μπορείτε να κάνετε είναι να άρετε τα εμπόδια και να της δώσετε καλούς λόγους να συνεχίσει.

Ανάγνωση της αναφοράς Page indexing

Η αναφορά χωρίζει τα URL που γνωρίζει η Google σε Indexed και Not indexed και αναφέρει έναν λόγο για κάθε ομάδα μη ευρετηριασμένων URL (Αναφορά Page indexing). Δύο καθοδηγητικές αρχές της ίδιας της Google πρέπει να διαμορφώνουν τον τρόπο που τη διαβάζετε:

Το Not indexed δεν είναι απαραίτητα κακό. Η Google συμβουλεύει τους ιδιοκτήτες ιστοτόπων να μην περιμένουν να ευρετηριαστεί κάθε URL. Τα διπλότυπα, οι διευθύνσεις με ανακατεύθυνση και οι σελίδες χωρίς ουσιαστικό περιεχόμενο πρέπει να μένουν εκτός. Σημασία έχει να βρίσκονται μέσα οι βασικές σελίδες.
Δείτε το Source. Κάθε λόγος δείχνει αν η αιτία βρίσκεται στον ιστότοπο ή στα συστήματα της Google. Γενικά, μπορείτε να διορθώσετε μόνο τους λόγους με πηγή "Website".

Άρα η χρήσιμη ερώτηση δεν είναι ποτέ «γιατί είναι υψηλός ο αριθμός των μη ευρετηριασμένων;». Είναι «βρίσκονται σε αυτή τη λίστα σελίδες που χρειάζομαι, και γιατί;».

Τι σημαίνει κάθε κατάσταση

Οι λόγοι της Google χωρίζονται σε πέντε ομάδες. Η σωστή αντίδραση εξαρτάται πολύ περισσότερο από την ομάδα παρά από την ακριβή διατύπωση.

Είπατε στην Google να μην το ευρετηριάσει

Κατάσταση	Τι συνέβη	Ενέργεια
URL marked 'noindex'	Η σελίδα φέρει κανόνα noindex	Καμία, αν είναι σκόπιμο· αφαιρέστε τον κανόνα αν η σελίδα πρέπει να κατατάσσεται
URL blocked by robots.txt	Το robots.txt εμποδίζει τη σάρωσή του από την Google	Ο αποκλεισμός της σάρωσης δεν εγγυάται ότι η σελίδα θα μείνει εκτός ευρετηρίου
Alternate page with proper canonical tag	Η σελίδα υποδεικνύει άλλο URL ως canonical και η Google συμφωνεί	Καμία
Page with redirect	Το URL ανακατευθύνει αλλού, γι' αυτό δεν ευρετηριάζεται το ίδιο	Καμία, εφόσον ο προορισμός είναι η σελίδα που θέλετε να ευρετηριαστεί

Η Google δεν μπόρεσε να το ανακτήσει

Κατάσταση	Τι συνέβη	Ενέργεια
Server error (5xx)	Ο διακομιστής σας επέστρεψε σφάλμα της κατηγορίας 500	Διορθώστε τον διακομιστή· τα επαναλαμβανόμενα σφάλματα επιβραδύνουν και τη σάρωση
Redirect error	Μια αλυσίδα ανακατευθύνσεων ήταν υπερβολικά μεγάλη, σχημάτιζε βρόχο ή οδηγούσε σε μη έγκυρο ή κενό URL	Κατευθύνετε την ανακατεύθυνση απευθείας στο τελικό URL
Blocked due to unauthorized request (401), access forbidden (403) or other 4xx issue	Η σελίδα απέρριψε το Googlebot	Άρετε το εμπόδιο, αν η σελίδα πρέπει να είναι δημόσια
Not found (404)	Το URL επέστρεψε 404	Εντάξει για σελίδες που αφαιρέθηκαν· διορθώστε τους συνδέσμους αν η σελίδα υπάρχει ακόμη αλλού

Η Google επέλεξε άλλο URL

Κατάσταση	Τι συνέβη	Ενέργεια
Duplicate without user-selected canonical	Η Google θεωρεί τη σελίδα διπλότυπη και επέλεξε διαφορετικό canonical	Συνήθως καμία· η Google το χαρακτηρίζει ως αναμενόμενη λειτουργία
Duplicate, Google chose different canonical than user	Ορίσατε ένα canonical, αλλά η Google προτίμησε άλλο URL	Φροντίστε να συμφωνούν τα σήματά σας (δείτε παρακάτω)

Η Google δεν έχει αποφασίσει ακόμη υπέρ σας

Κατάσταση	Τι συνέβη	Ενέργεια
Discovered - currently not indexed	Η Google γνωρίζει το URL αλλά δεν το έχει σαρώσει ακόμη, συχνά επειδή η σάρωση επαναπρογραμματίστηκε για να μην επιβαρυνθεί ο ιστότοπος	Συνδέστε το από σελίδες που σαρώνονται· σε πολύ μεγάλους ιστότοπους, διαχειριστείτε τη σάρωση
Crawled - currently not indexed	Η Google σάρωσε τη σελίδα αλλά δεν την ευρετηρίασε, και μπορεί να το κάνει ή όχι στο μέλλον	Κάντε τη σελίδα σαφώς χρήσιμη και διακριτή ή συγχωνεύστε την σε ισχυρότερη σελίδα

Το περιεχόμενο φαίνεται προβληματικό

Κατάσταση	Τι συνέβη	Ενέργεια
Soft 404	Η σελίδα απαντά με 200 αλλά μοιάζει με σελίδα σφάλματος ή κενή σελίδα	Επιστρέψτε πραγματικό 404 για σελίδες που λείπουν ή δώστε πραγματικό περιεχόμενο στις πραγματικές σελίδες
Page indexed without content (warning)	Ευρετηριάστηκε, αλλά η Google δεν μπόρεσε να διαβάσει το περιεχόμενο	Ελέγξτε τι λαμβάνει το Googlebot με το URL Inspection
Indexed, though blocked by robots.txt (warning)	Ευρετηριάστηκε παρότι το robots.txt το αποκλείει	Για να μείνει εκτός, επιτρέψτε τη σάρωση και προσθέστε noindex

Η τελευταία γραμμή ξαφνιάζει πολλούς. Η Google μπορεί να δει έναν κανόνα noindex μόνο σε σελίδα που της επιτρέπεται να σαρώσει, επομένως αν αποκλείσετε μια σελίδα στο robots.txt και ταυτόχρονα προσθέσετε noindex, το noindex δεν διαβάζεται ποτέ (Αποκλεισμός ευρετηρίασης με noindex).

Όταν η Google επιλέγει διαφορετικό canonical

Οι ετικέτες canonical είναι σήματα, όχι εντολές. Η Google σταθμίζει πολλά από αυτά: οι ανακατευθύνσεις και το rel="canonical" είναι ισχυρά σήματα, η συμπερίληψη σε sitemap είναι ασθενές, και προτιμά τις διευθύνσεις HTTPS από τις HTTP (Ενοποίηση διπλότυπων URL). Όταν τα σήματά σας διαφωνούν, για παράδειγμα όταν μια ετικέτα canonical δείχνει ένα URL ενώ οι εσωτερικοί σύνδεσμοι και το sitemap χρησιμοποιούν άλλο, η Google αποφασίζει μόνη της. Φροντίστε κάθε σήμα να υποδεικνύει το ίδιο URL και συνδέστε εσωτερικά προς αυτό. Μη χρησιμοποιείτε το robots.txt ή το noindex για να επιλέξετε canonical· το noindex αφαιρεί τη σελίδα εντελώς από την Αναζήτηση.

Έλεγχος ενός URL με το URL Inspection

Η αναφορά Page indexing δείχνει ομάδες· το URL Inspection δείχνει ένα URL αναλυτικά (Εργαλείο URL Inspection). Αναφέρει αν το URL είναι ευρετηριασμένο, το canonical που δηλώσατε και αυτό που επέλεξε η Google, πότε σάρωσε τελευταία φορά τη σελίδα και αν η σάρωση έγινε με user agent κινητού ή υπολογιστή, αν το robots.txt επιτρέπει τη σάρωση, αν η ανάκτηση πέτυχε και αν επιτρέπεται η ευρετηρίαση.

Δύο επισημάνσεις. Πρώτον, η προεπιλεγμένη προβολή περιγράφει την τελευταία ευρετηριασμένη έκδοση, η οποία μπορεί να είναι παρωχημένη· το Test live URL ανακτά τη σελίδα τώρα, και έτσι επιβεβαιώνετε μια διόρθωση, αν και ένα επιτυχημένο live test δεν εγγυάται ευρετηρίαση. Δεύτερον, όταν το robots.txt εμποδίζει τη σάρωση, το "Indexing allowed?" εμφανίζει πάντα «yes», επειδή η Google δεν μπορεί να δει έναν κανόνα noindex που δεν της επιτράπηκε να ανακτήσει.

Το Request indexing ζητά από την Google να σαρώσει ξανά το URL. Υπόκειται σε ημερήσιο όριο, και η Google αναφέρει ότι η επαναλαμβανόμενη αίτηση σάρωσης για το ίδιο URL δεν θα την επιταχύνει (Αίτημα επανασάρωσης από την Google). Για πολλά URL, υποβάλετε αντί γι' αυτό ένα ενημερωμένο sitemap.

Πόσο διαρκεί η ευρετηρίαση;

Η Google δίνει εύρος χρόνου και όχι υποσχέσεις. Η ευρετηρίαση μιας νέας σελίδας μπορεί να πάρει μερικές ημέρες και δεν είναι ποτέ άμεση, ακόμη και μετά από ρητό αίτημα. Οι νέοι ιστότοποι μπορεί να χρειαστούν περίπου μία εβδομάδα για να σαρωθούν και να ευρετηριαστούν, και μια επανασάρωση μπορεί να πάρει από λίγες ημέρες έως μερικές εβδομάδες. Όταν διορθώσετε ένα ζήτημα και πατήσετε Validate fix, ο έλεγχος διαρκεί συνήθως έως περίπου δύο εβδομάδες. Αν μια σημαντική σελίδα λείπει ακόμη έπειτα από ένα μήνα, ακολουθήστε το τεχνικό playbook ευρετηρίασης αντί να ζητήσετε ξανά ευρετηρίαση.

Πώς να βοηθήσετε την Google να βρίσκει και να κρατά τις σελίδες σας

Συνδέστε τις νέες σελίδες από σελίδες που η Google ήδη σαρώνει, όπως η αρχική σας, οι σελίδες-κόμβοι ή σχετικά άρθρα. Οι σύνδεσμοι είναι ο κύριος τρόπος με τον οποίο η Google ανακαλύπτει URL.
Κρατήστε στα sitemaps μόνο canonical URL, γραμμένα ως πλήρεις απόλυτες διευθύνσεις, με το πολύ 50.000 URL ή 50MB μη συμπιεσμένα ανά αρχείο. Η Google χρησιμοποιεί το <lastmod> όταν είναι σταθερά ακριβές και αγνοεί τα <priority> και <changefreq> (Δημιουργία sitemap).
Δώστε σε κάθε περιεχόμενο ένα URL, με τις ανακατευθύνσεις, τις ετικέτες canonical, τα sitemaps και τους εσωτερικούς συνδέσμους να συμφωνούν.
Επιστρέψτε πραγματικό 404 ή 410 για σελίδες που αφαιρέσατε, αντί για κενή σελίδα με κατάσταση 200.
Ασχοληθείτε με το crawl budget μόνο σε μεγάλη κλίμακα. Ο οδηγός της Google για το crawl budget απευθύνεται σε ιστοτόπους με πάνω από ένα εκατομμύριο σελίδες που αλλάζουν εβδομαδιαία ή πάνω από 10.000 σελίδες που αλλάζουν καθημερινά.

Πώς βοηθά το AutoPSEO

Το AutoPSEO εκτελεί το URL Inspection μέσα από την εφαρμογή και προσμετράται στο ημερήσιο όριο της Google των 2.000 ελέγχων ανά property. Το Index Tracker διατηρεί μια λίστα έως 1.800 URL της επιλογής σας και επανελέγχει έως 200 από αυτά την ημέρα, ξεκινώντας από όσα έχουν να ελεγχθούν περισσότερο καιρό. Προειδοποιεί όταν κάποιο αφαιρέθηκε από το ευρετήριο τις τελευταίες 30 ημέρες ή δεν έχει σαρωθεί εδώ και 120 ημέρες, και μπορεί να στείλει ειδοποίηση "Index flip" στο Slack, στο Teams ή σε webhook όταν ένα παρακολουθούμενο URL βγαίνει από το ευρετήριο ή επιστρέφει. Το IndexNow ειδοποιεί το Bing και τις άλλες μηχανές που το υποστηρίζουν· η Google δεν συμμετέχει στο IndexNow, οπότε για την Google το sitemap και οι εσωτερικοί σύνδεσμοι παραμένουν ο δρόμος προς το ευρετήριο.

Τα άρθρα που γράφει η μηχανή περιεχομένου παραδίδονται στον δικό σας ιστότοπο, ο οποίος τα δημοσιεύει και τα συνδέει όπως κάθε άλλη σελίδα. Όταν ο ιστότοπός σας δηλώνει κλειδί IndexNow, το AutoPSEO στέλνει ping στο IndexNow για κάθε νέα ή ενημερωμένη διεύθυνση στον host σας (Παράδοση).