Πώς να διαγνώσετε τεχνικά προβλήματα ευρετηρίασης

Μια σειρά διαλογής για την αναφορά Page indexing στο Search Console: τι να διορθώσετε πρώτα, πώς να επιβεβαιώσετε τις αιτίες με το URL Inspection και πότε να σταματήσετε.

Διαγνώστε τα προβλήματα ευρετηρίασης ξεκινώντας από τις σελίδες που χρειάζεστε και όχι από τα συνολικά νούμερα της αναφοράς. Φτιάξτε μια λίστα με τα URL που έχουν σημασία, βρείτε ποια από αυτά δεν είναι ευρετηριασμένα και γιατί, και στη συνέχεια εξετάστε τις αιτίες με σειρά σοβαρότητας: πρώτα σφάλματα διακομιστή και πρόσβασης, μετά ακούσιοι αποκλεισμοί, συγκρούσεις canonical, σελίδες που μοιάζουν με σφάλματα και, τέλος, σελίδες που η Google απλώς επέλεξε να μην ευρετηριάσει. Επιβεβαιώστε κάθε διόρθωση με live test στο URL Inspection προτού ζητήσετε από την Google να την επικυρώσει.

Το playbook αυτό προϋποθέτει ότι γνωρίζετε τις καταστάσεις που περιγράφονται στο Τι είναι η ευρετηρίαση.

Βήμα 1: φτιάξτε τη λίστα με τα URL που έχουν σημασία

Η αναφορά Page indexing μετράει κάθε URL που γνωρίζει η Google, συμπεριλαμβανομένων των παραμέτρων, των παλιών διευθύνσεων και των σελίδων που δεν σκοπεύατε ποτέ να δημοσιεύσετε. Ένας μεγάλος αριθμός στο "Not indexed" είναι φυσιολογικός, και η Google το λέει ρητά: δεν πρέπει να ευρετηριάζεται κάθε URL (Page indexing report). Γι' αυτό ξεκινήστε από τη δική σας λίστα:

Σελίδες που φέρνουν επισκεψιμότητα: οι 50 έως 100 κορυφαίες στο Performance → Pages για τρεις μήνες.
Σελίδες που φέρνουν έσοδα: σελίδες προϊόντων, τιμολόγησης, υπηρεσιών και τοποθεσιών, ανεξάρτητα από την επισκεψιμότητά τους.
Νέες σελίδες: οτιδήποτε δημοσιεύτηκε τις τελευταίες 90 ημέρες.
Τα sitemaps σας: θα πρέπει να περιλαμβάνουν ακριβώς τα canonical URL που θέλετε να ευρετηριαστούν. Μπορείτε να φιλτράρετε την αναφορά Page indexing ανά sitemap για να δείτε πόσα από τα URL του είναι ευρετηριασμένα, και κάθε sitemap στην αναφορά Sitemaps παραπέμπει στην κάλυψη ευρετηρίασης των URL του.

Βήμα 2: βρείτε ποια από αυτά δεν είναι ευρετηριασμένα

Για μια σύντομη λίστα, ελέγξτε κάθε URL στο URL Inspection. Για μεγαλύτερη, ανοίξτε την αναφορά Page indexing φιλτραρισμένη με το sitemap σας και εξετάστε έναν-έναν τους λόγους, ελέγχοντας ποια από τα σημαντικά σας URL εμφανίζονται στα παραδείγματά τους. Καταγράψτε κάθε URL μαζί με τον λόγο και την πηγή του λόγου. Εμπειρικός κανόνας της Google: σε γενικές γραμμές μπορείτε να διορθώσετε μόνο προβλήματα των οποίων η πηγή αναφέρεται ως "Website".

Βήμα 3: εξετάστε τις αιτίες με τη σειρά

Διορθώστε τις αιτίες με αυτή τη σειρά. Κάθε επίπεδο μπορεί να κρύβει το επόμενο, και τα πρώτα επηρεάζουν ταυτόχρονα τις περισσότερες σελίδες.

Σειρά	Κατάσταση	Τι να ελέγξετε πρώτα	Τυπική διόρθωση
1	Server error (5xx)	Τα logs του διακομιστή και την κατάσταση του hosting τις ώρες που έκανε crawl η Google	Διορθώστε τη χωρητικότητα ή τις καταρρεύσεις· οι επαναλαμβανόμενες απαντήσεις 5xx κάνουν επίσης τη Google να κάνει crawl πιο αργά
2	Redirect error	Ολόκληρη την αλυσίδα ανακατευθύνσεων του URL	Ανακατευθύνετε με ένα βήμα στο τελικό URL· αφαιρέστε τους βρόχους
3	Blocked due to unauthorized request (401), access forbidden (403) ή άλλο 4xx	Τοίχους σύνδεσης, κανόνες τείχους προστασίας ή προστασίας από bots	Αφήστε το Googlebot να έχει πρόσβαση στις δημόσιες σελίδες
4	URL marked 'noindex'	Το meta tag robots της σελίδας και την κεφαλίδα `X-Robots-Tag`	Αφαιρέστε το noindex από σελίδες που πρέπει να κατατάσσονται
5	URL blocked by robots.txt	Τον κανόνα του robots.txt που ταιριάζει	Αφαιρέστε τον κανόνα για σελίδες που πρέπει να σαρώνονται
6	Duplicate, Google chose different canonical than user	Ποιο URL υποδεικνύουν το canonical tag, οι ανακατευθύνσεις, το sitemap και οι εσωτερικοί σύνδεσμοι	Κάντε όλα τα σήματα να δείχνουν στο ίδιο URL
7	Soft 404	Τι εμφανίζει η σελίδα όταν την ανακτά το Googlebot	Πραγματικό 404 για σελίδες που λείπουν· πραγματικό περιεχόμενο για πραγματικές σελίδες
8	Crawled - currently not indexed	Αν η σελίδα προσφέρει κάτι που δεν προσφέρουν οι άλλες σελίδες σας και οι ανταγωνιστές	Βελτιώστε τη ή συγχωνεύστε τη σε μια ισχυρότερη σελίδα
9	Discovered - currently not indexed	Αν την συνδέει κάποια σελίδα που έχει σαρωθεί	Συνδέστε τη από σελίδες που έχουν σαρωθεί· σε πολύ μεγάλους ιστότοπους, διαχειριστείτε το crawling

Διάγνωση ενός URL με το URL Inspection

Για κάθε σημαντικό URL της λίστας σας, εκτελέστε τους ίδιους πέντε ελέγχους (URL Inspection tool):

Διαβάστε το αποτέλεσμα και τον λόγο. Το "URL is unknown to Google" σημαίνει ότι η Google δεν έχει δει καθόλου τη διεύθυνση, άρα το ζητούμενο είναι η ανακάλυψη: συνδέστε τη από σελίδες που η Google ήδη σαρώνει και συμπεριλάβετέ τη στο sitemap σας.
Συγκρίνετε τα canonical. Αν το canonical που επέλεξε η Google διαφέρει από αυτό που δηλώσατε εσείς, η Google ευρετηριάζει άλλο URL στη θέση αυτού. Εξετάστε εκείνο το URL προτού αλλάξετε οτιδήποτε.
Ελέγξτε το crawl. Σημειώστε την ημερομηνία του τελευταίου crawl, αν η Google σάρωσε ως smartphone ή ως desktop, αν επιτρεπόταν το crawling και αν η ανάκτηση της σελίδας πέτυχε. Μία προσοχή: όταν το robots.txt μπλοκάρει το crawling, το "Indexing allowed?" απαντά πάντα ναι, επειδή η Google δεν μπορεί να δει ένα noindex σε σελίδα που δεν της επιτρέπεται να ανακτήσει.
Εκτελέστε το Test live URL. Η προεπιλεγμένη προβολή περιγράφει την τελευταία ευρετηριασμένη έκδοση, που μπορεί να είναι παλιά. Το live test ανακτά τη σελίδα τώρα και εμφανίζει στιγμιότυπο της σελίδας όπως αποδίδεται, που είναι ο γρηγορότερος τρόπος να εντοπίσετε περιεχόμενο που εμφανίζεται μόνο σε συνδεδεμένους χρήστες ή όταν αποτυγχάνει ένα script.
Ζητήστε ευρετηρίαση μόνο μετά από διόρθωση. Η Google έχει ημερήσιο όριο και αναφέρει ότι οι επαναλαμβανόμενες αιτήσεις για το ίδιο URL δεν επιταχύνουν τίποτα (Ask Google to recrawl).

Σημειώσεις για τις δυσκολότερες καταστάσεις

Το Blocked by robots.txt δεν σημαίνει ότι η σελίδα μένει εκτός ευρετηρίου. Το robots.txt ελέγχει το crawling, όχι την ευρετηρίαση· ένα μπλοκαρισμένο URL που το συνδέουν άλλες σελίδες μπορεί παρ' όλα αυτά να ευρετηριαστεί χωρίς το περιεχόμενό του. Για να κρατήσετε μια σελίδα εκτός Google, επιτρέψτε το crawling και χρησιμοποιήστε noindex, σε meta tag ή σε κεφαλίδα X-Robots-Tag (Block indexing). Να θυμάστε ότι η αφαίρεση γίνεται μόνο όταν η Google σαρώσει ξανά τη σελίδα, κάτι που μπορεί να πάρει καιρό.

Οι συγκρούσεις canonical είναι συνήθως αυτοδημιούργητες. Η Google θεωρεί τις ανακατευθύνσεις και το rel="canonical" ισχυρά σήματα, τη συμπερίληψη στο sitemap ασθενές σήμα, και προτιμά το HTTPS (Consolidate duplicate URLs). Η τυπική σύγκρουση είναι ένα canonical tag που δηλώνει ένα URL, ενώ η πλοήγηση, το sitemap και οι εσωτερικοί σύνδεσμοι χρησιμοποιούν όλα μια παραλλαγή του (τελική κάθετος, κεφαλαία γράμματα, παράμετρος παρακολούθησης, http://). Φέρτε τα σε συμφωνία και η σύγκρουση συνήθως λύνεται στο επόμενο crawl.

Τα soft 404 είναι δύο ειδών. Ορισμένα είναι πραγματικά σελίδες που λείπουν, όπως ένα template "item not found" που επιστρέφει 200· αυτά πρέπει να επιστρέφουν 404 ή 410. Άλλα είναι πραγματικές σελίδες που φαίνονται άδειες στη Google, όπως μια κατηγορία χωρίς προϊόντα ή μια σελίδα της οποίας το περιεχόμενο φορτώνει αφού αποτύχει ένα script· αυτές χρειάζονται περιεχόμενο που μπορεί να δει η Google, κάτι που θα επιβεβαιώσει το στιγμιότυπο του live test.

Το Crawled - currently not indexed είναι κρίση, όχι σφάλμα. Η Google σάρωσε τη σελίδα και αποφάσισε, προς το παρόν, να μην την κρατήσει· μπορεί να ευρετηριαστεί αργότερα ή και όχι. Αναρωτηθείτε ειλικρινά τι προσθέτει η σελίδα. Οι συνηθισμένες περιπτώσεις είναι λεπτές παραλλαγές άλλων σελίδων, σελίδες ετικετών με δύο άρθρα και άρθρα που επαναλαμβάνουν όσα λένε δέκα άλλοι ιστότοποι. Κάντε τη σελίδα σαφώς καλύτερη ή διαφορετική, ή συγχωνεύστε τη σε μια σελίδα που είναι ήδη.

Το Discovered - currently not indexed αφορά συνήθως τους συνδέσμους. Η Google γνωρίζει το URL αλλά δεν το έχει σαρώσει ακόμη. Στους περισσότερους ιστότοπους η λύση είναι να συνδέσετε τη σελίδα από σελίδες που η Google ήδη σαρώνει και να την κρατήσετε στο sitemap. Ο οδηγός της Google για το crawl budget απευθύνεται σε στενότερη ομάδα: ιστότοπους με πάνω από ένα εκατομμύριο σελίδες που αλλάζουν εβδομαδιαίως, ή με πάνω από 10.000 σελίδες που αλλάζουν καθημερινά (Managing crawl budget). Αν είστε εσείς, περιορίστε τον κατάλογο των URL: συγχωνεύστε τα διπλότυπα, μπλοκάρετε το crawling URL που δεν πρέπει ποτέ να ανακτώνται, επιστρέψτε 404 ή 410 για σελίδες που αφαιρέθηκαν και διορθώστε τα soft 404, που συνεχίζουν να σαρώνονται.

Βήμα 4: επικυρώστε τη διόρθωση

Όταν διορθωθούν τα URL ενός λόγου, ανοίξτε τον λόγο στην αναφορά Page indexing και πατήστε Validate fix, μία φορά. Η Google ελέγχει πρώτα μερικές σελίδες δείγματος· αν το πρόβλημα εξακολουθεί να υπάρχει, η επικύρωση σταματά. Διαφορετικά ελέγχει ξανά όλα τα γνωστά επηρεασμένα URL και σημειώνει το καθένα ως επιτυχές ή αποτυχημένο. Η Google αναφέρει ότι η επικύρωση διαρκεί συνήθως έως και περίπου δύο εβδομάδες και κάποιες φορές πολύ περισσότερο. Μπορεί επίσης να εντοπίσει τις διορθώσεις κατά το κανονικό crawling, χωρίς αίτημα επικύρωσης.

Πότε να σταματήσετε

Σταματήστε να κυνηγάτε μια κατάσταση όταν τα URL πίσω από αυτήν είναι URL που δεν χρειάζεται να ευρετηριαστούν (παράμετροι, φιλτραρισμένες προβολές, αποτελέσματα εσωτερικής αναζήτησης, παλιές ανακατευθύνσεις) ή όταν μια σελίδα έχει βελτιωθεί, συνδεθεί και υποβληθεί ξανά και η Google εξακολουθεί να την απορρίπτει έπειτα από μερικούς μήνες. Σε αυτό το σημείο η χρήσιμη κίνηση είναι συνήθως να συγχωνεύσετε τη σελίδα σε μια ισχυρότερη και να την ανακατευθύνετε, όχι να ζητήσετε ξανά ευρετηρίαση.

Πώς βοηθά το AutoPSEO

Το AutoPSEO μετατρέπει το βήμα 2 σε μόνιμο έλεγχο. Το Index Tracker φιλοξενεί έως 1.800 URL της επιλογής σας, επανελέγχει έως 200 από αυτά κάθε ημέρα μέσω του URL Inspection API (πρώτα ο παλαιότερος έλεγχος, εντός του ορίου της Google των 2.000 ελέγχων ανά property την ημέρα) και επισημαίνει τις σελίδες που αφαιρέθηκαν από το ευρετήριο τις τελευταίες 30 ημέρες και τις σελίδες που η Google δεν έχει σαρώσει εδώ και 120 ημέρες. Μια ειδοποίηση Index flip δημοσιεύεται στο Slack, στο Microsoft Teams ή σε webhook όταν ένα παρακολουθούμενο URL βγαίνει από το ευρετήριο ή επιστρέφει (ειδοποιήσεις). Το URL Inspection και τα Sitemaps λειτουργούν μέσα από την εφαρμογή, ενώ τα Bing crawl issues δείχνουν παρόμοια προβλήματα από την πλευρά του Bing.

Για νέες σελίδες, το IndexNow ενημερώνει το Bing και τις άλλες μηχανές που το υποστηρίζουν για τα URL που άλλαξαν· η Google δεν συμμετέχει στο IndexNow, επομένως τα sitemaps και οι εσωτερικοί σύνδεσμοι παραμένουν ο τρόπος για να φτάσετε στη Google. Τα άρθρα από τη μηχανή περιεχομένου παραδίδονται στον δικό σας ιστότοπο, ο οποίος τα δημοσιεύει και τα συνδέει όπως κάθε άλλη σελίδα· όταν ο ιστότοπός σας δηλώνει κλειδί IndexNow, το AutoPSEO στέλνει ping στο IndexNow για κάθε δημοσιευμένη ή ενημερωμένη διεύθυνση στον host σας και καταγράφει την απάντηση του IndexNow (Παράδοση).