Cách chẩn đoán các vấn đề lập chỉ mục kỹ thuật

Thứ tự phân loại cho báo cáo Lập chỉ mục trang trong Search Console: nên sửa gì trước, cách xác nhận nguyên nhân bằng URL Inspection và khi nào nên dừng lại.

Hãy chẩn đoán vấn đề lập chỉ mục bắt đầu từ những trang bạn cần, đừng bắt đầu từ các con số tổng của báo cáo. Hãy lập danh sách các URL quan trọng, xác định URL nào trong số đó chưa được lập chỉ mục và vì sao, rồi xử lý các nguyên nhân theo mức độ nghiêm trọng: trước tiên là lỗi máy chủ và lỗi truy cập, tiếp đến là các chặn vô tình, xung đột canonical, các trang giống trang lỗi, và cuối cùng là những trang Google đơn giản là chọn không lập chỉ mục. Hãy xác nhận từng bản sửa bằng kiểm tra trực tiếp trong URL Inspection trước khi yêu cầu Google xác thực.

Tài liệu này giả định bạn đã nắm các trạng thái được mô tả trong Tìm hiểu về lập chỉ mục.

Bước 1: lập danh sách các URL quan trọng

Báo cáo Lập chỉ mục trang đếm mọi URL mà Google biết đến, bao gồm các tham số, địa chỉ cũ và những trang bạn chưa bao giờ định xuất bản. Con số "Chưa được lập chỉ mục" lớn là chuyện bình thường, và Google nói rõ rằng không phải URL nào cũng nên được lập chỉ mục (Page indexing report). Vì vậy hãy bắt đầu từ danh sách của riêng bạn:

Các trang mang lại lưu lượng truy cập: 50 đến 100 trang hàng đầu trong Performance → Pages trong ba tháng.
Các trang mang lại doanh thu: trang sản phẩm, bảng giá, dịch vụ và địa điểm, bất kể lưu lượng truy cập.
Các trang mới: mọi trang được xuất bản trong 90 ngày gần nhất.
Sitemap của bạn: sitemap nên liệt kê chính xác các URL canonical mà bạn muốn lập chỉ mục. Bạn có thể lọc báo cáo Lập chỉ mục trang theo sitemap để xem có bao nhiêu URL của sitemap đó đã được lập chỉ mục, và mỗi sitemap trong báo cáo Sitemaps đều liên kết tới tình trạng lập chỉ mục của các URL thuộc sitemap đó.

Bước 2: tìm xem URL nào chưa được lập chỉ mục

Với danh sách ngắn, hãy kiểm tra từng URL trong URL Inspection. Với danh sách dài hơn, hãy mở báo cáo Lập chỉ mục trang đã lọc theo sitemap của bạn và đi qua từng lý do, kiểm tra xem URL quan trọng nào của bạn xuất hiện trong các ví dụ của lý do đó. Ghi lại mỗi URL cùng lý do và nguồn của lý do đó. Nguyên tắc kinh nghiệm của Google: nhìn chung bạn chỉ có thể sửa những vấn đề có nguồn là "Website".

Bước 3: xử lý các nguyên nhân theo thứ tự

Hãy sửa các nguyên nhân theo thứ tự này. Mỗi mức có thể che khuất mức tiếp theo, và những mức đầu tiên ảnh hưởng đến nhiều trang nhất cùng lúc.

Thứ tự	Trạng thái	Kiểm tra trước	Cách sửa thường gặp
1	Lỗi máy chủ (5xx)	Nhật ký máy chủ và trạng thái hosting vào thời điểm Google thu thập dữ liệu	Khắc phục vấn đề năng lực hoặc sự cố treo; phản hồi 5xx lặp lại cũng khiến Google thu thập dữ liệu chậm hơn
2	Lỗi chuyển hướng	Toàn bộ chuỗi chuyển hướng của URL	Chuyển hướng một bước tới URL cuối cùng; loại bỏ vòng lặp
3	Bị chặn do yêu cầu trái phép (401), truy cập bị cấm (403) hoặc các lỗi 4xx khác	Trang yêu cầu đăng nhập, tường lửa hoặc quy tắc chống bot	Cho phép Googlebot truy cập các trang công khai
4	URL bị đánh dấu 'noindex'	Thẻ meta robots của trang và header `X-Robots-Tag`	Gỡ noindex khỏi những trang cần xếp hạng
5	URL bị robots.txt chặn	Quy tắc robots.txt khớp với URL	Gỡ quy tắc đối với những trang cần được thu thập dữ liệu
6	Trùng lặp, Google chọn canonical khác với người dùng	URL nào được thẻ canonical, chuyển hướng, sitemap và liên kết nội bộ của bạn chỉ định	Làm cho mọi tín hiệu cùng trỏ về một URL
7	Soft 404	Trang hiển thị gì khi Googlebot tải về	Dùng 404 thật cho trang không tồn tại; nội dung thật cho trang thật
8	Đã thu thập dữ liệu - hiện chưa được lập chỉ mục	Trang có bổ sung điều gì mà các trang khác của bạn và đối thủ chưa có hay không	Cải thiện trang, hoặc gộp vào một trang mạnh hơn
9	Đã phát hiện - hiện chưa được lập chỉ mục	Có trang nào đã được thu thập dữ liệu liên kết tới trang này không	Liên kết tới trang từ các trang đã được thu thập dữ liệu; với các trang web rất lớn, hãy quản lý việc thu thập dữ liệu

Chẩn đoán một URL bằng URL Inspection

Với mỗi URL quan trọng trong danh sách, hãy chạy cùng năm bước kiểm tra (URL Inspection tool):

Đọc kết luận và lý do. "URL is unknown to Google" nghĩa là Google chưa hề thấy địa chỉ này, nên việc cần làm là giúp Google phát hiện: hãy liên kết tới nó từ các trang Google đã thu thập dữ liệu và đưa nó vào sitemap.
So sánh các canonical. Nếu canonical do Google chọn khác với canonical do người dùng khai báo, nghĩa là Google đang lập chỉ mục một URL khác thay cho URL này. Hãy xem URL kia trước khi thay đổi bất cứ điều gì.
Kiểm tra việc thu thập dữ liệu. Ghi lại ngày thu thập gần nhất, Google thu thập bằng thiết bị di động hay máy tính để bàn, việc thu thập có được phép hay không và việc tải trang có thành công không. Một lưu ý: khi robots.txt chặn việc thu thập dữ liệu, mục "Indexing allowed?" luôn hiển thị là có, vì Google không thể thấy noindex trên một trang mà họ không được phép tải.
Chạy Test live URL. Chế độ xem mặc định mô tả phiên bản được lập chỉ mục gần nhất, có thể đã cũ. Kiểm tra trực tiếp sẽ tải trang ngay lúc đó và hiển thị ảnh chụp màn hình của trang đã được kết xuất, đây là cách nhanh nhất để phát hiện nội dung chỉ xuất hiện với người dùng đã đăng nhập hoặc sau khi một script bị lỗi.
Chỉ yêu cầu lập chỉ mục sau khi đã sửa. Google có hạn mức hằng ngày và cho biết việc yêu cầu lặp lại cho cùng một URL không làm mọi thứ nhanh hơn (Ask Google to recrawl).

Ghi chú về các trạng thái khó hơn

Bị robots.txt chặn không có nghĩa là bị loại khỏi chỉ mục. robots.txt kiểm soát việc thu thập dữ liệu chứ không phải việc lập chỉ mục; một URL bị chặn nhưng được các trang khác liên kết tới vẫn có thể được lập chỉ mục mà không có nội dung. Để giữ một trang khỏi Google, hãy cho phép thu thập dữ liệu và dùng noindex, trong thẻ meta hoặc header X-Robots-Tag (Block indexing). Hãy nhớ rằng trang chỉ được gỡ khi Google thu thập lại trang đó, và việc này có thể mất một thời gian.

Xung đột canonical thường do chính bạn gây ra. Google coi chuyển hướng và rel="canonical" là tín hiệu mạnh, việc có mặt trong sitemap là tín hiệu yếu, và ưu tiên HTTPS (Consolidate duplicate URLs). Xung đột điển hình là thẻ canonical chỉ một URL trong khi điều hướng, sitemap và liên kết nội bộ đều dùng một biến thể (dấu gạch chéo cuối, chữ hoa, tham số theo dõi, http://). Hãy làm cho chúng thống nhất và xung đột thường sẽ được giải quyết ở lần thu thập dữ liệu kế tiếp.

Soft 404 có hai loại. Một số thực sự là trang không tồn tại, chẳng hạn template "không tìm thấy mục" nhưng trả về 200; những trang này nên trả về 404 hoặc 410. Số khác là trang thật nhưng trông như trống đối với Google, chẳng hạn danh mục không có sản phẩm hoặc trang có nội dung được tải sau khi một script bị lỗi; những trang này cần nội dung mà Google có thể thấy, và ảnh chụp màn hình của kiểm tra trực tiếp sẽ xác nhận điều đó.

Đã thu thập dữ liệu - hiện chưa được lập chỉ mục là một đánh giá, không phải lỗi. Google đã thu thập dữ liệu trang và quyết định, ở thời điểm hiện tại, chưa giữ nó lại; sau này trang có thể được lập chỉ mục hoặc không. Hãy tự hỏi thành thật xem trang bổ sung được điều gì. Các biến thể mỏng của những trang khác, trang thẻ chỉ có hai bài viết, và các bài viết lặp lại những gì mười trang web khác đã nói thường là những "cư dân" quen thuộc ở đây. Hãy làm cho trang rõ ràng tốt hơn hoặc khác biệt, hoặc gộp nó vào một trang vốn đã như vậy.

Đã phát hiện - hiện chưa được lập chỉ mục thường liên quan đến liên kết. Google biết URL nhưng chưa thu thập dữ liệu. Với hầu hết các trang web, cách sửa là liên kết tới trang từ những trang Google đã thu thập dữ liệu và giữ trang trong sitemap. Hướng dẫn về ngân sách thu thập dữ liệu của Google được viết cho một nhóm hẹp hơn: các trang web có hơn một triệu trang thay đổi hằng tuần, hoặc hơn 10.000 trang thay đổi hằng ngày (Managing crawl budget). Nếu đó là trang web của bạn, hãy cắt giảm kho URL: hợp nhất các trang trùng lặp, chặn việc thu thập dữ liệu các URL không bao giờ nên được tải, trả về 404 hoặc 410 cho các trang đã gỡ, và sửa các soft 404 vốn vẫn liên tục bị thu thập dữ liệu.

Bước 4: xác thực bản sửa

Khi các URL của một lý do đã được sửa xong, hãy mở lý do đó trong báo cáo Lập chỉ mục trang và nhấn Validate fix, chỉ một lần. Trước tiên Google kiểm tra một vài trang mẫu; nếu vấn đề vẫn còn, quá trình xác thực sẽ dừng. Nếu không, Google sẽ kiểm tra lại mọi URL bị ảnh hưởng đã biết và đánh dấu từng URL là đạt hoặc không đạt. Google cho biết quá trình xác thực thường mất đến khoảng hai tuần và đôi khi lâu hơn nhiều. Google cũng có thể ghi nhận các bản sửa trong quá trình thu thập dữ liệu thông thường mà không cần yêu cầu xác thực.

Khi nào nên dừng lại

Hãy ngừng theo đuổi một trạng thái khi các URL đằng sau nó là những URL bạn không cần lập chỉ mục (tham số, chế độ xem đã lọc, kết quả tìm kiếm nội bộ, chuyển hướng cũ) hoặc khi một trang đã được cải thiện, liên kết và gửi lại mà Google vẫn từ chối sau vài tháng. Lúc đó, bước hữu ích thường là gộp trang vào một trang mạnh hơn và chuyển hướng, thay vì yêu cầu lập chỉ mục lần nữa.

AutoPSEO hỗ trợ như thế nào

AutoPSEO biến bước 2 thành một lần kiểm tra thường trực. Index Tracker lưu tối đa 1.800 URL do bạn chọn, kiểm tra lại tối đa 200 URL trong số đó mỗi ngày thông qua URL Inspection API (lần kiểm tra cũ nhất đi trước, trong giới hạn 2.000 lượt kiểm tra mỗi property mỗi ngày của Google), và đánh dấu các trang bị loại khỏi chỉ mục trong 30 ngày qua cùng các trang Google chưa thu thập dữ liệu trong 120 ngày. Cảnh báo Index flip sẽ đăng lên Slack, Microsoft Teams hoặc một webhook khi một URL đang theo dõi rơi khỏi chỉ mục hoặc quay trở lại (cảnh báo). URL Inspection và Sitemaps hoạt động ngay trong ứng dụng, còn lỗi thu thập dữ liệu của Bing cho thấy các vấn đề tương tự từ phía Bing.

Với các trang mới, IndexNow thông báo cho Bing và các công cụ tìm kiếm khác có hỗ trợ về những URL đã thay đổi; Google không tham gia IndexNow, vì vậy sitemap và liên kết nội bộ vẫn là cách để tiếp cận Google. Các bài viết từ content engine được chuyển tới trang web của riêng bạn, nơi xuất bản và liên kết chúng như mọi trang khác; khi trang web của bạn khai báo khóa IndexNow, AutoPSEO sẽ ping IndexNow với mỗi địa chỉ được xuất bản hoặc cập nhật trên host của bạn và ghi lại phản hồi của IndexNow (Chuyển giao).