Giải thích về lập chỉ mục: cách Google thu thập dữ liệu, lập chỉ mục và báo cáo trang
Một URL đi từ lúc được phát hiện đến chỉ mục của Google như thế nào, ý nghĩa của từng trạng thái trong báo cáo Lập chỉ mục trang và trạng thái nào cần xử lý, dựa trên tài liệu của Google.
Lập chỉ mục là việc Google lưu trữ một trang để trang đó có thể xuất hiện trong kết quả tìm kiếm. Trước khi điều đó xảy ra, Google phải phát hiện URL, thu thập dữ liệu và thường là kết xuất trang. Sau đó, Google quyết định trang có trùng lặp với URL khác hay không và có đáng được giữ lại hay không. Báo cáo Lập chỉ mục trang trong Search Console cho biết từng URL của bạn dừng lại ở bước nào trên hành trình đó, cùng lý do mà Google đưa ra.
Từ URL đến kết quả tìm kiếm
Mô tả của Google về cách Tìm kiếm hoạt động chia hành trình này thành các bước mà bạn có thể kiểm tra từng bước một.
- Phát hiện. Không có danh sách trung tâm nào về các trang web, nên Google liên tục tìm kiếm trang mới. Phần lớn trang được phát hiện qua các liên kết từ những trang Google đã biết và qua sitemap mà chủ website gửi lên.
- Thu thập dữ liệu. Googlebot tải URL về, với điều kiện robots.txt cho phép. Google giới hạn tốc độ thu thập để không làm quá tải máy chủ của bạn, và lỗi máy chủ sẽ khiến Google giảm tốc độ hơn nữa.
- Kết xuất. Google chạy JavaScript của trang bằng một phiên bản Chrome gần đây, vì một số nội dung chỉ xuất hiện sau khi script được thực thi.
- Lập chỉ mục. Google phân tích nội dung, nhóm các trang trùng lặp hoặc gần như trùng lặp, chọn một trong số đó làm canonical rồi lưu trữ. Google cũng có thể quyết định không lập chỉ mục một trang, chẳng hạn do nội dung chất lượng thấp hoặc do quy tắc robots meta cấm.
- Phân phối kết quả. Với mỗi lượt tìm kiếm, Google chọn kết quả từ chỉ mục. Được lập chỉ mục chỉ giúp trang đủ điều kiện xuất hiện; điều đó không đảm bảo trang sẽ xuất hiện.
Google nói rõ rằng họ không đảm bảo bất kỳ bước nào trong số này cho bất kỳ trang nào. Điều bạn có thể làm là loại bỏ các trở ngại và cho Google những lý do chính đáng để tiếp tục.
Đọc báo cáo Lập chỉ mục trang
Báo cáo chia các URL mà Google biết thành Đã lập chỉ mục và Chưa lập chỉ mục, đồng thời nêu lý do cho từng nhóm URL chưa được lập chỉ mục (Báo cáo Lập chỉ mục trang). Hai điểm trong hướng dẫn của chính Google nên định hình cách bạn đọc báo cáo:
- Chưa lập chỉ mục không nhất thiết là xấu. Google nhắc chủ website đừng kỳ vọng mọi URL đều được lập chỉ mục. Các trang trùng lặp, địa chỉ chuyển hướng và trang không có nội dung đáng kể vốn được thiết kế để nằm ngoài chỉ mục. Điều quan trọng là các trang chủ chốt phải có trong chỉ mục.
- Xem cột Nguồn. Mỗi lý do cho biết nguyên nhân nằm ở website hay ở hệ thống của Google. Nói chung, bạn chỉ có thể khắc phục những lý do có nguồn là "Website".
Vì vậy, câu hỏi hữu ích không bao giờ là "tại sao số lượng chưa lập chỉ mục của tôi cao?". Câu hỏi đúng là "có trang nào tôi cần nằm trong danh sách này không, và vì sao?".
Ý nghĩa của từng trạng thái
Các lý do của Google chia thành năm nhóm. Cách xử lý phụ thuộc vào nhóm nhiều hơn là vào câu chữ cụ thể.
Bạn đã yêu cầu Google không lập chỉ mục
| Trạng thái | Điều đã xảy ra | Hành động |
|---|---|---|
| URL bị đánh dấu 'noindex' | Trang có quy tắc noindex | Không cần làm gì nếu đó là chủ ý; gỡ quy tắc nếu trang cần được xếp hạng |
| URL bị robots.txt chặn | robots.txt ngăn Google thu thập dữ liệu trang | Chặn thu thập dữ liệu không đảm bảo trang sẽ nằm ngoài chỉ mục |
| Trang thay thế có thẻ canonical phù hợp | Trang trỏ đến một URL khác làm canonical, và Google đồng ý | Không cần làm gì |
| Trang có chuyển hướng | URL chuyển hướng sang nơi khác nên bản thân nó không được lập chỉ mục | Không cần làm gì, miễn là đích đến là trang bạn muốn lập chỉ mục |
Google không thể tải trang
| Trạng thái | Điều đã xảy ra | Hành động |
|---|---|---|
| Lỗi máy chủ (5xx) | Máy chủ của bạn trả về lỗi thuộc nhóm 500 | Sửa máy chủ; lỗi lặp lại cũng làm chậm việc thu thập dữ liệu |
| Lỗi chuyển hướng | Chuỗi chuyển hướng quá dài, bị lặp vòng, hoặc dẫn đến URL sai hay trống | Cho chuyển hướng trỏ thẳng đến URL cuối cùng |
| Bị chặn do yêu cầu trái phép (401), truy cập bị cấm (403) hoặc sự cố 4xx khác | Trang từ chối Googlebot | Gỡ rào cản nếu trang cần được công khai |
| Không tìm thấy (404) | URL trả về 404 | Không sao với các trang đã gỡ; hãy sửa liên kết nếu trang vẫn tồn tại ở nơi khác |
Google đã chọn URL khác
| Trạng thái | Điều đã xảy ra | Hành động |
|---|---|---|
| Trang trùng lặp, người dùng chưa chọn canonical | Google xem trang là bản trùng lặp và chọn một canonical khác | Thường không cần làm gì; Google cho rằng đây là hoạt động đúng như thiết kế |
| Trang trùng lặp, Google chọn canonical khác với người dùng | Bạn đã chỉ định một canonical, nhưng Google ưu tiên URL khác | Làm cho các tín hiệu của bạn thống nhất (xem bên dưới) |
Google chưa quyết định có lợi cho bạn
| Trạng thái | Điều đã xảy ra | Hành động |
|---|---|---|
| Đã phát hiện - hiện chưa được lập chỉ mục | Google biết URL nhưng chưa thu thập dữ liệu, thường do được dời lịch để tránh làm quá tải website | Đặt liên kết đến trang từ các trang đã được thu thập; với website rất lớn, hãy quản lý việc thu thập dữ liệu |
| Đã thu thập - hiện chưa được lập chỉ mục | Google đã thu thập dữ liệu trang nhưng chưa lập chỉ mục, và có thể có hoặc không trong tương lai | Làm cho trang hữu ích và khác biệt rõ ràng, hoặc gộp vào một trang mạnh hơn |
Nội dung có vẻ không đúng
| Trạng thái | Điều đã xảy ra | Hành động |
|---|---|---|
| Soft 404 | Trang phản hồi 200 nhưng trông như trang lỗi hoặc trang trống | Trả về 404 thật cho các trang không tồn tại, hoặc bổ sung nội dung thực cho các trang thật |
| Trang được lập chỉ mục nhưng không có nội dung (cảnh báo) | Đã lập chỉ mục, nhưng Google không đọc được nội dung | Kiểm tra nội dung Googlebot nhận được bằng Kiểm tra URL |
| Đã lập chỉ mục dù bị robots.txt chặn (cảnh báo) | Được lập chỉ mục dù robots.txt chặn trang | Để loại trang khỏi chỉ mục, hãy cho phép thu thập dữ liệu và thêm noindex |
Dòng cuối cùng khiến nhiều người nhầm lẫn. Google chỉ nhìn thấy quy tắc noindex trên trang mà họ được phép thu thập dữ liệu, nên việc vừa chặn trang trong robots.txt vừa thêm noindex đồng nghĩa với việc noindex không bao giờ được đọc (Chặn lập chỉ mục bằng noindex).
Khi Google chọn canonical khác
Thẻ canonical là tín hiệu, không phải mệnh lệnh. Google cân nhắc nhiều tín hiệu: chuyển hướng và rel="canonical" là tín hiệu mạnh, việc có mặt trong sitemap là tín hiệu yếu, và Google ưu tiên địa chỉ HTTPS hơn HTTP (Hợp nhất các URL trùng lặp). Khi các tín hiệu của bạn mâu thuẫn, chẳng hạn thẻ canonical trỏ đến một URL trong khi liên kết nội bộ và sitemap dùng URL khác, Google sẽ tự chọn. Hãy làm cho mọi tín hiệu cùng chỉ về một URL, và đặt liên kết nội bộ đến URL đó. Đừng dùng robots.txt hay noindex để chọn canonical; noindex sẽ loại trang khỏi Tìm kiếm hoàn toàn.
Kiểm tra một URL bằng Kiểm tra URL
Báo cáo Lập chỉ mục trang cho thấy các nhóm; Kiểm tra URL cho thấy chi tiết của một URL (Công cụ Kiểm tra URL). Công cụ cho biết URL đã được lập chỉ mục hay chưa, canonical bạn khai báo và canonical Google đã chọn, lần thu thập dữ liệu gần nhất và trình thu thập là thiết bị di động hay máy tính, robots.txt có cho phép thu thập dữ liệu không, việc tải trang có thành công không, và có được phép lập chỉ mục hay không.
Có hai lưu ý. Thứ nhất, chế độ xem mặc định mô tả phiên bản được lập chỉ mục gần nhất, có thể đã cũ; Kiểm tra URL trực tiếp tải trang ngay lúc này, đó là cách để xác nhận bản sửa lỗi, dù kết quả kiểm tra trực tiếp đạt cũng không đảm bảo trang sẽ được lập chỉ mục. Thứ hai, khi robots.txt chặn thu thập dữ liệu, mục "Cho phép lập chỉ mục?" luôn hiển thị là có, vì Google không thể thấy quy tắc noindex mà họ không được phép tải.
Yêu cầu lập chỉ mục đề nghị Google thu thập lại URL. Tính năng này có hạn mức hằng ngày, và Google cho biết việc yêu cầu thu thập nhiều lần cho cùng một URL sẽ không làm việc đó diễn ra nhanh hơn (Yêu cầu Google thu thập lại dữ liệu). Với nhiều URL, hãy gửi sitemap được cập nhật thay thế.
Lập chỉ mục mất bao lâu?
Google đưa ra khoảng thời gian chứ không hứa hẹn. Lập chỉ mục một trang mới có thể mất vài ngày và không bao giờ tức thì, kể cả khi đã gửi yêu cầu trực tiếp. Website mới có thể mất khoảng một tuần hoặc hơn để được thu thập và lập chỉ mục, còn việc thu thập lại có thể mất từ vài ngày đến vài tuần. Khi bạn khắc phục sự cố và nhấn Xác thực bản sửa lỗi, quá trình kiểm tra thường mất tối đa khoảng hai tuần. Nếu một trang quan trọng vẫn chưa xuất hiện sau một tháng, hãy làm theo playbook về sự cố lập chỉ mục kỹ thuật thay vì yêu cầu lập chỉ mục lần nữa.
Giúp Google tìm thấy và giữ lại các trang của bạn
- Đặt liên kết đến trang mới từ các trang Google đã thu thập, chẳng hạn trang chủ, trang trung tâm chủ đề hoặc các bài viết liên quan. Liên kết là cách chính để Google phát hiện URL.
- Chỉ đưa URL canonical vào sitemap, viết dưới dạng địa chỉ tuyệt đối đầy đủ, tối đa 50,000 URL hoặc 50MB chưa nén cho mỗi tệp. Google dùng
<lastmod>khi giá trị này luôn chính xác và bỏ qua<priority>và<changefreq>(Tạo sitemap). - Mỗi nội dung chỉ có một URL, với chuyển hướng, thẻ canonical, sitemap và liên kết nội bộ đều thống nhất.
- Trả về 404 hoặc 410 thật cho các trang đã gỡ, thay vì một trang trống có mã trạng thái 200.
- Chỉ lo về ngân sách thu thập dữ liệu khi ở quy mô lớn. Hướng dẫn về ngân sách thu thập dữ liệu của Google nhắm đến các website có hơn một triệu trang thay đổi hằng tuần, hoặc hơn 10,000 trang thay đổi hằng ngày.
AutoPSEO hỗ trợ như thế nào
AutoPSEO chạy Kiểm tra URL ngay trong ứng dụng và tính vào hạn mức hằng ngày của Google là 2,000 lượt kiểm tra cho mỗi property. Index Tracker lưu danh sách tối đa 1,800 URL do bạn chọn và kiểm tra lại tối đa 200 URL mỗi ngày, ưu tiên những URL lâu chưa được kiểm tra nhất. Công cụ cảnh báo khi một URL bị loại khỏi chỉ mục trong 30 ngày gần đây hoặc không được thu thập dữ liệu suốt 120 ngày, và có thể gửi cảnh báo "Index flip" qua Slack, Teams hoặc webhook khi một URL đang theo dõi rời khỏi chỉ mục hoặc quay lại. IndexNow thông báo cho Bing và các công cụ tìm kiếm khác có hỗ trợ; Google không tham gia IndexNow, nên với Google, sitemap và liên kết nội bộ vẫn là con đường để được phát hiện.
Các bài viết do công cụ nội dung tạo ra được chuyển đến website của chính bạn, nơi sẽ xuất bản và đặt liên kết cho chúng như mọi trang khác. Khi website của bạn khai báo khóa IndexNow, AutoPSEO sẽ ping IndexNow với mỗi địa chỉ mới hoặc được cập nhật trên host của bạn (Phân phối).
Đọc tiếp
SEO cơ bản trong 10 phút: cách Google tìm, lưu trữ và xếp hạng trang
Ba giai đoạn của Google Search, bốn con số trong Search Console và cách xác định một vấn đề thuộc giai đoạn nào.
Google Search Console là gì? Hướng dẫn dễ hiểu dành cho chủ website
Search Console báo cáo những gì, dữ liệu bị giới hạn ra sao, nên thêm loại property nào và những việc cần kiểm tra đầu tiên.
Lượt nhấp so với lượt hiển thị trong Google Search Console
Cách Google đếm lượt hiển thị và lượt nhấp, vì sao tổng số liệu giữa các chế độ xem không khớp nhau, và cách đọc khoảng chênh lệch giữa hai chỉ số này.