Làm thế nào để kiểm tra robots.txt trong Google Search Console?

Q: Làm thế nào để kiểm tra robots.txt trong Google Search Console?

Mở báo cáo robots.txt trong Cài đặt để xem từng tệp Google tìm thấy, thời điểm tệp được tải và các lỗi phân tích cú pháp. Kiểm tra từng URL bằng URL Inspection.

Mở Cài đặt (Settings) rồi chọn báo cáo robots.txt. Báo cáo liệt kê các tệp robots.txt Google tìm thấy cho trang web của bạn, thời điểm mỗi tệp được kiểm tra lần gần nhất, việc tải tệp có thành công hay không, kích thước tệp và những dòng Google không phân tích được. Để biết một URL cụ thể có bị chặn hay không, hãy kiểm tra URL đó và xem trường Crawl allowed?. Công cụ robots.txt Tester độc lập mà các hướng dẫn cũ nhắc đến hiện không còn nằm trong bộ công cụ của Search Console.

Báo cáo hiển thị những gì

Theo trang trợ giúp về báo cáo robots.txt của Google:

Báo cáo chỉ có ở các thuộc tính cấp tên miền: thuộc tính Domain, hoặc thuộc tính tiền tố URL không có đường dẫn (https://example.com/, không phải https://example.com/shop/).
Với thuộc tính Domain, báo cáo bao gồm 20 máy chủ lưu trữ (host) có tốc độ thu thập dữ liệu cao nhất, vì mỗi host có tệp riêng.
Với mỗi tệp, bạn thấy đường dẫn, trạng thái tải, thời điểm kiểm tra gần nhất, kích thước tính bằng byte và số vấn đề. Lỗi khiến Google bỏ qua quy tắc; cảnh báo thì không.
Tệp xuất hiện nếu Google đã tải hoặc đã thử tải trong 30 ngày qua.

Trạng thái	Ý nghĩa
Fetched	Google đã lấy được tệp. Google bỏ qua các dòng không phân tích được và dùng phần còn lại
Not fetched: Not found (404)	Không có tệp, và điều này không sao: Google có thể thu thập mọi URL
Not fetched: any other reason	Đã xảy ra sự cố khác; xem bảng bên dưới

Sau khi bạn thay đổi tệp

Google thường lưu đệm (cache) robots.txt tối đa 24 giờ, nên thay đổi sẽ không có hiệu lực ngay lập tức. Nếu bạn đã bỏ chặn các URL quan trọng hoặc đã khắc phục lỗi tải tệp, hãy mở menu của tệp trong báo cáo và chọn Request a recrawl. Ngoài các trường hợp đó thì không cần làm gì: Google tải lại robots.txt khá thường xuyên.

Cách Google xử lý robots.txt bị lỗi

Google nhận được gì	Điều gì xảy ra
Phản hồi 2xx	Các quy tắc được áp dụng
Chuyển hướng	Google đi theo ít nhất năm bước chuyển hướng, sau đó coi chuỗi chưa giải quyết xong là 404
Lỗi 4xx khác 429	Được xem như không có tệp: không có gì bị chặn
Lỗi 5xx hoặc lỗi mạng	Việc thu thập dữ liệu dừng trong 12 giờ, sau đó dùng bản tốt gần nhất trong tối đa 30 ngày; sau thời gian đó, nếu trang web vẫn truy cập được, Google hành xử như thể không có tệp
Tệp lớn hơn 500 KiB	Mọi nội dung vượt quá giới hạn đều bị bỏ qua

Nguồn: How Google interprets robots.txt. Dòng 5xx là trường hợp đáng lo nhất: nếu máy chủ trả lỗi chỉ riêng cho tệp này, việc thu thập dữ liệu của cả trang web có thể bị tạm dừng.

Kiểm tra quy tắc trước khi áp dụng chính thức

Với URL đã hoạt động, trường Crawl allowed? trong URL Inspection cho câu trả lời nhanh nhất.
Với tệp nháp, Google hướng các nhà phát triển tới thư viện robots.txt mã nguồn mở để kiểm tra cục bộ.
Khi các quy tắc xung đột, Google áp dụng quy tắc cụ thể nhất, tức quy tắc có đường dẫn khớp dài nhất; nếu hai quy tắc cụ thể ngang nhau, quy tắc ít hạn chế hơn sẽ được chọn.

Những việc robots.txt không làm được

robots.txt kiểm soát việc thu thập dữ liệu, không kiểm soát việc lập chỉ mục. Google cho biết đây không phải cách để giữ một trang ra khỏi Google: một URL bị chặn vẫn có thể được lập chỉ mục, không kèm mô tả, nếu các trang khác liên kết tới nó. Để giữ một trang khỏi kết quả tìm kiếm, hãy dùng noindex hoặc mật khẩu, như mô tả trong phần gỡ một URL.

AutoPSEO hỗ trợ như thế nào

Tính năng kiểm tra URL hàng loạt của AutoPSEO hiển thị trạng thái robots.txt mà Google báo cáo cho từng URL, tối đa 500 URL mỗi lần chạy từ danh sách dán vào hoặc từ sitemap. Nhờ vậy bạn có thể nhanh chóng xác nhận rằng một thay đổi quy tắc không vô tình chặn cả một chuyên mục.