Báo cáo Crawl stats nằm ở đâu trong Google Search Console?

Crawl stats không có trong menu bên trái của Search Console. Hãy mở Cài đặt (biểu tượng bánh răng), chọn Crawl stats rồi mở báo cáo từ đó. Báo cáo chỉ có ở các property cấp gốc: property Miền (Domain) như example.com, hoặc property tiền tố URL ở cấp gốc như https://example.com/. Property cho một thư mục như https://example.com/blog/ không có báo cáo này. Google cho biết các trang web có dưới 1.000 trang hiếm khi cần đến báo cáo này.

Cách mở báo cáo

1. Chuyển sang property Miền (Domain) hoặc property tiền tố URL ở cấp gốc. Nếu bạn chỉ có property cấp thư mục, hãy thêm một property Miền cho trang web.
2. Chọn Cài đặt ở cuối menu.
3. Tìm Crawl stats trên trang cài đặt và mở báo cáo.

Báo cáo hiển thị những gì

Biểu đồ trên cùng thể hiện ba tổng số theo từng ngày:

• Tổng số yêu cầu thu thập dữ liệu: mọi yêu cầu Googlebot đã gửi, dù thành công hay không. Các yêu cầu lặp lại cho cùng một URL được tính mỗi lần, và mỗi bước chuyển hướng trong chuỗi chuyển hướng cũng vậy.
• Tổng dung lượng tải xuống: số byte đã tải về. Một tài nguyên được lưu vào bộ nhớ đệm và dùng chung cho nhiều trang chỉ được tải một lần.
• Thời gian phản hồi trung bình: tính trên tất cả tài nguyên đã tải, mỗi tài nguyên của trang được tính riêng.

Bên dưới là trạng thái máy chủ (host status), kiểm tra ba mục trong 90 ngày gần nhất: có tải được robots.txt hay không, DNS có phân giải được không và máy chủ có phản hồi không. Mỗi mục hiển thị dấu xanh, sự cố đã xảy ra cách đây hơn một tuần, hoặc sự cố gần đây trong vòng một tuần qua.

Tiếp theo là bốn phần phân tích, mỗi phần tính theo tỷ lệ phần trăm số yêu cầu:

Google xếp mã 404 vào nhóm "có thể chấp nhận được": một trang đã bị gỡ nên trả về 404, và bạn không cần sửa mọi trường hợp.

Lỗi robots.txt làm dừng việc thu thập dữ liệu như thế nào

robots.txt quan trọng hơn mọi mục khác trong báo cáo. Mã 200 (kể cả tệp rỗng), 403, 404 hoặc 410 đều được tính là tải thành công. Mã 429 hoặc 5xx được tính là thất bại, và khi đó:

1. Trong 12 giờ đầu, Google dừng thu thập dữ liệu của trang web và tiếp tục yêu cầu tệp này.
2. Từ 12 giờ đến 30 ngày, Google dùng bản sao hợp lệ gần nhất.
3. Sau 30 ngày, Google thu thập dữ liệu không giới hạn nếu trang chủ của bạn truy cập được, và dừng lại nếu không.

Vì vậy, mục robots.txt có màu đỏ trong trạng thái máy chủ là tình huống khẩn cấp: nó có thể làm dừng toàn bộ việc thu thập dữ liệu.

Các dấu hiệu cần xử lý

• Số yêu cầu giảm trong khi thời gian phản hồi tăng. Google hạ tốc độ thu thập khi máy chủ chậm đi hoặc trả về lỗi. Hãy khắc phục máy chủ trước tiên.
• Googlebot làm quá tải máy chủ của bạn. Chỉ trả về 503 hoặc 429 trong thời gian ngắn, tối đa hai hoặc ba ngày, nếu không việc thu thập có thể vẫn ở mức thấp sau đó.
• Bạn muốn được thu thập nhiều hơn. Bạn không thể yêu cầu điều này. Hãy giữ sitemap luôn cập nhật, loại bỏ các URL trùng lặp và không cần thiết, đồng thời đảm bảo các trang quan trọng không bị chặn.
• Báo cáo đếm nhiều yêu cầu hơn nhật ký của bạn. Điều này có thể xảy ra khi robots.txt không khả dụng trong thời gian dài, vì Google tính cả những lượt thu thập mà lẽ ra nó sẽ thực hiện.

Cần lưu ý hai giới hạn: các yêu cầu được liệt kê theo URL thực sự được tải, không gộp về URL chuẩn (canonical), và các tài nguyên đặt trên miền khác không xuất hiện. Báo cáo này cũng không có API, nên nhật ký máy chủ của bạn vẫn là bản ghi duy nhất theo từng URL về các lượt truy cập của Googlebot. Để biết liệu những điều này có hạn chế việc lập chỉ mục của bạn hay không, hãy xem ngân sách thu thập dữ liệu.

AutoPSEO hỗ trợ như thế nào

API của Google không cung cấp dữ liệu crawl stats, nên AutoPSEO không thể sao chép báo cáo này. Thay vào đó, Index Tracker ghi lại ngày thu thập gần nhất mà Google báo cáo cho từng URL bạn theo dõi, và đánh dấu các trang đã được lập chỉ mục nhưng không được thu thập trong 120 ngày trở lên. Khi kết nối khóa Bing Webmaster Tools, AutoPSEO cũng hiển thị thống kê thu thập dữ liệu hằng ngày của Bing cùng danh sách sự cố thu thập dữ liệu.

Nguồn: Trợ giúp báo cáo Crawl stats và tài liệu tham khảo Search Console API của Google.