AutoPSEO-Bot

Nhận diện

Các yêu cầu mang theo user agent AutoPSEO-Bot/1.0 (On-Page SEO Checker), được công cụ kiểm tra on-page bổ sung thêm một liên kết trỏ về trang này. Trình thu thập dữ liệu chạy trên Cloudflare Workers, nên địa chỉ nguồn đến từ dải IP của Cloudflare và có thể thay đổi bất cứ lúc nào: hãy đối chiếu theo chuỗi user agent, không theo danh sách IP được phép.

Những gì nó yêu cầu

Mỗi URL chỉ một yêu cầu GET, không gì khác. Nó không thực thi JavaScript, nên chỉ thấy đúng phần HTML mà máy chủ của bạn trả về.

• Chỉ GET, không bao giờ dùng POST hay phương thức nào khác
• Chấp nhận text/html, theo tối đa 5 lượt chuyển hướng, và bỏ cuộc sau 8 giây
• Tối đa 5 yêu cầu chạy đồng thời
• Dừng đọc sau khoảng 1 MB HTML
• Chỉ áp dụng cho host http và https công khai, nên các địa chỉ riêng tư và loopback đều bị từ chối

Thời điểm hoạt động

Chỉ hoạt động khi có kiểm tra đang chạy: nó tải robots.txt, các sitemap cần thiết và các trang đang được kiểm tra. Kết quả được lưu cache trong 24 giờ, nên việc mở lại báo cáo không tốn thêm tài nguyên máy chủ của bạn. Một lượt thu thập toàn bộ trang web mặc định giới hạn ở 100 trang, tối đa 500 trang, độ sâu 3 cấp, và mỗi trang chỉ một yêu cầu.

Cho phép

Nếu robots.txt cho phép mọi agent thì không cần làm gì thêm. Nếu bạn mặc định chặn các agent không xác định, hãy thêm một khối khai báo rõ ràng cho AutoPSEO-Bot với các đường dẫn bạn muốn kiểm tra; một trang staging được bảo vệ bằng xác thực HTTP sẽ chỉ trả về 401 và báo cáo sẽ nêu rõ điều đó thay vì suy đoán.

Chặn

Một khối User-agent chỉ định AutoPSEO-Bot với Disallow: / sẽ dừng trình thu thập dữ liệu ở lần chạy tiếp theo, và các quy tắc Allow trong khối đó vẫn được tuân thủ như bình thường. Các URL bị chặn sẽ được báo cáo trong lượt chạy là bị robots.txt chặn thay vì âm thầm bị bỏ qua, nên một lượt kiểm tra đột nhiên không trả về gì cũng dễ giải thích.