크롤러
AutoPSEO-Bot
AutoPSEO-Bot은 계정 내 사용자가 온페이지 검사를 실행할 때만 페이지를 가져오며, 그 외에는 접근하지 않습니다.
식별 방법
요청에는 사용자 에이전트 AutoPSEO-Bot/1.0 (On-Page SEO Checker)가 포함되며, 온페이지 검사기는 여기에 이 페이지로 연결되는 링크를 덧붙입니다. 크롤러는 Cloudflare Workers에서 실행되므로 발신 IP는 Cloudflare 대역에서 나오며 예고 없이 변경됩니다. IP 허용 목록이 아닌 사용자 에이전트 문자열을 기준으로 판별하세요.
요청 내용
URL당 GET 요청 한 번, 그 외에는 아무것도 요청하지 않습니다. JavaScript를 실행하지 않으므로 서버가 반환하는 HTML을 있는 그대로 확인합니다.
- GET만 사용하며 POST 등 다른 메서드는 사용하지 않음
- text/html을 허용하고, 최대 5회까지 리디렉션을 따라가며, 8초가 지나면 중단함
- 동시 요청은 최대 5개
- HTML을 약 1MB까지만 읽음
- 공개된 http 및 https 호스트만 대상으로 하며, 사설 및 루프백 주소는 거부함
실행 시점
검사가 진행되는 동안에만 실행되며, robots.txt와 필요한 사이트맵, 검사 대상 페이지를 가져옵니다. 결과는 24시간 동안 캐시되므로 리포트를 다시 열어도 서버에 부담이 없습니다. 전체 사이트 크롤링은 기본적으로 100페이지로 제한되며, 최대 500페이지, 깊이 3, 페이지당 요청 1회로 제한됩니다.
허용 방법
robots.txt가 모든 에이전트를 허용한다면 별도로 할 일이 없습니다. 알 수 없는 에이전트를 기본적으로 차단하고 있다면, 검사하려는 경로를 허용하는 AutoPSEO-Bot 전용 규칙을 명시적으로 추가하세요. HTTP 인증이 걸린 스테이징 사이트는 단순히 401을 반환하며, 리포트에도 추측 없이 그대로 표시됩니다.
차단 방법
AutoPSEO-Bot을 지정하고 Disallow: /를 포함한 User-agent 블록을 추가하면 다음 실행부터 크롤러가 중단되며, 해당 블록 내 Allow 규칙은 평소와 같이 적용됩니다. 차단된 URL은 자동으로 누락되는 대신 실행 결과에 robots.txt에 의해 차단됨으로 표시되므로, 검사 결과가 갑자기 비어 있어도 원인을 쉽게 파악할 수 있습니다.