Google Search Console에서 robots.txt는 어떻게 확인하나요?
기술 SEO
설정을 열고 robots.txt 보고서로 이동합니다. 이 보고서에는 Google이 사이트에서 찾은 robots.txt 파일, 각 파일을 마지막으로 확인한 시점, 가져오기 성공 여부, 파일 크기, Google이 파싱하지 못한 줄이 표시됩니다. 특정 URL이 차단되어 있는지 알고 싶다면 해당 URL을 검사하고 크롤링 허용됨? 필드를 확인하세요. 예전 가이드에서 설명하는 독립형 robots.txt 테스터는 더 이상 Search Console의 도구가 아닙니다.
보고서에 표시되는 정보
Google의 robots.txt 보고서 도움말에 따르면 다음과 같습니다.
- 도메인 수준 속성에서만 사용할 수 있습니다. 즉 도메인 속성이거나, 경로가 없는 URL 접두어 속성(
https://example.com/shop/이 아니라https://example.com/)이어야 합니다. - 도메인 속성에서는 호스트마다 별도의 파일이 있으므로 크롤링 빈도 기준 상위 20개 호스트가 대상입니다.
- 각 파일의 경로, 가져오기 상태, 마지막 확인 시점, 크기(바이트), 문제 수가 표시됩니다. 오류가 있으면 Google이 해당 규칙을 건너뛰고, 경고는 그렇지 않습니다.
- 최근 30일 안에 Google이 가져왔거나 가져오려고 시도한 파일이 표시됩니다.
| 상태 | 의미 |
|---|---|
| 가져옴 | Google이 파일을 받았습니다. 파싱하지 못한 줄은 무시하고 나머지를 사용합니다 |
| 가져오지 못함: 찾을 수 없음(404) | 파일이 없는 상태이며 문제는 아닙니다. Google이 모든 URL을 크롤링할 수 있습니다 |
| 가져오지 못함: 그 외 사유 | 다른 문제가 발생한 것입니다. 아래 표를 참고하세요 |
파일을 변경한 후
Google은 일반적으로 robots.txt를 최대 24시간 동안 캐시하므로 변경 사항이 즉시 반영되지는 않습니다. 중요한 URL의 차단을 해제했거나 가져오기 오류를 수정했다면, 보고서에서 해당 파일의 메뉴를 열고 다시 크롤링 요청을 선택하세요. 그렇지 않다면 요청할 필요가 없습니다. Google은 robots.txt를 자주 다시 가져옵니다.
robots.txt에 문제가 있을 때 Google의 처리 방식
| Google이 받은 응답 | 처리 방식 |
|---|---|
| 2xx 응답 | 규칙이 적용됩니다 |
| 리디렉션 | Google은 최소 5번까지 따라가며, 해결되지 않는 체인은 404로 처리합니다 |
| 429를 제외한 4xx 오류 | 파일이 없는 것으로 간주하므로 차단되는 항목이 없습니다 |
| 5xx 오류 또는 네트워크 장애 | 12시간 동안 크롤링을 중단한 뒤 마지막으로 정상 수신한 사본을 최대 30일간 사용하고, 그 이후에도 사이트가 정상이라면 파일이 없는 것처럼 동작합니다 |
| 500 KiB를 초과하는 파일 | 한도를 넘는 부분은 모두 무시됩니다 |
출처: Google의 robots.txt 해석 방식. 가장 주의해야 할 것은 5xx 행입니다. 이 파일 하나에서만 서버 오류가 나도 사이트 전체의 크롤링이 중단될 수 있습니다.
규칙을 적용하기 전에 테스트하는 방법
- 이미 공개된 URL이라면 URL 검사의 크롤링 허용됨? 필드가 가장 빠른 확인 방법입니다.
- 초안 파일은 로컬에서 테스트할 수 있도록 Google이 개발자에게 안내하는 오픈소스 robots.txt 라이브러리를 사용하세요.
- 규칙이 충돌하면 Google은 가장 구체적인 규칙, 즉 일치하는 경로가 가장 긴 규칙을 적용합니다. 구체성이 같다면 제한이 덜한 규칙이 우선합니다.
robots.txt로 할 수 없는 것
robots.txt는 크롤링을 제어할 뿐, 색인 생성을 제어하지 않습니다. Google은 robots.txt가 페이지를 Google에 노출하지 않는 방법이 아니라고 설명합니다. 차단된 URL도 다른 페이지가 링크하면 설명 없이 색인될 수 있습니다. 페이지를 검색결과에서 제외하려면 URL 삭제에서 설명하는 대로 noindex나 비밀번호를 사용하세요.
AutoPSEO 활용 방법
AutoPSEO의 일괄 URL 검사는 붙여넣은 목록이나 사이트맵을 기준으로 한 번에 최대 500개 URL에 대해 Google이 보고하는 robots.txt 상태를 보여줍니다. 규칙을 바꾼 뒤 특정 섹션 전체가 실수로 차단되지 않았는지 빠르게 확인할 수 있습니다.