Google Search Console의 Coverage / Pages 보고서 오류란 무엇인가요?
색인 생성 문제
Coverage 보고서는 이제 Page indexing이라는 이름으로 바뀌었으며, Indexing > Pages에서 확인할 수 있습니다. 이 보고서는 Google이 알고 있는 URL을 색인된 페이지와 색인되지 않은 페이지로 나누고, 색인되지 않은 페이지마다 그 사유를 알려 줍니다. 일부 사유는 원하는 페이지가 Google에 노출되지 못하게 하는 진짜 오류입니다. 서버 장애, 잘못된 리디렉션, 접근 차단 등이 여기에 해당합니다. 반면 Google이 의도대로 동작한 결과인 사유도 있습니다. 보고서를 제대로 정리하려면 이 둘을 구분한 다음, URL을 하나씩 고치는 대신 템플릿 단위로 원인을 해결해야 합니다.
실제 오류에 해당하는 사유
| 보고서의 사유 | 발생한 상황 | 해결 방법 |
|---|---|---|
| Server error (5xx) | Googlebot이 요청했을 때 서버에 장애가 발생함 | Crawl stats에서 호스트 상태를 확인한 뒤 URL Inspection에서 해당 URL을 실시간으로 테스트하세요 |
| Redirect error | 리디렉션 체인이 너무 길거나, 루프가 있거나, URL이 너무 길거나, 체인 안에 빈 URL이 있음 | 이전 URL마다 리디렉션 한 번으로 최종 목적지를 직접 가리키도록 하세요 |
| Blocked due to unauthorized request (401) | 페이지에 로그인이 필요함 | 공개되어야 하는 페이지라면 로그인 요구를 없애세요 |
| Blocked due to access forbidden (403) | 서버가 Googlebot의 접근을 거부함 | Googlebot을 허용하세요. Googlebot은 인증 정보를 전송하지 않습니다 |
| Blocked due to other 4xx issue | 그 밖의 클라이언트 오류 | URL을 검사하여 정확한 응답을 확인하세요 |
| URL blocked by robots.txt | robots.txt 규칙이 크롤링을 막고 있음 | 페이지가 색인되어야 한다면 해당 규칙을 제거하세요 |
| Not found (404) | URL이 더 이상 존재하지 않음 | 콘텐츠를 이전했다면 리디렉션하고, 의도적으로 삭제했다면 그대로 두세요 |
| Soft 404 | 페이지가 200을 반환하지만 오류 페이지나 빈 페이지처럼 보임 | 올바른 404를 반환하거나 페이지에 실제 콘텐츠를 채우세요 |
최종 페이지가 브라우저에서 정상적으로 열리더라도 Redirect error는 자세히 살펴볼 필요가 있습니다. Google의 크롤러는 리디렉션을 최대 10번까지만 따라가며, 단계마다 요청이 한 번씩 소모되기 때문입니다.
대체로 문제없는 사유
URL marked 'noindex', Page with redirect, Alternate page with proper canonical tag, Duplicate without user-selected canonical은 일반적으로 그 자체로는 색인되지 않아야 하는 페이지를 가리킵니다. 각각 의도한 상태인지 확인한 뒤 그대로 두면 됩니다. "currently not indexed" 계열의 두 가지 사유는 그 중간에 있습니다. 오류는 아니지만 중요한 페이지라면 검토할 가치가 있습니다. 분류 방법은 제외된 페이지에서 확인하세요.
보고서를 처리하는 방법
- 중요한 페이지부터 시작하세요. 보고서를 sitemap으로 필터링하면 Google이 찾아낸 온갖 불필요한 파라미터 URL 대신 중요한 URL을 볼 수 있습니다.
- 사유를 열어 예시를 확인하세요. 목록에는 최대 1,000개의 샘플 URL이 표시되며, 전체를 빠짐없이 보여 주지는 않을 수 있습니다.
- URL 두세 개를 URL Inspection 도구로 검사하여 Googlebot이 실제로 받은 응답을 확인하세요.
- 문제의 원인이 있는 곳에서 해결하세요. 대개 템플릿, 서버 규칙 또는 리디렉션 맵이 원인입니다.
- Validate fix를 선택하세요. Google은 먼저 샘플 페이지 몇 개를 다시 확인하고, 문제가 남아 있으면 Failed로 중단합니다. 그렇지 않으면 상태가 Started, Looking good을 거쳐 Passed로 바뀌며, 보통 최대 2주 정도 걸립니다.
모든 URL이 색인되는 것을 목표로 삼지 마세요. Google 자체 가이드에 따르면 "색인되지 않음"이 반드시 나쁜 것은 아니며, 페이지 수가 500개 미만인 사이트는 이 보고서가 필요하지 않을 가능성이 큽니다. 반드시 색인되도록 챙겨야 한다고 Google이 강력히 권하는 페이지는 홈페이지입니다.
개별 사유를 더 자세히 알아보려면 404 오류, soft 404, 리디렉션이 있는 페이지, Crawled – currently not indexed를 참고하세요.
AutoPSEO가 도와드리는 방법
Search Console의 검사 도구는 한 번에 URL 하나만 확인합니다. AutoPSEO의 URL Inspection은 sitemap, 붙여넣은 목록 또는 파일에서 한 번에 최대 500개의 URL을 받아 처리합니다. 이는 속성당 하루 2,000건이라는 Google의 검사 할당량 안에서 이루어지며, 각 URL의 상태, 커버리지 상태, 마지막 크롤링 날짜, Google이 선택한 canonical이 사용자가 지정한 canonical과 일치하는지를 반환합니다. 결과는 검색할 수 있고 CSV로 내보낼 수 있습니다. Index Tracker는 중요한 페이지에 대해 이러한 확인을 매일 반복하고, 색인에서 빠졌거나 새로 추가된 모든 페이지를 해당 날짜와 함께 보여 줍니다.
출처: Google의 Page indexing report help, HTTP status codes and Google's crawlers, URL Inspection API limits.