Google Search Console 페이지 보고서에서 "제외됨"은 무엇을 의미하나요?
색인 생성 문제
"제외됨"은 예전 Coverage 보고서에서 Google이 알고 있지만 색인하지 않은 URL, 대개는 의도적으로 색인하지 않은 URL을 부르던 이름입니다. 현재의 페이지 색인 생성 보고서는 이러한 URL을 색인이 생성되지 않음이라는 하나의 그룹으로 묶고 URL마다 사유를 표시합니다. 이 사유 대부분은 정상적인 사이트에서도 흔히 나타납니다. 리디렉션, 표준 URL을 가리키는 중복 페이지, noindex로 지정한 페이지 등이 그 예입니다. 해야 할 일은 이 목록에 있는 URL이 모두 예상한 대상인지 확인하는 것입니다.
정상인가, 문제인가?
| 사유 | 일반적인 판단 | 확인할 사항 |
|---|---|---|
| Page with redirect | 정상 | 리디렉션이 의도한 것이며, 이전 URL이 아니라 대상 URL로 링크하고 있는지 |
| Alternate page with proper canonical tag | 정상 | 가리키는 표준 URL이 색인되어 있는지 |
| Duplicate without user-selected canonical | 정상이지만 살펴볼 필요 있음 | Google이 직접 선택했을 URL과 같은 URL을 골랐는지, 아니라면 canonical 태그를 추가 |
| Duplicate, Google chose different canonical than user | 살펴볼 필요 있음 | 링크, 사이트맵, 리디렉션 등의 신호가 서로 일치하는지. 표준 URL 참고 |
| URL marked 'noindex' | 직접 추가했다면 정상 | 스테이징에서 출시한 직후 등에 중요한 페이지에 실수로 태그가 남아 있지 않은지 |
| URL blocked by robots.txt | 의도한 경우 정상 | 규칙이 필요한 페이지나 리소스를 차단하지 않는지 |
| Not found (404) | 삭제 후라면 정상 | 중요한 페이지가 이 URL로 링크하지 않는지, 이동한 콘텐츠는 리디렉션했는지 |
| Soft 404 | 문제 | 페이지에 실제 콘텐츠가 있는지, 아니면 실제 404를 반환하는지 |
| Crawled – currently not indexed | 살펴볼 필요 있음 | 색인할 가치가 있는 페이지인지. 이 사유 참고 |
| Discovered – currently not indexed | 수가 많다면 살펴볼 필요 있음 | 서버와 URL 목록이 정상 상태인지. 이 사유 참고 |
놓치기 쉬운 점이 두 가지 있습니다. 첫째, robots.txt로 차단된 페이지도 다른 사이트에서 링크하면 색인될 수 있습니다. Google은 가져오도록 허용되지 않은 페이지의 noindex를 볼 수 없기 때문입니다. 페이지를 검색결과에서 확실히 제외하려면 크롤링을 허용하고 noindex를 사용하세요. 둘째, noindex 페이지를 robots.txt에서도 차단하면 태그가 보이지 않게 되므로, 차단이 태그의 효과를 없애 버립니다.
목록을 빠르게 검토하는 방법
- 색인 생성 > 페이지에서 사이트맵으로 필터링합니다. 사이트맵에는 색인되길 원하는 페이지만 있어야 하므로, 색인이 생성되지 않음에 나타나는 사이트맵 URL은 모두 사유를 따져 봐야 합니다.
- 사유를 하나씩 열어 예시에서 폴더, 매개변수, 템플릿 같은 패턴을 찾습니다.
- 패턴마다 예시 하나를 URL 검사로 확인해 Google이 선택한 표준 URL과 색인 허용 여부를 살펴봅니다.
- 패턴은 원인이 되는 곳에서 한 번에 수정하고, 보고서에 수정사항 검증이 표시되면 이를 사용합니다.
특정 사유가 갑자기 늘어나는 것이 가장 분명한 경고 신호입니다. 템플릿에 noindex를 추가한 배포나 한 섹션 전체를 리디렉션하는 규칙은 트래픽 데이터에 반영되기 며칠 전에 이 보고서에 단계적 변화로 먼저 나타납니다. 명백한 오류에 해당하는 사유는 Coverage / Pages 오류를 참고하세요.
AutoPSEO가 도움이 되는 부분
Search Console은 현재의 개수만 보여 줄 뿐, 중요한 페이지 중 어느 것이 방금 색인에서 빠졌는지는 알려 주지 않습니다. AutoPSEO의 Index Tracker는 사이트맵에서 가져온 URL이나 클릭 수 기준 상위 페이지 중 사용자가 고른 URL을 매일 검사하며, 추적 중인 페이지가 색인됨과 색인되지 않음 사이를 오가면 색인 변경 알림을 Slack, Teams 또는 웹훅으로 보냅니다. 일회성 감사에는 일괄 URL 검사로 목록 전체의 커버리지 상태와 표준 URL을 한 번에 확인할 수 있습니다.
출처: Google의 페이지 색인 생성 보고서 도움말 및 URL 검사 도구 도움말.