"Crawled – currently not indexed"는 무슨 뜻인가요?
제출 및 색인 생성
Googlebot이 페이지를 가져온 뒤, 적어도 현재로서는 색인에 추가하지 않기로 했다는 뜻입니다. 기술적으로 문제가 있는 것은 아닙니다. 페이지에 접근할 수 있었고 크롤링도 허용되어 있었습니다. Google은 이런 페이지도 나중에 색인될 수 있으며 다시 제출할 필요는 없다고 안내합니다. 이 사유로 분류된 URL이 많이 쌓인다면, 대개 그 페이지들이 Google에 이미 있는 내용 외에 더할 것이 너무 적다는 신호입니다.
단일 URL 확인 방법
- Search Console 상단의 검사 입력창에 URL을 붙여넣습니다.
- 페이지 색인 생성 섹션에서 사유와 마지막 크롤링 날짜를 확인합니다. 여기에 날짜가 표시된다는 점이 이 상태를 Discovered – currently not indexed와 구분해 줍니다. 후자는 Google이 페이지를 아예 가져오지 않은 경우입니다.
- Google이 선택한 canonical을 살펴봅니다. Google이 다른 URL을 선택했다면 품질 판단이 아니라 중복 문제이며, 해결 방법도 다릅니다. canonical URL을 참고하세요.
- 라이브 URL 테스트를 실행하고 테스트된 페이지를 확인합니다. 스크린샷이나 HTML에 핵심 콘텐츠가 없다면, 예를 들어 JavaScript 렌더링에 실패한 경우처럼 Google이 빈 템플릿을 색인하고 있을 수 있습니다.
주요 원인
- 거의 동일한 페이지. 단어 하나만 다른 지역별 또는 상품 옵션별 페이지, 태그와 아카이브 페이지, 내부 검색 결과 등이 해당합니다.
- 다른 곳에서도 볼 수 있는 콘텐츠. 제조사 제공 설명, 배포된 기사, 또는 사이트 내 더 강력한 페이지가 이미 다루고 있는 내용을 요약한 페이지입니다.
- 약한 내부 링크. 사이트맵으로만 접근할 수 있거나 페이지네이션 깊숙이 묻혀 있는 페이지는, 사이트 운영자도 그 페이지를 중요하게 여기지 않는다는 신호를 줍니다.
- 오류처럼 보이는 빈약한 페이지. 비어 있는 카테고리나 설명이 없는 상품 페이지는 soft 404로 취급될 가능성이 있습니다.
대처 방법
- 해당 페이지를 색인할 필요가 있는지 먼저 판단합니다. 필터 뷰, 태그 페이지, 내용이 빈약한 아카이브는 색인에서 제외하는 편이 나은 경우가 많습니다. 그렇다면
noindex를 적용하거나 링크를 걸지 않고 넘어가세요. - 색인할 가치가 있는 페이지로 만듭니다. 데이터, 단계별 안내, 답변, 사진, 가격처럼 그 페이지만의 구체적인 내용을 담으세요. 두 페이지가 같은 주제를 다루고 있다면 하나로 합치고 나머지는 301 리디렉션합니다.
- 색인된 관련 페이지에서 링크를 연결합니다. 내비게이션에서만 연결하지 말고, 내용을 설명하는 앵커 텍스트를 사용하세요.
- 페이지를 수정한 뒤에만 재크롤링을 요청합니다. 중요한 URL 몇 개는 URL 검사의 색인 생성 요청을 이용하고(일일 한도가 있습니다), URL이 많다면 사이트맵의
<lastmod>를 갱신하세요. Google은 요청 후 색인되기까지 보통 하루 정도, 길면 1~2주가 걸릴 수 있으며 색인이 보장되는 것은 아니라고 설명합니다. - 개별 URL보다 추이를 확인합니다. 규모가 있는 사이트라면 이 상태의 페이지가 몇 개 있는 것은 정상입니다. 비슷한 페이지를 한꺼번에 게시한 뒤 이 수가 꾸준히 늘어난다면 조치가 필요하다는 신호입니다.
Google이 페이지를 아예 가져오지 않은 관련 상태는 Discovered – currently not indexed를 참고하세요. 색인 문제 전반을 단계별로 살펴보려면 기술적 색인 문제 플레이북을 확인하세요.
AutoPSEO가 도와드리는 방법
Index Tracker는 Google의 URL Inspection API를 통해 속성당 최대 1,800개의 URL을 다시 검사합니다. 따라서 개선한 페이지가 마침내 색인됨 상태로 바뀌는 시점을 확인할 수 있고, 추적 중인 페이지의 상태가 바뀌면 색인 전환 알림을 Slack, Teams 또는 웹훅으로 보낼 수 있습니다. AutoPSEO의 콘텐츠 엔진은 원인 자체에도 대응합니다. 글을 쓰기 전에 계획된 각 주제를 사이트에 이미 있는 가장 가까운 페이지 다섯 개와 대조해 검토하고, 이미 사이트에서 다루는 주제라면 거절하거나 기존 페이지에 새 섹션으로 추가해 또 하나의 빈약한 페이지가 생기지 않도록 합니다. 콘텐츠 엔진의 주제를 참고하세요.
출처: Google의 페이지 색인 생성 보고서 도움말 및 URL 검사 도구 도움말.