"발견됨 - 현재 색인이 생성되지 않음"은 무슨 뜻인가요?

Google이 링크나 사이트맵을 통해 URL을 발견했지만 아직 가져오지 않은 상태입니다. 그래서 URL 검사에는 마지막 크롤링 날짜가 표시되지 않습니다. Google은 사이트에 과부하가 걸리지 않도록 크롤링을 미룬 경우가 대부분이라고 설명합니다. 새 페이지 몇 개가 이 상태에 있는 것은 정상이며 저절로 해결됩니다. 반면 수천 개의 URL이 몇 주째 이 상태에 머물러 있다면 서버가 요청을 감당하지 못하고 있거나, 사이트가 Google이 크롤링하려는 양보다 더 많은 URL을 만들어내고 있다는 신호입니다.

Google이 크롤링을 미루는 이유

Google은 두 가지를 기준으로 크롤링 양을 결정합니다.

• 크롤링 용량. 서버가 감당할 수 있는 크롤링의 양입니다. 응답이 빠르고 안정적이면 용량이 늘어나고, 응답이 느리거나 5xx 오류, 429 응답이 발생하면 줄어듭니다.
• 크롤링 수요. Google이 해당 URL을 얼마나 원하는지를 말합니다. URL의 인기도, 변경 빈도, 전체 URL 중 가져올 가치가 있어 보이는 비율에 따라 달라집니다. 중복 URL이나 가치가 낮은 URL은 수요를 낭비합니다.

호스트 이름마다 별개의 사이트로 취급되므로 www.example.com과 shop.example.com은 각각 독립적으로 크롤링됩니다.

내 사이트에 문제가 되는 상황인가요?

페이지가 크롤링되도록 하는 방법

1. 서버부터 확인하세요. 설정 > 크롤링 통계를 열어 호스트 상태와 평균 응답 시간을 확인합니다. 무엇보다 먼저 서버 오류와 느린 응답을 해결해야 합니다. 크롤링 통계를 참고하세요.
2. 존재하지 않아야 할 URL을 줄이세요. 패싯 및 정렬 변형 URL은 robots.txt에서 크롤링을 차단하고, 삭제된 페이지는 404 또는 410을 반환하며, soft 404를 수정하고 리디렉션 체인을 줄입니다. 이 경우 noindex에 의존하지 마세요. Google이 태그를 확인하려면 어차피 페이지를 요청해야 하기 때문입니다.
3. 중요한 페이지로 연결되는 링크를 추가하세요. 이미 크롤링되고 색인된 페이지에서 링크를 거세요. 사이트맵으로만 알려진 URL은 비중이 낮습니다.
4. 사이트맵을 깔끔하게 유지하세요. 표준(canonical)이면서 색인 가능한 URL만 나열하고, 콘텐츠가 바뀔 때는 정확한 <lastmod>를 기재합니다.
5. 색인 생성 요청은 꼭 필요할 때만 하세요. URL 검사의 색인 생성 요청은 우선순위가 높은 소수의 페이지에는 도움이 되며 하루 요청 한도가 있습니다. 사이트 전체에 쌓인 적체를 해결해 주지는 못합니다.

서버가 정상이고 URL 목록도 정리했는데 개수가 줄지 않는다면, 해당 페이지가 크롤링할 가치가 있는지 살펴보세요. 수요는 Google이 페이지를 얼마나 유용하고 인기 있다고 판단하는지에도 좌우됩니다. 크롤링된 뒤에도 페이지가 크롤링됨 - 현재 색인이 생성되지 않음 상태가 될 수 있습니다. 전체적인 내용은 크롤링 예산을 참고하세요.

AutoPSEO가 도와드리는 방법

Sitemap Performance 보고서는 각 사이트맵의 URL 목록과 Search Console 페이지 데이터를 결합하여, 목록에 있는 URL 중 클릭이 발생한 URL이 몇 개인지, 클릭이 전혀 없는 URL이 몇 개인지, Search Console에 아예 나타나지 않는 URL이 몇 개인지를 보여줍니다. 발견되지 않았거나 크롤링되지 않은 페이지는 바로 이 마지막 범주에 숨어 있습니다. 이어서 Index Tracker가 URL Inspection API를 통해 중요한 URL을 매일 확인하고 각 URL이 처음 색인된 날짜를 기록하므로, 내 사이트에서 새 페이지가 색인되기까지 얼마나 걸리는지 파악할 수 있습니다.

출처: Google의 페이지 색인 생성 보고서 도움말, 크롤링 예산 가이드, URL 검사 도구 도움말.