인덱싱 이해하기: Google이 페이지를 크롤링하고, 색인하고, 보고하는 방식

URL이 발견되어 Google 색인에 들어가기까지의 과정, 페이지 색인 생성 상태별 의미, 그리고 어떤 상태를 수정해야 하는지를 Google 문서를 바탕으로 설명합니다.

인덱싱(색인 생성)은 Google이 페이지를 저장해 검색결과에 표시될 수 있도록 하는 단계입니다. 그러려면 먼저 Google이 URL을 발견하고, 크롤링하고, 대개는 렌더링까지 해야 합니다. 그다음에는 해당 페이지가 다른 URL과 중복되는지, 그리고 보관할 가치가 있는지를 판단합니다. Search Console의 페이지 색인 생성 보고서는 각 URL이 이 경로의 어느 지점에서 멈췄는지, 그리고 Google이 밝힌 이유가 무엇인지를 보여 줍니다.

URL에서 검색결과까지

Google의 검색 작동 방식 설명은 이 과정을 하나씩 점검할 수 있는 단계로 나눕니다.

발견. 웹 페이지의 중앙 목록은 존재하지 않으므로 Google은 새 페이지를 계속 찾아 나섭니다. 대부분은 이미 알고 있는 페이지의 링크와 사이트 소유자가 제출한 사이트맵을 통해 발견합니다.
크롤링. robots.txt가 허용하는 경우 Googlebot이 URL을 가져옵니다. Google은 서버에 과부하가 걸리지 않도록 크롤링 속도를 제한하며, 서버 오류가 발생하면 속도를 더 늦춥니다.
렌더링. 일부 콘텐츠는 스크립트가 실행되어야 나타나므로, Google은 최신 버전의 Chrome으로 페이지의 JavaScript를 실행합니다.
색인 생성. Google은 콘텐츠를 분석하고, 중복이거나 거의 같은 페이지를 묶은 다음, 그중 하나를 표준(canonical) 페이지로 선택해 저장합니다. 콘텐츠 품질이 낮거나 robots 메타 규칙이 금지하는 경우 등에는 페이지를 아예 색인하지 않기로 결정할 수도 있습니다.
게재. 검색할 때마다 Google은 색인에서 결과를 고릅니다. 색인되었다는 것은 표시될 자격이 생겼다는 뜻이지, 반드시 표시된다는 뜻은 아닙니다.

Google은 어떤 페이지에 대해서도 이 단계 중 어느 것도 보장하지 않는다고 분명히 밝힙니다. 사이트 소유자가 할 수 있는 일은 걸림돌을 제거하고, Google이 계속 진행할 만한 좋은 이유를 제공하는 것입니다.

페이지 색인 생성 보고서 읽기

이 보고서는 Google이 알고 있는 URL을 색인 생성됨과 색인이 생성되지 않음으로 나누고, 색인되지 않은 URL 그룹마다 이유를 보여 줍니다(페이지 색인 생성 보고서). 보고서를 읽을 때는 Google의 다음 두 가지 안내를 염두에 두어야 합니다.

색인되지 않았다고 해서 반드시 나쁜 것은 아닙니다. Google은 모든 URL이 색인되기를 기대하지 말라고 안내합니다. 중복 페이지, 리디렉션된 주소, 의미 있는 콘텐츠가 없는 페이지는 색인에서 제외되는 것이 정상입니다. 중요한 것은 핵심 페이지가 색인에 포함되어 있는지입니다.
소스를 확인하세요. 각 이유에는 원인이 웹사이트에 있는지 Google 시스템에 있는지가 표시됩니다. 일반적으로 소스가 "웹사이트"인 이유만 직접 수정할 수 있습니다.

따라서 유용한 질문은 "색인되지 않은 URL 수가 왜 많을까?"가 아닙니다. "내게 필요한 페이지가 이 목록에 있는가, 있다면 왜인가?"입니다.

상태별 의미

Google이 제시하는 이유는 다섯 가지 그룹으로 나뉩니다. 올바른 대응은 정확한 문구보다 어느 그룹에 속하는지에 따라 크게 달라집니다.

색인하지 말라고 Google에 알린 경우

상태	발생한 상황	조치
'noindex' 태그에 의해 제외됨	페이지에 noindex 규칙이 있음	의도한 것이라면 조치 불필요, 순위에 노출되어야 하는 페이지라면 규칙 제거
robots.txt에 의해 차단됨	robots.txt가 Google의 크롤링을 막음	크롤링을 차단해도 페이지가 색인에서 제외된다는 보장은 없음
적절한 표준 태그가 있는 대체 페이지	페이지가 다른 URL을 표준으로 지정했고 Google도 이에 동의함	없음
리디렉션이 있는 페이지	URL이 다른 곳으로 리디렉션되므로 자체는 색인되지 않음	리디렉션 대상이 색인하려는 페이지라면 조치 불필요

Google이 가져오지 못한 경우

상태	발생한 상황	조치
서버 오류(5xx)	서버가 500번대 오류를 반환함	서버를 수정. 오류가 반복되면 크롤링 속도도 느려짐
리디렉션 오류	리디렉션 체인이 너무 길거나, 순환하거나, 잘못되었거나 비어 있는 URL로 연결됨	리디렉션이 최종 URL을 바로 가리키도록 수정
승인되지 않은 요청(401)으로 차단됨, 액세스 금지됨(403) 또는 기타 4xx 문제	페이지가 Googlebot의 접근을 거부함	공개되어야 하는 페이지라면 접근 장벽 제거
찾을 수 없음(404)	URL이 404를 반환함	삭제한 페이지라면 문제없음. 다른 곳에 여전히 존재하는 페이지라면 링크를 수정

Google이 다른 URL을 선택한 경우

상태	발생한 상황	조치
사용자가 선택한 표준 페이지가 없는 중복 페이지	Google이 페이지를 중복으로 보고 다른 표준 페이지를 선택함	대체로 조치 불필요. Google은 이를 의도된 동작으로 봄
중복 페이지, Google이 사용자와 다른 표준 페이지를 선택함	표준 페이지를 지정했지만 Google이 다른 URL을 선호함	신호가 서로 일치하도록 정리(아래 참고)

Google이 아직 결정하지 않은 경우

상태	발생한 상황	조치
발견됨 - 현재 색인이 생성되지 않음	Google이 URL은 알고 있지만 아직 크롤링하지 않음. 사이트 과부하를 피하려고 일정을 미룬 경우가 많음	이미 크롤링되는 페이지에서 링크를 연결. 매우 큰 사이트라면 크롤링을 관리
크롤링됨 - 현재 색인이 생성되지 않음	Google이 페이지를 크롤링했지만 색인하지 않았으며, 앞으로 색인할지는 불확실함	페이지를 명확하게 유용하고 차별화되도록 개선하거나, 더 강한 페이지에 통합

콘텐츠에 문제가 있어 보이는 경우

상태	발생한 상황	조치
소프트 404	페이지가 200을 반환하지만 오류 페이지나 빈 페이지처럼 보임	없는 페이지에는 실제 404를 반환하고, 실제 페이지에는 충실한 콘텐츠를 제공
콘텐츠 없이 색인이 생성된 페이지(경고)	색인되었지만 Google이 콘텐츠를 읽지 못함	URL 검사로 Googlebot이 받는 내용을 확인
robots.txt에 의해 차단되었지만 색인이 생성됨(경고)	robots.txt가 차단하는데도 색인됨	색인에서 제외하려면 크롤링을 허용하고 noindex를 추가

마지막 항목은 많은 사람이 놓치는 부분입니다. Google은 크롤링이 허용된 페이지에서만 noindex 규칙을 볼 수 있습니다. 따라서 robots.txt로 페이지를 차단하면서 동시에 noindex를 추가하면 noindex는 읽히지 않습니다(noindex로 색인 생성 차단).

Google이 다른 표준 페이지를 선택할 때

표준(canonical) 태그는 명령이 아니라 신호입니다. Google은 여러 신호를 함께 따져 봅니다. 리디렉션과 rel="canonical"은 강한 신호이고, 사이트맵 포함은 약한 신호이며, HTTP보다 HTTPS 주소를 선호합니다(중복 URL 통합). 예를 들어 표준 태그는 한 URL을 가리키는데 내부 링크와 사이트맵은 다른 URL을 쓰는 것처럼 신호가 서로 어긋나면 Google이 직접 선택합니다. 모든 신호가 같은 URL을 가리키게 하고, 내부 링크도 그 URL로 연결하세요. 표준 페이지를 정하려고 robots.txt나 noindex를 사용해서는 안 됩니다. noindex는 페이지를 검색에서 완전히 제거합니다.

URL 검사로 개별 URL 확인하기

페이지 색인 생성 보고서가 그룹 단위로 보여 준다면, URL 검사는 하나의 URL을 자세히 보여 줍니다(URL 검사 도구). URL이 색인되었는지, 사용자가 선언한 표준 페이지와 Google이 선택한 표준 페이지가 무엇인지, Google이 마지막으로 페이지를 크롤링한 시점과 모바일·데스크톱 중 어떤 user agent로 크롤링했는지, robots.txt가 크롤링을 허용하는지, 가져오기가 성공했는지, 색인 생성이 허용되는지를 알려 줍니다.

주의할 점이 두 가지 있습니다. 첫째, 기본 화면은 마지막으로 색인된 버전을 설명하므로 최신 상태가 아닐 수 있습니다. 라이브 URL 테스트는 페이지를 지금 가져오므로 수정 사항을 확인하는 방법이지만, 라이브 테스트를 통과했다고 해서 색인이 보장되는 것은 아닙니다. 둘째, robots.txt가 크롤링을 차단하면 "색인 생성 허용?"에는 항상 '예'가 표시됩니다. 가져오도록 허용되지 않은 noindex 규칙을 Google이 볼 수 없기 때문입니다.

색인 생성 요청은 Google에 URL을 다시 크롤링해 달라고 요청하는 기능입니다. 일일 할당량이 있으며, Google은 같은 URL에 대해 크롤링을 여러 번 요청해도 더 빨라지지 않는다고 설명합니다(Google에 재크롤링 요청). URL이 많다면 대신 최신 상태의 사이트맵을 제출하세요.

인덱싱에는 얼마나 걸릴까?

Google은 약속 대신 대략적인 범위를 제시합니다. 새 페이지가 색인되기까지는 며칠이 걸릴 수 있으며, 직접 요청한 경우에도 즉시 처리되지는 않습니다. 새 사이트는 크롤링되고 색인되기까지 대략 일주일 안팎이 걸릴 수 있고, 재크롤링은 며칠에서 몇 주까지 걸릴 수 있습니다. 문제를 수정한 뒤 수정 사항 검증을 누르면 확인에는 보통 최대 2주 정도가 걸립니다. 한 달이 지나도 중요한 페이지가 색인되지 않았다면 색인 생성을 다시 요청하기보다 기술적 인덱싱 문제 플레이북을 따라 점검하세요.

Google이 페이지를 찾고 유지하도록 돕기

Google이 이미 크롤링하는 페이지에서 새 페이지로 링크를 연결하세요. 홈페이지, 허브 페이지, 관련 글 등이 좋은 예입니다. 링크는 Google이 URL을 발견하는 주된 방법입니다.
사이트맵에는 표준 URL만 담으세요. 전체 절대 주소로 작성하고, 파일 하나당 최대 50,000개 URL 또는 압축 해제 기준 50MB를 넘기지 마세요. Google은 <lastmod>가 일관되게 정확할 때 이를 활용하며 <priority>와 <changefreq>는 무시합니다(사이트맵 작성).
콘텐츠 하나에는 URL 하나만 부여하세요. 리디렉션, 표준 태그, 사이트맵, 내부 링크가 모두 일치해야 합니다.
삭제한 페이지에는 실제 404 또는 410을 반환하세요. 200 상태의 빈 페이지를 반환해서는 안 됩니다.
크롤링 예산은 대규모 사이트에서만 신경 쓰세요. Google의 크롤링 예산 가이드는 매주 변경되는 페이지가 100만 개를 넘거나, 매일 변경되는 페이지가 1만 개를 넘는 사이트를 대상으로 합니다.

AutoPSEO의 지원 기능

AutoPSEO는 앱 안에서 URL 검사를 실행하며, 이는 속성당 하루 2,000건이라는 Google의 일일 검사 한도에 포함됩니다. Index Tracker는 사용자가 선택한 URL을 최대 1,800개까지 목록으로 관리하고, 하루에 최대 200개를 가장 오래 검사하지 않은 것부터 다시 검사합니다. 최근 30일 안에 색인에서 제외되었거나 120일 동안 크롤링되지 않은 URL이 있으면 경고하며, 추적 중인 URL이 색인에서 빠지거나 다시 들어오면 Slack, Teams 또는 웹훅으로 "Index flip" 알림을 보낼 수 있습니다. IndexNow는 Bing과 IndexNow를 지원하는 다른 검색엔진에 변경 사항을 알립니다. Google은 IndexNow에 참여하지 않으므로, Google에는 사이트맵과 내부 링크가 여전히 주된 경로입니다.

콘텐츠 엔진이 작성한 글은 사용자의 사이트로 전달되며, 사이트는 이를 다른 페이지와 똑같이 게시하고 링크로 연결합니다. 사이트에 IndexNow 키가 선언되어 있으면 AutoPSEO는 호스트의 새 주소나 업데이트된 주소마다 IndexNow에 알립니다(전달).