Google Search Console에서 크롤 예산을 확인할 수 있나요?

Q: Google Search Console에서 크롤 예산을 확인할 수 있나요?

아니요. Search Console에는 크롤 예산 수치가 없습니다. 크롤 예산이 무엇인지, 내 사이트에서 신경 써야 하는지, 어떤 보고서에서 경고 신호를 확인할 수 있는지 알아보세요.

아니요. Search Console에는 크롤 예산 수치가 없습니다. 크롤 예산은 고정된 할당량이 아니기 때문입니다. Google은 크롤 예산을 Google이 사이트에서 크롤할 수 있고 크롤하고 싶어 하는 URL의 집합으로 설명하며, 이는 서버가 감당할 수 있는 크롤링의 양과 Google이 내 페이지를 얼마나 원하는지에 따라 정해집니다. 대부분의 사이트는 이 문제를 따로 고민할 필요가 없습니다. 이 주제에 대한 Google의 가이드도 페이지가 100만 개를 넘거나, 매일 변경되는 페이지가 1만 개를 넘는 사이트를 대상으로 작성되었습니다.

크롤 예산을 결정하는 요소

크롤링 용량 한도. Google이 열 수 있는 연결 수와 연결을 유지하는 시간입니다. 모든 사이트는 동일한 보수적인 설정에서 시작하며, 서버가 빠르게 응답하면 한도가 올라가고 응답이 느리거나 5xx 오류, 429 속도 제한이 발생하면 내려갑니다.
크롤링 수요. Google이 내 URL을 얼마나 원하는지를 뜻합니다. URL의 인기도, 콘텐츠가 얼마나 빨리 오래된 것이 되는지, URL 목록 중 크롤할 가치가 있어 보이는 비율이 영향을 줍니다. 중복되거나 불필요한 URL은 수요를 낭비합니다. 사이트를 이전하면 한동안 수요가 높아집니다.

호스트 이름마다 별도의 예산이 있으므로 www.example.com과 shop.example.com은 따로 크롤됩니다.

내 사이트에서 신경 써야 할까요?

Google은 세 가지 상황을 언급하며, 이를 엄격한 기준이 아니라 대략적인 추정치라고 설명합니다.

고유 페이지가 100만 개를 넘고 콘텐츠가 대략 매주 바뀌는 사이트
고유 페이지가 1만 개를 넘고 콘텐츠가 매일 바뀌는 사이트
URL의 상당수가 발견됨 - 현재 색인이 생성되지 않음 상태에 머물러 있는 사이트

새 페이지가 보통 게시한 당일에 크롤된다면 크롤 예산은 문제가 아닙니다. 이 경우 색인되지 않는 페이지는 중복, 품질, 설정 문제 때문일 가능성이 훨씬 큽니다.

Search Console에서 경고 신호를 확인하는 곳

크롤 통계(설정 아래): 요청 수는 줄어드는데 응답 시간은 늘어나는 경우, 호스트 상태 문제, 그리고 검색 크롤링과 새로고침 크롤링의 비율을 확인할 수 있습니다. 크롤 통계를 참고하세요.
페이지 색인 생성: 발견됨 - 현재 색인이 생성되지 않음 건수가 많거나 계속 늘어나는 경우입니다. 해당 사유에 대한 설명을 참고하세요.
URL 검사: 호스트 부하 초과 메시지는 서버가 한계에 도달해 Google이 크롤링을 자제했다는 뜻입니다.

크롤링 효율을 높이는 방법

중복 페이지를 통합하세요. 그래야 Google이 고유한 페이지를 크롤하는 데 크롤링을 쓸 수 있습니다.
크롤할 필요가 없는 URL은 robots.txt로 차단하세요. 같은 목록을 정렬하거나 필터링한 변형 페이지가 그 예입니다.
영구적으로 사라진 페이지는 404 또는 410을 반환하세요. 계속 크롤되는 소프트 404도 수정하세요.
사이트맵을 최신 상태로 유지하세요. 변경된 페이지에는 <lastmod>를 넣으세요.
긴 리디렉션 체인을 피하고 페이지가 빠르게 제공되도록 하세요. 변경되지 않은 페이지에 304 Not Modified를 지원하면 대역폭을 절약할 수 있습니다.

흔히 쓰이지만 효과가 없는 방법이 두 가지 있습니다. noindex는 크롤 예산을 절약해 주지 않습니다. Google이 태그를 확인하려면 어차피 해당 페이지를 요청해야 하기 때문입니다. 또한 robots.txt로 페이지를 차단해도, 사이트가 이미 크롤링 용량 한도에 도달한 상태가 아니라면 그 몫이 다른 페이지로 넘어가지 않습니다. 예산 자체를 늘리려면 호스트 부하 초과가 나타날 때 서버 용량을 늘리고, 크롤할 가치가 있는 콘텐츠를 만드세요.

AutoPSEO의 지원 방식

Index Tracker는 추적 중인 URL을 Google이 마지막으로 크롤한 시점에 따라, 1주일 이내부터 120일 초과까지 구간별로 묶어 보여 주고, 색인되었지만 120일 이상 크롤되지 않은 페이지를 표시합니다. 이는 특정 섹션이 생각보다 덜 크롤되고 있다는 실질적인 신호입니다. AutoPSEO의 콘텐츠 엔진은 URL 목록을 간결하게 유지하는 데도 도움이 됩니다. 계획된 각 주제는 글을 쓰기 전에 기존 페이지와 대조해 확인하며, 같은 검색어에 답하는 두 페이지는 하나로 합치고 이전 주소는 남겨 둘 페이지로 리디렉션할 수 있습니다. 콘텐츠 엔진의 주제를 참고하세요.

출처: Google의 크롤 예산 가이드 및 크롤 통계 보고서 도움말.