Google Search Console에서 크롤링 통계 보고서는 어디에 있나요?
기술 SEO
크롤링 통계는 Search Console의 왼쪽 메뉴에 없습니다. 설정(톱니바퀴 아이콘)을 열고 크롤링 통계를 선택해 보고서를 여세요. 이 보고서는 루트 수준 속성에만 있습니다. example.com 같은 도메인 속성이나 https://example.com/ 같은 루트 URL 접두어 속성이 해당합니다. https://example.com/blog/ 같은 폴더 속성에는 이 보고서가 없습니다. Google은 페이지가 1,000개 미만인 사이트에는 이 보고서가 거의 필요하지 않다고 설명합니다.
여는 방법
- 도메인 속성 또는 루트 URL 접두어 속성으로 전환합니다. 폴더 수준 속성만 있다면 해당 사이트의 도메인 속성을 추가하세요.
- 메뉴 하단의 설정을 선택합니다.
- 설정 페이지에서 크롤링 통계를 찾아 보고서를 엽니다.
보고서에서 확인할 수 있는 내용
상단 차트에는 하루 단위로 세 가지 합계가 표시됩니다.
- 총 크롤링 요청: Googlebot이 보낸 모든 요청이며, 성공 여부는 따지지 않습니다. 같은 URL을 반복해서 요청하면 요청할 때마다 집계되고, 리디렉션 체인의 각 단계도 하나씩 집계됩니다.
- 총 다운로드 크기: 가져온 바이트 수입니다. 여러 페이지가 캐시해서 함께 쓰는 리소스는 한 번만 가져옵니다.
- 평균 응답 시간: 가져온 모든 리소스의 평균이며, 페이지 리소스는 각각 따로 계산합니다.
그 아래의 호스트 상태에서는 최근 90일 동안 세 가지를 확인합니다. robots.txt를 가져올 수 있었는지, DNS가 확인되었는지, 서버가 응답했는지입니다. 항목마다 녹색 표시, 일주일 넘게 지난 문제, 최근 일주일 안의 문제 중 하나로 나타납니다.
그다음에는 요청 비율을 기준으로 한 네 가지 분류가 나옵니다.
| 분류 | 나누는 기준 | 확인할 점 |
|---|---|---|
| 응답별 | 200, 301/308, 302/307, 304, 404, 5xx, DNS 및 가져오기 오류 | 5xx, 시간 초과, "페이지에 연결할 수 없음"의 비율 증가 |
| 파일 형식별 | HTML, 이미지, JavaScript, CSS, JSON, PDF 등 | 템플릿이나 앱을 변경한 뒤 특정 형식이 급증하는지 |
| 목적별 | 검색(아직 크롤링하지 않은 URL) 또는 새로고침(재크롤링) | 새 페이지를 많이 게시하는데 검색 비중이 낮은지 |
| Googlebot 유형별 | 스마트폰, 데스크톱, 이미지, 동영상, 페이지 리소스 로드, AdsBot, StoreBot | AdsBot 급증. 대개 동적 검색 광고 타겟 때문에 발생합니다 |
Google은 404를 "문제없을 수 있음"으로 분류합니다. 삭제된 페이지는 404를 반환하는 것이 정상이므로 모든 404를 고칠 필요는 없습니다.
robots.txt 오류가 크롤링을 멈추는 과정
이 보고서에서는 robots.txt가 무엇보다 중요합니다. 200(빈 파일 포함), 403, 404, 410은 모두 가져오기 성공으로 처리됩니다. 429나 5xx는 실패로 처리되며, 이 경우 다음과 같이 진행됩니다.
- 처음 12시간 동안 Google은 사이트 크롤링을 중단하고 파일을 계속 요청합니다.
- 12시간부터 30일까지는 마지막으로 정상 수신한 사본을 사용합니다.
- 30일이 지나면 홈페이지에 접근할 수 있을 때는 제한 없이 크롤링하고, 접근할 수 없으면 크롤링을 중단합니다.
따라서 호스트 상태에서 robots.txt 항목이 빨간색이면 긴급 상황입니다. 모든 크롤링이 멈출 수 있기 때문입니다.
조치가 필요한 패턴
- 요청은 줄어드는데 응답 시간은 늘어납니다. Google은 서버가 느려지거나 오류를 반환하면 크롤링 속도를 낮춥니다. 무엇보다 먼저 서버를 고치세요.
- Googlebot 때문에 서버에 과부하가 걸립니다. 503이나 429는 짧은 기간에만 반환하세요. 이틀에서 사흘을 넘기면 이후에도 크롤링이 낮게 유지될 수 있습니다.
- 크롤링을 늘리고 싶습니다. 크롤링 증가를 직접 요청할 수는 없습니다. 사이트맵을 최신 상태로 유지하고, 중복 URL과 불필요한 URL을 없애고, 중요한 페이지가 차단되지 않았는지 확인하세요.
- 보고서의 요청 수가 서버 로그보다 많습니다.
robots.txt를 오래 사용할 수 없었을 때 이런 일이 생길 수 있습니다. Google이 실제로 수행했을 크롤링까지 집계하기 때문입니다.
알아 둘 한계가 두 가지 있습니다. 요청은 정규 URL로 통합되지 않고 실제로 가져온 URL 기준으로 표시되며, 다른 도메인에서 호스팅하는 리소스는 나타나지 않습니다. 또한 이 보고서에는 API가 없으므로, URL별로 Googlebot의 방문을 확인할 수 있는 기록은 서버 로그뿐입니다. 이런 요소가 색인 생성에 제약이 되는지 알아보려면 크롤링 예산을 참고하세요.
AutoPSEO 활용 방법
Google API는 크롤링 통계를 제공하지 않으므로 AutoPSEO가 이 보고서를 그대로 가져올 수는 없습니다. 대신 Index Tracker가 추적 중인 각 URL에 대해 Google이 알려 주는 마지막 크롤링 날짜를 기록하고, 색인은 되어 있지만 120일 이상 크롤링되지 않은 페이지를 표시합니다. Bing Webmaster Tools 키를 연결하면 AutoPSEO에서 Bing의 일별 크롤링 통계와 크롤링 문제 목록도 볼 수 있습니다.
출처: Google의 크롤링 통계 보고서 도움말 및 Search Console API 참조.