Google Search Console có hiển thị crawl budget của tôi không?

Không. Search Console không có con số crawl budget nào, vì crawl budget không phải là một mức hạn ngạch cố định. Google mô tả đây là tập hợp các URL mà Google có thể thu thập và muốn thu thập trên trang web của bạn, được quyết định bởi lượng thu thập mà máy chủ của bạn chịu được và mức độ Google muốn thu thập các trang của bạn. Hầu hết các trang web không bao giờ cần nghĩ đến vấn đề này: hướng dẫn của Google về chủ đề này được viết cho các trang web có hơn một triệu trang, hoặc hơn 10,000 trang thay đổi hằng ngày.

Điều gì quyết định crawl budget của bạn

• Giới hạn năng lực thu thập (crawl capacity limit). Số kết nối Google mở ra và thời gian Google giữ các kết nối đó. Mọi trang web đều bắt đầu với cùng một mức thiết lập thận trọng; mức này tăng lên khi máy chủ của bạn phản hồi nhanh và giảm xuống khi phản hồi chậm, khi có lỗi 5xx và khi bị giới hạn tốc độ 429.
• Nhu cầu thu thập (crawl demand). Mức độ Google muốn thu thập các URL của bạn: chúng phổ biến đến đâu, lỗi thời nhanh thế nào và bao nhiêu phần trong kho URL của bạn có vẻ đáng thu thập. Các URL trùng lặp và không mong muốn làm lãng phí nhu cầu này. Việc chuyển trang web sẽ làm nhu cầu tăng lên trong một thời gian.

Mỗi hostname có crawl budget riêng, vì vậy www.example.com và shop.example.com được thu thập tách biệt nhau.

Trang web của bạn có cần quan tâm không?

Google nêu ra ba tình huống và gọi đó là các ước lượng sơ bộ chứ không phải ngưỡng cố định:

1. Các trang web có hơn một triệu trang duy nhất mà nội dung thay đổi khoảng mỗi tuần.
2. Các trang web có hơn 10,000 trang duy nhất mà nội dung thay đổi hằng ngày.
3. Các trang web có một tỷ lệ lớn URL nằm ở trạng thái Discovered – currently not indexed (Đã phát hiện – hiện chưa lập chỉ mục).

Nếu các trang mới của bạn thường được thu thập ngay trong ngày bạn xuất bản, thì crawl budget không phải vấn đề của bạn. Khi đó, các trang chưa được lập chỉ mục nhiều khả năng bị cản trở bởi nội dung trùng lặp, chất lượng hoặc cấu hình.

Nơi Search Console cho thấy dấu hiệu cảnh báo

• Crawl stats (trong mục Settings): số yêu cầu giảm trong khi thời gian phản hồi tăng, các sự cố về trạng thái máy chủ và tỷ lệ giữa thu thập để khám phá và thu thập để làm mới. Xem Crawl stats.
• Page indexing: số lượng Discovered – currently not indexed lớn hoặc ngày càng tăng. Xem giải thích về lý do này.
• URL Inspection: thông báo Hostload exceeded nghĩa là Google đã hạn chế thu thập vì máy chủ của bạn đang ở mức tối đa năng lực.

Cách giúp việc thu thập đi xa hơn

• Hợp nhất các trang trùng lặp, để Google dành lượng thu thập cho các trang duy nhất.
• Chặn các URL không bao giờ nên được thu thập trong robots.txt, chẳng hạn các biến thể sắp xếp hoặc lọc của cùng một danh sách.
• Trả về 404 hoặc 410 cho các trang đã biến mất vĩnh viễn, và sửa các soft 404, vốn cứ bị thu thập mãi.
• Luôn cập nhật sitemap, kèm <lastmod> cho các trang có thay đổi.
• Tránh chuỗi chuyển hướng dài, và làm cho trang được phục vụ nhanh; hỗ trợ 304 Not Modified giúp tiết kiệm băng thông cho các trang không thay đổi.

Có hai chiến thuật phổ biến không hiệu quả. noindex không tiết kiệm crawl budget, vì Google vẫn phải yêu cầu trang để thấy thẻ đó. Và việc chặn trang trong robots.txt không chuyển phần thu thập của chúng sang các trang khác, trừ khi trang web của bạn đã chạm giới hạn năng lực. Để tăng chính crawl budget, hãy bổ sung năng lực máy chủ khi bạn thấy Hostload exceeded, và làm cho nội dung đáng để thu thập.

AutoPSEO giúp ích như thế nào

Index Tracker nhóm các URL bạn theo dõi theo thời điểm Google thu thập lần gần nhất, từ trong vòng một tuần đến hơn 120 ngày, và đánh dấu các trang đã lập chỉ mục nhưng không được thu thập trong 120 ngày trở lên: dấu hiệu thực tế cho thấy một mục của trang web được thu thập ít hơn bạn tưởng. Công cụ nội dung của AutoPSEO cũng giúp kho URL của bạn gọn gàng. Mỗi chủ đề đã lên kế hoạch được đối chiếu với các trang hiện có của bạn trước khi viết bất cứ nội dung nào, và hai trang trả lời cùng một nhóm tìm kiếm có thể được gộp lại, với địa chỉ cũ được chuyển hướng đến trang được giữ lại. Xem các chủ đề trong công cụ nội dung.

Nguồn: hướng dẫn crawl budget và trang trợ giúp báo cáo Crawl stats của Google.