"Discovered – currently not indexed" nghĩa là gì?

Google đã tìm thấy URL, thông qua một liên kết hoặc một sitemap, nhưng chưa tải về, nên URL Inspection không hiển thị ngày thu thập dữ liệu gần nhất. Theo giải thích của Google, thông thường họ hoãn việc thu thập để tránh làm quá tải trang web của bạn. Một vài trang mới ở trạng thái này là bình thường và sẽ tự được giải quyết. Hàng nghìn URL nằm yên ở đây suốt nhiều tuần cho thấy máy chủ không đáp ứng kịp, hoặc trang web tạo ra nhiều URL hơn mức Google muốn thu thập.

Vì sao Google hoãn việc thu thập dữ liệu

Google quyết định lượng dữ liệu cần thu thập dựa trên hai yếu tố:

• Crawl capacity (khả năng thu thập). Lượng thu thập mà máy chủ của bạn chịu được. Phản hồi nhanh và ổn định làm tăng giá trị này; phản hồi chậm, lỗi 5xx và phản hồi 429 làm giảm giá trị này.
• Crawl demand (nhu cầu thu thập). Mức độ Google muốn lấy các URL của bạn: chúng phổ biến đến đâu, thay đổi thường xuyên ra sao, và bao nhiêu phần trong kho URL của bạn có vẻ đáng để tải. URL trùng lặp và URL giá trị thấp làm lãng phí nhu cầu này.

Mỗi hostname được coi là một trang web riêng, nên www.example.com và shop.example.com được thu thập độc lập với nhau.

Đây có phải là vấn đề với trang web của bạn không?

Cách để các trang được thu thập

1. Kiểm tra máy chủ trước. Mở Settings > Crawl stats và xem trạng thái host cùng thời gian phản hồi trung bình. Hãy sửa lỗi máy chủ và phản hồi chậm trước mọi việc khác. Xem Crawl stats.
2. Loại bỏ những URL không nên tồn tại. Chặn việc thu thập các biến thể lọc và sắp xếp trong robots.txt, trả về 404 hoặc 410 cho các trang đã gỡ, sửa lỗi soft 404 và rút ngắn chuỗi chuyển hướng. Đừng dựa vào noindex trong trường hợp này: Google vẫn phải yêu cầu trang thì mới thấy được thẻ đó.
3. Đặt liên kết tới các trang quan trọng từ những trang đã được thu thập và lập chỉ mục. Một URL chỉ được biết đến qua sitemap có trọng số rất thấp.
4. Giữ sitemap sạch. Chỉ liệt kê các URL canonical, có thể lập chỉ mục, kèm <lastmod> chính xác khi nội dung thay đổi.
5. Dùng yêu cầu lập chỉ mục có chừng mực. Nút Request indexing của URL Inspection hữu ích với một số ít trang ưu tiên, trong giới hạn hằng ngày. Nó không giải quyết được tình trạng tồn đọng trên toàn trang web.

Nếu số lượng không giảm sau khi máy chủ đã ổn định và kho URL đã được dọn sạch, hãy xem xét liệu các trang có đáng để thu thập hay không: nhu cầu còn phụ thuộc vào mức độ hữu ích và phổ biến mà Google đánh giá cho chúng. Sau khi được thu thập, một trang vẫn có thể rơi vào trạng thái Crawled – currently not indexed. Để có cái nhìn tổng quan hơn, xem crawl budget.

AutoPSEO hỗ trợ như thế nào

Báo cáo Sitemap Performance kết hợp danh sách URL của từng sitemap với dữ liệu trang trong Search Console của bạn, cho thấy có bao nhiêu URL được liệt kê đang nhận được lượt nhấp, bao nhiêu URL không có lượt nhấp nào và bao nhiêu URL không bao giờ xuất hiện trong Search Console, đây chính là nơi các trang chưa được phát hiện và chưa được thu thập ẩn náu. Sau đó, Index Tracker kiểm tra hằng ngày các URL bạn quan tâm thông qua URL Inspection API và ghi lại ngày đầu tiên mỗi URL được lập chỉ mục, giúp bạn biết các trang mới trên trang web của mình mất bao lâu để được lập chỉ mục.

Nguồn: Page indexing report help, crawl budget guide và URL Inspection tool help của Google.