Indexación explicada: cómo Google rastrea, indexa e informa sobre las páginas

Cómo viaja una URL desde su descubrimiento hasta el índice de Google, qué significa cada estado de Indexación de páginas y cuáles hay que corregir, según la documentación de Google.

La indexación es el proceso por el que Google almacena una página para que pueda aparecer en los resultados de búsqueda. Antes de que eso ocurra, Google tiene que descubrir la URL, rastrearla y, normalmente, renderizarla. Después decide si la página duplica otra URL y si merece la pena conservarla. El informe de Indexación de páginas de Search Console muestra en qué punto de ese recorrido se detuvo cada una de tus URL y cuál es el motivo según Google.

De la URL al resultado de búsqueda

La descripción de Google sobre cómo funciona la Búsqueda divide el recorrido en pasos que puedes comprobar uno a uno.

Descubrimiento. No existe una lista central de páginas web, así que Google busca continuamente páginas nuevas. Encuentra la mayoría a través de enlaces desde páginas que ya conoce y de los sitemaps que envían los propietarios de los sitios.
Rastreo. Googlebot descarga la URL, siempre que robots.txt lo permita. Google limita la velocidad de rastreo para no sobrecargar tu servidor, y los errores del servidor hacen que la reduzca aún más.
Renderizado. Google ejecuta el JavaScript de la página con una versión reciente de Chrome, porque parte del contenido solo existe después de que se ejecutan los scripts.
Indexación. Google analiza el contenido, agrupa las páginas duplicadas o casi duplicadas, elige una de ellas como canónica y la almacena. Puede decidir no indexar una página en absoluto, por ejemplo porque el contenido es de baja calidad o porque una regla meta robots lo prohíbe.
Publicación de resultados. Para cada búsqueda, Google selecciona resultados del índice. Estar indexada hace que una página pueda aparecer, pero no garantiza que lo haga.

Google deja claro que no garantiza ninguno de estos pasos para ninguna página. Lo que puedes hacer es eliminar los obstáculos y darle buenos motivos para seguir adelante.

Cómo leer el informe de Indexación de páginas

El informe divide las URL que Google conoce en Indexadas y No indexadas, y muestra un motivo para cada grupo de URL no indexadas (informe de Indexación de páginas). Dos ideas de la propia guía de Google deberían marcar cómo lo interpretas:

No estar indexada no es necesariamente malo. Google advierte a los propietarios de sitios de que no esperen que todas las URL se indexen. Los duplicados, las direcciones redirigidas y las páginas sin contenido relevante deben quedarse fuera. Lo importante es que las páginas clave estén dentro.
Fíjate en el origen. Cada motivo indica si la causa está en el sitio web o en los sistemas de Google. En general, solo puedes corregir los motivos cuyo origen es «Sitio web».

Por eso la pregunta útil nunca es «¿por qué tengo tantas páginas no indexadas?», sino «¿hay en esta lista alguna página que necesito y por qué está ahí?».

Qué significa cada estado

Los motivos de Google se agrupan en cinco categorías. La respuesta adecuada depende mucho más de la categoría que de la redacción exacta.

Le has indicado a Google que no la indexe

Estado	Qué ha pasado	Acción
URL marcada como «noindex»	La página lleva una regla noindex	Ninguna si es intencionado; elimina la regla si la página debe posicionarse
URL bloqueada por robots.txt	robots.txt impide que Google la rastree	Bloquear el rastreo no garantiza que la página se mantenga fuera del índice
Página alternativa con etiqueta canónica adecuada	La página apunta a otra URL como canónica y Google está de acuerdo	Ninguna
Página con redirección	La URL redirige a otra parte, así que ella misma no se indexa	Ninguna, siempre que el destino sea la página que quieres indexar

Google no pudo descargarla

Estado	Qué ha pasado	Acción
Error del servidor (5xx)	Tu servidor devolvió un error de la serie 500	Arregla el servidor; los errores repetidos también ralentizan el rastreo
Error de redirección	Una cadena de redirecciones era demasiado larga, entraba en bucle o llevaba a una URL incorrecta o vacía	Haz que la redirección apunte directamente a la URL final
Bloqueada por solicitud no autorizada (401), acceso prohibido (403) u otro problema 4xx	La página rechazó a Googlebot	Elimina la barrera si la página debe ser pública
No se ha encontrado (404)	La URL devolvió un 404	Correcto para páginas eliminadas; corrige los enlaces si la página sigue existiendo en otra ubicación

Google eligió otra URL

Estado	Qué ha pasado	Acción
Duplicada: el usuario no ha indicado ninguna página canónica	Google considera la página un duplicado y eligió una canónica distinta	Normalmente ninguna; Google lo considera un funcionamiento previsto
Duplicada: Google ha elegido una página canónica distinta a la del usuario	Indicaste una canónica, pero Google prefirió otra URL	Haz que tus señales coincidan (consulta más abajo)

Google aún no ha decidido a tu favor

Estado	Qué ha pasado	Acción
Descubierta: actualmente sin indexar	Google conoce la URL pero aún no la ha rastreado, a menudo porque se reprogramó para no sobrecargar el sitio	Enlázala desde páginas ya rastreadas; en sitios muy grandes, gestiona el rastreo
Rastreada: actualmente sin indexar	Google rastreó la página pero no la ha indexado, y puede que la indexe o no en el futuro	Haz que la página sea claramente útil y diferenciada, o fusiónala con una página más sólida

El contenido parece incorrecto

Estado	Qué ha pasado	Acción
Soft 404	La página responde 200 pero parece una página de error o vacía	Devuelve un 404 real para las páginas que no existen, o dale contenido real a las páginas reales
Página indexada sin contenido (advertencia)	Está indexada, pero Google no pudo leer el contenido	Comprueba qué recibe Googlebot con la Inspección de URL
Indexada, aunque bloqueada por robots.txt (advertencia)	Está indexada aunque robots.txt la bloquea	Para mantenerla fuera, permite el rastreo y añade noindex

La última fila pilla desprevenidas a muchas personas. Google solo puede ver una regla noindex en una página que tiene permiso para rastrear, así que bloquear una página en robots.txt y añadir noindex a la vez significa que el noindex nunca se lee (Bloquear la indexación con noindex).

Cuando Google elige una canónica distinta

Las etiquetas canónicas son señales, no órdenes. Google pondera varias: las redirecciones y rel="canonical" son señales fuertes, la inclusión en un sitemap es una señal débil, y prefiere las direcciones HTTPS frente a las HTTP (Consolidar URL duplicadas). Cuando tus señales se contradicen, por ejemplo con una etiqueta canónica que apunta a una URL mientras tus enlaces internos y tu sitemap usan otra, Google decide por su cuenta. Haz que todas las señales indiquen la misma URL y enlaza internamente a ella. No uses robots.txt ni noindex para elegir una canónica; noindex elimina la página de la Búsqueda por completo.

Comprobar una URL con la Inspección de URL

El informe de Indexación de páginas muestra grupos; la Inspección de URL muestra una sola URL en detalle (herramienta de Inspección de URL). Indica si la URL está indexada, la canónica que declaraste y la que eligió Google, cuándo rastreó Google la página por última vez y si lo hizo con un user agent móvil o de escritorio, si robots.txt permite el rastreo, si la descarga funcionó y si se permite la indexación.

Dos advertencias. Primero, la vista predeterminada describe la última versión indexada, que puede estar desactualizada; Probar URL publicada descarga la página en ese momento, y así es como confirmas una corrección, aunque superar la prueba en vivo no garantiza la indexación. Segundo, cuando robots.txt bloquea el rastreo, «¿Se permite la indexación?» siempre muestra que sí, porque Google no puede ver una regla noindex que no tenía permiso para descargar.

Solicitar indexación pide a Google que vuelva a rastrear la URL. Está sujeta a una cuota diaria, y Google afirma que solicitar el rastreo varias veces para la misma URL no hará que ocurra más rápido (Solicitar a Google que vuelva a rastrear). Si son muchas URL, envía en su lugar un sitemap actualizado.

¿Cuánto tarda la indexación?

Google da rangos, no promesas. Indexar una página nueva puede llevar unos días y nunca es instantáneo, ni siquiera tras una solicitud directa. Los sitios nuevos pueden tardar aproximadamente una semana en ser rastreados e indexados, y un nuevo rastreo puede tardar entre unos días y varias semanas. Cuando corriges un problema y pulsas Validar corrección, la comprobación suele tardar hasta unas dos semanas. Si una página importante sigue sin aparecer pasado un mes, sigue la guía de problemas técnicos de indexación en lugar de solicitar de nuevo la indexación.

Cómo ayudar a Google a encontrar y conservar tus páginas

Enlaza las páginas nuevas desde páginas que Google ya rastrea, como tu página de inicio, páginas de categoría o artículos relacionados. Los enlaces son la principal forma en que Google descubre URL.
Incluye en los sitemaps solo URL canónicas, escritas como direcciones absolutas completas, con un máximo de 50.000 URL o 50MB sin comprimir por archivo. Google usa <lastmod> cuando es sistemáticamente preciso e ignora <priority> y <changefreq> (Crear un sitemap).
Da a cada contenido una única URL, de modo que redirecciones, etiquetas canónicas, sitemaps y enlaces internos coincidan.
Devuelve un 404 o 410 real para las páginas que hayas eliminado, en lugar de una página vacía con estado 200.
Preocúpate por el presupuesto de rastreo solo a gran escala. La guía de Google sobre el presupuesto de rastreo está dirigida a sitios con más de un millón de páginas que cambian semanalmente, o con más de 10.000 páginas que cambian a diario.

Cómo te ayuda AutoPSEO

AutoPSEO ejecuta la Inspección de URL desde la propia aplicación y cuenta para el límite diario de Google de 2.000 inspecciones por propiedad. El Index Tracker mantiene una lista de hasta 1.800 URL que tú eliges y vuelve a inspeccionar hasta 200 de ellas al día, empezando por las que llevan más tiempo sin comprobarse. Avisa cuando alguna se ha desindexado en los últimos 30 días o no se ha rastreado en 120 días, y puede generar una alerta «Index flip» en Slack, Teams o un webhook cuando una URL en seguimiento sale del índice o vuelve a entrar. IndexNow notifica a Bing y a los demás buscadores compatibles; Google no participa en IndexNow, así que para Google el sitemap y los enlaces internos siguen siendo la vía de entrada.

Los artículos redactados por el motor de contenido se entregan a tu propio sitio, que los publica y los enlaza como cualquier otra página. Cuando tu sitio declara una clave de IndexNow, AutoPSEO notifica a IndexNow cada dirección nueva o actualizada de tu host (Entrega).