¿Cómo reviso mi robots.txt en Google Search Console?

Q: ¿Cómo reviso mi robots.txt en Google Search Console?

Abre el informe de robots.txt en Configuración para ver cada archivo que Google ha encontrado, cuándo lo obtuvo y los errores de análisis. Comprueba URLs concretas con la Inspección de URLs.

Abre Configuración y después el informe de robots.txt. Muestra los archivos robots.txt que Google ha encontrado para tu sitio, cuándo se comprobó cada uno por última vez, si la obtención funcionó, el tamaño del archivo y las líneas que Google no pudo analizar. Para saber si una URL concreta está bloqueada, inspecciona esa URL y consulta el campo ¿Rastreo permitido?. El probador de robots.txt independiente que describen las guías antiguas ya no forma parte de las herramientas de Search Console.

Qué muestra el informe

Según la ayuda de Google sobre el informe de robots.txt:

Solo está disponible para propiedades de nivel de dominio: una propiedad de dominio, o una propiedad de prefijo de URL sin ruta (https://example.com/, no https://example.com/shop/).
En una propiedad de dominio, cubre los 20 hosts con mayor frecuencia de rastreo, ya que cada host tiene su propio archivo.
De cada archivo ves su ruta, el estado de la obtención, cuándo se comprobó por última vez, su tamaño en bytes y el número de problemas. Los errores hacen que Google omita una regla; las advertencias no.
Los archivos aparecen si Google los obtuvo, o lo intentó, en los últimos 30 días.

Estado	Qué significa
Obtenido	Google obtuvo el archivo. Ignora las líneas que no pudo analizar y usa el resto
No obtenido: No encontrado (404)	No hay archivo, y no pasa nada: Google puede rastrear todas las URLs
No obtenido: cualquier otro motivo	Algo más ha fallado; consulta la tabla siguiente

Después de modificar el archivo

Google suele almacenar en caché el robots.txt hasta 24 horas, así que un cambio no es inmediato. Si has desbloqueado URLs importantes o has corregido un error de obtención, abre el menú del archivo en el informe y elige Solicitar un nuevo rastreo. En cualquier otro caso no hace falta: Google vuelve a obtener el robots.txt con frecuencia.

Cómo trata Google un robots.txt defectuoso

Qué recibe Google	Qué ocurre
Una respuesta 2xx	Se aplican las reglas
Una redirección	Google sigue al menos cinco saltos y, si la cadena no se resuelve, la trata como un 404
Un error 4xx distinto de 429	Se trata como si no hubiera archivo: no se bloquea nada
Un error 5xx o un fallo de red	El rastreo se detiene durante 12 horas; después se usa la última copia válida hasta 30 días y, pasado ese plazo, si el sitio está disponible por lo demás, Google actúa como si no hubiera archivo
Un archivo de más de 500 KiB	Se ignora todo lo que supere el límite

Fuente: Cómo interpreta Google el archivo robots.txt. La fila de los errores 5xx es la que hay que temer: un servidor que falla solo con este archivo puede detener el rastreo de todo el sitio.

Cómo probar las reglas antes de publicarlas

Para una URL que ya está activa, el campo ¿Rastreo permitido? de la Inspección de URLs es la respuesta más rápida.
Para un archivo en borrador, Google remite a los desarrolladores a su biblioteca de robots.txt de código abierto para probarlo en local.
Cuando hay reglas en conflicto, Google aplica la más específica, es decir, la que tiene la ruta coincidente más larga; si dos son igual de específicas, prevalece la menos restrictiva.

Qué no puede hacer robots.txt

robots.txt controla el rastreo, no la indexación. Google afirma que no es un método para mantener una página fuera de Google: una URL bloqueada aún puede indexarse, sin descripción, si otras páginas enlazan a ella. Para mantener una página fuera de los resultados, usa noindex o una contraseña, como se explica en cómo eliminar una URL.

Cómo ayuda AutoPSEO

La inspección masiva de URLs de AutoPSEO muestra el estado del robots.txt que Google informa para cada URL, hasta 500 URLs por ejecución a partir de una lista pegada o de un sitemap. Así es fácil confirmar que un cambio de reglas no ha bloqueado por error una sección entera.