El robots.txt vive en la raíz del dominio y les dice a los rastreadores qué rutas pueden descargar. Es una petición, no una valla: Google, Bing y Yandex la respetan, pero cualquier script puede ignorarla sin más.
El generador construye el archivo con sus datos y señala los puntos donde la cosa se tuerce una y otra vez, empezando por el más importante de todos: Disallow prohíbe descargar, no prohíbe aparecer.
Disallow no es noindex
Una página bloqueada con Disallow no puede descargarla el rastreador. Aun así puede salir en los resultados si otras páginas enlazan a ella: aparece la URL, muchas veces con la nota de que no hay descripción disponible. Es decir, justo lo contrario de lo que se pretendía.
Del índice solo la saca noindex, ya sea como metaetiqueta en la cabecera o como cabecera HTTP X-Robots-Tag. Y para que el rastreador vea ese noindex tiene que poder descargar la página. Poner las dos cosas a la vez —Disallow y noindex— hace que se anulen. Quien quiera mantener una página fuera del buscador debe dejarla rastreable y ponerle noindex; quien quiera esconderla de las personas necesita una contraseña, no un archivo de texto.
Qué puede figurar en el archivo
Un User-agent por bloque y debajo tantas líneas Disallow y Allow como haga falta. Cuando encaja más de una regla, Google se queda con la más larga, es decir la más precisa: por eso un Allow para /admin/publico puede abrir un hueco sensato dentro de un Disallow para /admin. Un asterisco dentro de la ruta representa cualquier secuencia de caracteres, y un signo de dólar al final marca el final de la URL.
La línea Sitemap no pertenece a ningún bloque de User-agent y necesita una dirección completa con protocolo. Crawl-delay es un invento posterior a la especificación original y hoy casi nadie lo atiende: Bing sigue leyéndolo, Yandex dejó de tenerlo en cuenta en 2018 y trasladó ese ajuste a Yandex.Webmaster, y Google no lo ha interpretado nunca, cosa que dejó por escrito en 2019. La herramienta de Search Console para limitar la frecuencia de rastreo se retiró a principios de 2024: desde entonces Googlebot regula el ritmo por su cuenta.
El archivo es público
Cualquiera puede abrir ejemplo.es/robots.txt, y mucha gente lo hace a propósito. Una línea como «Disallow: /admin-secreto» no protege nada: señala exactamente la ruta que se quería ocultar.
Los directorios que nadie debe ver van detrás de un inicio de sesión. En el robots.txt tiene sentido poner zonas cuya existencia ya se conoce y que solo consumen presupuesto de rastreo: páginas de resultados internos, carritos, combinaciones de filtros, versiones para imprimir.