Generador de robots.txt

PorOleh Soloninactualizado el 25 de septiembre de 2026

Resultado

3 reglas en 6 líneas. El archivo va tal cual en la raíz del dominio.

robots.txt

User-agent: * Disallow: /admin Disallow: /carrito Disallow: /buscar Sitemap: https://ejemplo.es/sitemap.xml

Número de reglas

Resultado para la ruta comprobada

/admin/login no se rastrea: lo bloquea «Disallow: /admin».

Qué regla gana

No se lee de arriba abajo, sino por longitud: gana el patrón más largo que encaje, y en caso de empate, Allow. Sobre /admin/login encaja «Disallow: /admin» con 6 caracteres, así que la ruta no se rastrea.

Avisos

Disallow prohíbe descargar, no mostrar. Una página bloqueada puede aparecer igualmente en los resultados, sin descripción. Si la página debe seguir existiendo, del índice la saca noindex, y para verlo el rastreador tiene que poder leer la página; si se ha eliminado, un 404 o un 410 también la retiran.

El resultado es orientativo y no sustituye a una asesoría profesional.

Crea un robots.txt a partir de sus reglas — y dice lo que el archivo no puede hacer.

El robots.txt vive en la raíz del dominio y les dice a los rastreadores qué rutas pueden descargar. Es una petición, no una valla: Google, Bing y Yandex la respetan, pero cualquier script puede ignorarla sin más.

El generador construye el archivo con sus datos y señala los puntos donde la cosa se tuerce una y otra vez, empezando por el más importante de todos: Disallow prohíbe descargar, no prohíbe aparecer.

Cómo usar la calculadora

Elija el punto de partida: abierto, bloqueado o reglas propias.
Escriba las rutas bloqueadas, una por línea, y la dirección del sitemap completa, con https://.
Abajo compruebe una ruta que le genere dudas: la calculadora dice qué regla gana para ella.
Suba el archivo tal cual como /robots.txt a la raíz del dominio; en una subcarpeta no lo lee nadie.

Qué regla gana para una ruta

Un robots.txt no se recorre de arriba abajo. Gana el patrón más largo que encaje con la ruta, y en caso de empate, el Allow: así lo fija el RFC 9309. Por eso, a partir de la tercera regla, ya cuesta decidir de cabeza si una dirección está bloqueada.

La cuarta fila es donde falla la intuición. «/admin» cierra la zona, pero «/admin/ayuda» tiene doce caracteres y es más específico, así que la ayuda sigue abierta aunque el Disallow esté escrito antes.

Todas las filas salen de la calculadora de esta página, comprobadas en el campo de abajo. El asterisco vale por cualquier número de caracteres y el dólar marca el final de la ruta: sin el $, la última regla bloquearía también /precios.pdf.html.
Ruta comprobada	Reglas del archivo	Resultado
/admin/login	Disallow: /admin	bloqueada
/buscar?q=zapatos	Disallow: /buscar	bloqueada
/blog/articulo	no encaja ninguna	permitida
/admin/ayuda/faq	Disallow: /admin + Allow: /admin/ayuda	permitida — gana el patrón más largo
/folletos/precios.pdf	Disallow: /*.pdf$	bloqueada

Qué puede ir en el archivo y quién lo lee

El lenguaje del robots.txt es corto: cinco tipos de línea y ninguno más. Todo lo que circula por encima de eso o se quedó en propuesta o Google no lo interpreta.

La última fila es la trampa importante. Un «Noindex» dentro del robots.txt nunca fue una regla admitida, y Google dejó de procesar esas líneas el 1 de septiembre de 2019. Quien quiera sacar una página del índice necesita la etiqueta meta robots o la cabecera X-Robots-Tag, y para eso la página tiene que seguir siendo rastreable.

Estas son justo las líneas que escribe la calculadora, con una excepción: Noindex no aparece, porque ahí nunca tuvo sitio. Crawl-delay solo se escribe si indica un número mayor que cero, y entonces avisa de que Google no la lee.
Línea	Qué hace	Google	Bing
User-agent: *	a qué rastreadores afectan las líneas siguientes	la interpreta	la interpreta
Disallow: /ruta	el rastreador no descarga la ruta	la interpreta	la interpreta
Allow: /ruta	excepción dentro de una zona bloqueada	la interpreta	la interpreta
Sitemap: https://…	dónde está el sitemap	la interpreta	la interpreta
Crawl-delay: 5	pausa entre dos descargas	no la admite	la interpreta
Noindex: /ruta	nunca fue estándar	la ignora	la ignora

Disallow no es noindex

Una página bloqueada con Disallow no puede descargarla el rastreador. Aun así puede salir en los resultados si otras páginas enlazan a ella: aparece la URL, muchas veces con la nota de que no hay descripción disponible. Es decir, justo lo contrario de lo que se pretendía.

Del índice solo la saca noindex, ya sea como metaetiqueta en la cabecera o como cabecera HTTP X-Robots-Tag. Y para que el rastreador vea ese noindex tiene que poder descargar la página. Poner las dos cosas a la vez —Disallow y noindex— hace que se anulen. Quien quiera mantener una página fuera del buscador debe dejarla rastreable y ponerle noindex; quien quiera esconderla de las personas necesita una contraseña, no un archivo de texto.

Qué puede figurar en el archivo

Cada grupo empieza con una o varias líneas User-agent y debajo lleva tantas líneas Disallow y Allow como haga falta. Cuando encaja más de una regla, Google se queda con la más larga, es decir la más precisa: por eso un Allow para /admin/publico puede abrir un hueco sensato dentro de un Disallow para /admin. Un asterisco dentro de la ruta representa cualquier secuencia de caracteres, y un signo de dólar al final marca el final de la URL.

La línea Sitemap no pertenece a ningún bloque de User-agent y necesita una dirección completa con protocolo. Crawl-delay es un invento posterior a la especificación original y hoy casi nadie lo atiende: Bing sigue leyéndolo, Yandex dejó de tenerlo en cuenta en 2018 y trasladó ese ajuste a Yandex.Webmaster, y Google no lo ha interpretado nunca, cosa que dejó por escrito en 2019. La herramienta de Search Console para limitar la frecuencia de rastreo se retiró a principios de 2024: desde entonces Googlebot regula el ritmo por su cuenta.

El archivo es público

Cualquiera puede abrir ejemplo.es/robots.txt, y mucha gente lo hace a propósito. Una línea como «Disallow: /admin-secreto» no protege nada: señala exactamente la ruta que se quería ocultar.

Los directorios que nadie debe ver van detrás de un inicio de sesión. En el robots.txt tiene sentido poner zonas cuya existencia ya se conoce y que solo consumen presupuesto de rastreo: páginas de resultados internos, carritos, combinaciones de filtros, versiones para imprimir.

Fuentes

Cifras vigentes en 2026. Los resultados son orientativos y no sustituyen el asesoramiento profesional.

Preguntas frecuentes

¿Desaparece una página de Google si la bloqueo con Disallow?

No, más bien al contrario. El rastreador deja de poder leerla y tampoco ve un noindex. Si alguien la enlaza, puede salir en los resultados sin descripción. Para retirarla, ponga noindex y deje que se rastree.

¿Necesito realmente un robots.txt?

Obligatorio no: si falta, se entiende que todo está permitido. Es útil cuando hay zonas cuyo rastreo solo gasta recursos y para anunciar el sitemap. Un 404 en robots.txt no es un problema; un 500 sí puede hacer que Google deje de rastrear por precaución.

¿Cómo bloqueo solo a un rastreador concreto?

Con un bloque propio para su User-agent. En lugar del asterisco escriba por ejemplo GPTBot y debajo las reglas. Cada rastreador obedece únicamente al bloque que lo nombra de forma más precisa, no además al del asterisco.

¿Vale la primera regla que encaja o la última?

Ninguna de las dos: vale la más larga. Si dos tienen la misma longitud, se impone el Allow. El orden de las líneas dentro del archivo no influye, así que no sirve de nada mover un Allow al final; por eso la calculadora dice expresamente qué regla ha ganado.

¿Qué significan * y $ en una ruta?

El asterisco vale por cualquier número de caracteres y el dólar marca el final de la ruta. «/*.pdf$» bloquea así cualquier PDF, pero no una dirección que termine en .pdf.html. Google entiende los dos; en la norma original de 1994 no existían.

¿Cuenta la cadena de consulta?

Sí. Se comprueba todo desde la barra, incluidos el interrogante y los parámetros, y por eso «/buscar» bloquea también /buscar?q=zapatos. Quien quiera bloquear solo una forma de parámetro necesita un patrón con asterisco, por ejemplo «/*?orden=».

Enlaces útiles

Desarrollo y web Todas las calculadoras

Generador de robots.txt

Resultado

También te puede servir

Generador de redirecciones

Códigos de estado HTTP

Longitud del title y la meta description

Generador de Open Graph

Codificador de URL

Generador de FAQ en schema.org

Enlaces útiles