Generador robots.txt
Crea un archivo robots.txt básico con reglas Allow, Disallow y Sitemap.
User-agent: *
Allow: /
Disallow: /admin
Disallow: /cuenta
Sitemap: https://ejemplo.com/sitemap.xmlCómo funciona
Configura el user-agent, añade rutas permitidas o bloqueadas y, si quieres, la URL de tu sitemap. La herramienta genera el contenido de robots.txt.
Preguntas frecuentes
¿robots.txt impide que una URL aparezca en Google?
No necesariamente. robots.txt controla el rastreo, pero no es una garantía de desindexación.
¿Dónde se coloca robots.txt?
Normalmente se publica en la raíz del dominio, por ejemplo https://ejemplo.com/robots.txt.