Gerador de robots.txt
Crie um arquivo robots.txt básico com regras Allow, Disallow e Sitemap.
User-agent: *
Allow: /
Disallow: /admin
Disallow: /cuenta
Sitemap: https://ejemplo.com/sitemap.xmlComo funciona
Configure o agente de usuário, adicione rotas permitidas ou bloqueadas e, se quiser, o URL do seu sitemap. A ferramenta gera o conteúdo do robots.txt.
Perguntas frequentes
O robots.txt impede que uma URL apareça no Google?
Não necessariamente. robots.txt controla o rastreamento, mas não garante a desindexação.
Onde colocar o arquivo robots.txt?
Normalmente é publicado na raiz do domínio, por exemplo https://ejemplo.com/robots.txt.