Générateur de robots.txt
Créez un fichier robots.txt de base avec les directives Allow, Disallow et Sitemap.
User-agent: *
Allow: /
Disallow: /admin
Disallow: /cuenta
Sitemap: https://ejemplo.com/sitemap.xmlComment ça marche
Configurez le user-agent, ajoutez les chemins autorisés ou bloqués et, si vous le souhaitez, l’URL de votre sitemap. L’outil génère le contenu de robots.txt.
Questions fréquentes
robots.txt empêche-t-il une URL d'apparaître dans Google ?
Pas nécessairement. robots.txt contrôle l’exploration, mais ne garantit pas la désindexation.
Où placer robots.txt ?
Il est généralement publié à la racine du domaine, par exemple https://ejemplo.com/robots.txt.