Qu'est-ce qu'un fichier robots.txt ?

robots.txt est un fichier texte brut placé à la racine d'un domaine qui indique aux robots web bien élevés quelles parties du site ils peuvent ou non explorer, à l'aide de directives User-agent, Allow et Disallow.

Où dois-je placer le fichier robots.txt généré ?

Il doit être placé à la racine de votre domaine — accessible à https://votredomaine.com/robots.txt — pas dans un sous-répertoire. La plupart des plateformes CMS et générateurs de sites statiques ont un emplacement spécifique pour ce fichier.

Que signifie 'User-agent: *' ?

L'astérisque est un caractère générique signifiant 'tous les robots' — toute règle sous un groupe 'User-agent: *' s'applique à tout robot n'ayant pas son propre groupe plus spécifique ailleurs dans le fichier.

Puis-je bloquer un seul moteur de recherche et en autoriser d'autres ?

Oui. Ajoutez un groupe User-agent séparé avec le nom de ce bot spécifique et ses propres règles Disallow. Les règles ne s'appliquent qu'aux robots correspondant exactement au User-agent de ce groupe — elles ne se propagent pas aux autres bots.

Robots.txt garantit-il qu'une page ne sera pas indexée ?

Non. Bloquer un chemin dans robots.txt demande seulement aux robots de ne pas le récupérer — une URL peut toujours apparaître dans les résultats de recherche si elle est liée depuis ailleurs. Pour empêcher l'indexation de manière fiable, utilisez une balise meta 'noindex' ou un en-tête HTTP sur la page elle-même.

Dois-je ajouter mon sitemap à robots.txt ?

Oui, c'est une bonne pratique largement suivie. Ajouter une ligne 'Sitemap:' pointant vers votre sitemap.xml donne aux robots un moyen simple et standard de le découvrir.

Que fait Crawl-delay, et tous les moteurs de recherche le respectent-ils ?

Crawl-delay demande à un robot d'attendre un certain nombre de secondes entre les requêtes pour réduire la charge du serveur. Google ne prend pas en charge Crawl-delay, mais Bing et certains autres robots le respectent.

Un fichier robots.txt incorrect peut-il nuire à mon SEO ?

Oui — un 'Disallow: /' large sous 'User-agent: *' bloque l'exploration de tout votre site, une erreur accidentelle courante. Vérifiez toujours le fichier généré avant de le déployer en production.

Cet outil stocke-t-il ou envoie-t-il mon contenu robots.txt quelque part ?

Non. Le fichier entier est construit dans votre navigateur à partir des champs de formulaire que vous saisissez. Rien n'est téléversé ni transmis — copier ou télécharger le résultat se produit entièrement côté client.

Générateur de Robots.txt — Créez un Fichier robots.txt Personnalisé

Notre Générateur de Robots.txt construit un fichier robots.txt syntaxiquement valide à partir d'un formulaire simple : ajoutez un ou plusieurs groupes User-agent, listez les chemins Allow et Disallow pour chacun, définissez éventuellement un Crawl-delay et ajoutez une directive Sitemap. Des préréglages en un clic couvrent les modèles courants comme bloquer /admin/ ou /api/. Le résultat se met à jour en direct et peut être copié ou téléchargé sous forme de robots.txt, prêt à être placé dans le répertoire racine de votre site.

User-agent

Chemins à bloquer (un par ligne)

Chemins à autoriser (un par ligne)

URL du Sitemap

Crawl-delay (secondes)

robots.txt généré

User-agent: *

Comment utiliser Générateur de Robots.txt — Créez un Fichier Robots.txt Valide

1
Saisissez un User-agent (utilisez '*' pour cibler tous les robots, ou un nom de bot spécifique comme 'Googlebot').
2
Listez les chemins à bloquer et/ou autoriser, un par ligne, ou cliquez sur un bouton de préréglage pour des règles courantes.
3
Ajoutez éventuellement d'autres groupes User-agent, une URL de Sitemap et une valeur de Crawl-delay.
4
Copiez le texte robots.txt généré ou téléchargez-le directement sous forme de fichier robots.txt.

Pourquoi utiliser Générateur de Robots.txt — Créez un Fichier Robots.txt Valide ?

Un fichier robots.txt est la première chose que les robots bien élevés vérifient avant d'indexer votre site, et une seule erreur de syntaxe peut silencieusement nuire à votre SEO en cachant des pages que vous vouliez indexées ou en exposant des pages que vous vouliez cachées. Écrire robots.txt à la main est trompeusement facile à mal faire subtilement, surtout lorsque plusieurs groupes User-agent sont impliqués. Ce générateur applique automatiquement la structure correcte : il regroupe les directives sous le bon User-agent, ordonne correctement les lignes Disallow/Allow, et produit un fichier conforme au format attendu par les moteurs de recherche, éliminant les incertitudes.

Questions fréquentes

Outils similaires

Testeur de Robots.txt — Vérifiez si une URL Est Autorisée ou Bloquée

Testez si un chemin spécifique est autorisé ou bloqué par un fichier robots.txt, pour n'importe quel user-agent. Collez robots.txt ou récupérez-le en direct depuis n'importe quel site. Gratuit, instantané.

Vérificateur de Sitemap — Valider un Sitemap XML et Détecter les Liens Morts

Vérifiez le sitemap XML de n'importe quel site pour détecter les erreurs, liens morts et métadonnées manquantes. Validateur de sitemap gratuit en ligne avec vérification en direct des URL. Sans inscription.

Extracteur d'Intelligence Web — Outil d'Instantané SEO et Métadonnées

Extrayez titre, meta description, balises Open Graph, titres, nombre de mots et liens internes/externes de n'importe quelle URL en une seule requête. Outil SEO gratuit.

Détecteur de Stack Technique — Identifiez les Technologies de N'importe Quel Site

Détectez instantanément le CMS, le framework JavaScript, les outils d'analyse, le CDN et la technologie serveur derrière n'importe quel site. Vérificateur gratuit sans inscription.