Robots & Sitemap

Testez les règles robots.txt sur vos URL pour Googlebot, Bingbot et d’autres robots, repérez les erreurs du fichier et créez un sitemap.xml à partir d’une liste d’URL — directement dans votre navigateur.

À propos de Robots & Sitemap

De quoi s’agit-il

Cet outil a deux modes. Le testeur robots.txt prend vos règles et une liste d’URL et montre celles qui sont autorisées ou bloquées pour le robot choisi, selon la même priorité que suivent les robots : d’abord le groupe propre au robot, puis la règle correspondante la plus longue, avec les jokers * et $. Il signale aussi les lignes que les robots ignorent ou lisent mal. Le générateur de sitemap transforme une liste d’URL en un sitemap.xml valide avec changefreq, priority et une date lastmod facultative.

Fonctionnalités principales

  • URL autorisées et bloquées pour tout robot, Googlebot, Bingbot, AhrefsBot, DuckDuckBot ou Applebot.
  • Priorité réelle : groupe propre du robot, règle la plus longue, Allow en cas d’égalité, jokers * et $.
  • Avertissements pour directives inconnues, deux-points manquants, règles hors groupe et chemins sans barre oblique.
  • Chemins cyrilliques et autres non-ASCII reconnus, écrits tels quels ou encodés en pourcentage.
  • Un générateur de sitemap.xml qui ignore les lignes invalides, retire les doublons et avertit au-delà de 50 000 URL.

Comment l’utiliser

  1. Choisissez le testeur robots.txt ou le générateur de sitemap.
  2. Pour le testeur, collez les règles et les URL à tester, ou cliquez sur « Exemple », puis choisissez le robot.
  3. Pour le sitemap, collez les URL une par ligne et réglez changefreq, priority et lastmod.
  4. Lisez les résultats et avertissements, ou copiez ou téléchargez sitemap.xml.

Quand c’est utile

  • Vérifier qu’une nouvelle règle Disallow ne bloque pas de pages importantes.
  • Comprendre pourquoi Googlebot ignore une section que le fichier semble autoriser.
  • Créer un sitemap pour un petit site ou une série de pages d’atterrissage.

Confidentialité et limites

Vos données

Vos règles et URL sont traitées dans votre navigateur et ne sont pas envoyées à un serveur ; l’outil ne récupère aucun robots.txt ni aucune page — le site reçoit seulement un événement anonyme « outil ouvert », sans le contenu. Un résultat envoyé vers un autre outil reste 24 heures sur cet appareil dans « Activité récente ».

Limites

  • Le testeur ne vérifie qu’Allow et Disallow ; les lignes Crawl-delay, Sitemap et Host ne sont pas simulées.
  • Il teste les règles collées, pas le fichier en ligne sur votre serveur : récupérez-le vous-même.

Questions fréquentes

Quelle règle l’emporte quand plusieurs correspondent ?

Comme chez Google et dans la RFC 9309 : un robot utilise son propre groupe nommé s’il existe, sinon le groupe *. Dans le groupe, la règle au chemin le plus long l’emporte, et à longueur égale entre Allow et Disallow, Allow gagne. Aucune règle correspondante signifie autorisé.

Puis-je tester un robot précis ?

Oui. Choisissez tout robot (*), Googlebot, Bingbot, AhrefsBot, DuckDuckBot ou Applebot. Un robot qui a son propre groupe User-agent suit uniquement ce groupe et ignore les règles *.

Que vérifie le générateur de sitemap ?

Chaque ligne doit être une adresse complète commençant par https:// ou http:// ; les autres lignes sont ignorées et comptées. Les doublons sont retirés et, au-delà de 50 000 URL, il rappelle de scinder la liste et d’utiliser un index de sitemaps.