Robots & Sitemap

robots.txt-Regeln für deine URLs mit Googlebot, Bingbot und anderen Crawlern testen, Fehler in der Datei finden und aus einer URL-Liste eine sitemap.xml erstellen — direkt im Browser.

Über Robots & Sitemap

Was es ist

Dieses Tool hat zwei Modi. Der robots.txt-Tester nimmt deine Regeln und eine URL-Liste und zeigt, welche URLs für den gewählten Crawler erlaubt und welche gesperrt sind — mit derselben Rangfolge, die Crawler befolgen: zuerst die eigene Gruppe des Bots, dann die längste passende Regel, mit den Platzhaltern * und $. Außerdem markiert er Zeilen, die Crawler überspringen oder falsch lesen. Der Sitemap-Builder macht aus einer URL-Liste eine gültige sitemap.xml mit changefreq, priority und optionalem lastmod-Datum.

Hauptfunktionen

  • Erlaubte und gesperrte URLs für jeden Bot, Googlebot, Bingbot, AhrefsBot, DuckDuckBot oder Applebot.
  • Echte Rangfolge: eigene Gruppe des Bots, längste Regel, Allow bei Gleichstand, Platzhalter * und $.
  • Warnungen bei unbekannten Direktiven, fehlenden Doppelpunkten, Regeln außerhalb einer Gruppe und Pfaden ohne Schrägstrich.
  • Kyrillische und andere Nicht-ASCII-Pfade passen, ob roh oder prozentkodiert geschrieben.
  • Ein sitemap.xml-Builder, der ungültige Zeilen überspringt, Duplikate entfernt und ab 50.000 URLs warnt.

So funktioniert es

  1. Wähle den robots.txt-Tester oder den Sitemap-Builder.
  2. Für den Tester füge Regeln und zu prüfende URLs ein oder klick auf „Beispiel“ und wähle den Crawler.
  3. Für die Sitemap füge die URLs zeilenweise ein und setze changefreq, priority und lastmod.
  4. Lies Ergebnisse und Warnungen oder kopiere bzw. lade die sitemap.xml herunter.

Wann es hilft

  • Prüfen, dass eine neue Disallow-Regel keine wichtigen Seiten sperrt.
  • Herausfinden, warum Googlebot einen Bereich ignoriert, den die Datei scheinbar erlaubt.
  • Eine Sitemap für eine kleine Website oder eine Reihe von Landingpages erstellen.

Datenschutz und Grenzen

Deine Daten

Deine Regeln und URLs werden im Browser verarbeitet und nicht an einen Server gesendet; das Tool ruft keine robots.txt und keine Seite ab — die Website erhält nur ein anonymes Ereignis „Tool geöffnet“, ohne Inhalt. Ein Ergebnis, das du an ein anderes Tool schickst, bleibt 24 Stunden auf diesem Gerät unter „Letzte Aktivität“.

Grenzen

  • Der Tester prüft nur Allow und Disallow; Crawl-delay-, Sitemap- und Host-Zeilen werden nicht simuliert.
  • Er testet die eingefügten Regeln, nicht die Live-Datei auf deinem Server — die musst du selbst abrufen.

Häufige Fragen

Welche Regel gewinnt, wenn mehrere passen?

Wie bei Google und in RFC 9309: Ein Crawler nutzt seine eigene benannte Gruppe, falls vorhanden, sonst die *-Gruppe. Innerhalb der Gruppe gewinnt die Regel mit dem längsten Pfad, bei gleich langem Allow und Disallow gewinnt Allow. Keine passende Regel heißt erlaubt.

Kann ich einen bestimmten Crawler testen?

Ja. Wähle jeden Bot (*), Googlebot, Bingbot, AhrefsBot, DuckDuckBot oder Applebot. Ein Bot mit eigener User-agent-Gruppe folgt nur dieser und ignoriert die *-Regeln.

Was prüft der Sitemap-Builder?

Jede Zeile muss eine vollständige Adresse mit https:// oder http:// sein; andere Zeilen werden übersprungen und gezählt. Duplikate werden entfernt, und ab 50.000 URLs erinnert er daran, die Liste aufzuteilen und einen Sitemap-Index zu nutzen.