Robots & Sitemap

Testuj reguły robots.txt dla swoich adresów URL pod Googlebot, Bingbot i inne roboty, wyłapuj błędy w pliku i twórz sitemap.xml z listy URL — bezpośrednio w przeglądarce.

O narzędziu Robots & Sitemap

Co to jest

To narzędzie ma dwa tryby. Tester robots.txt bierze twoje reguły i listę URL i pokazuje, które są dozwolone, a które zablokowane dla wybranego robota, według tego samego pierwszeństwa, którym kierują się roboty: najpierw własna grupa bota, potem najdłuższa pasująca reguła, z symbolami * i $. Oznacza też wiersze, które roboty pomijają lub źle odczytują. Kreator sitemap zamienia listę URL w poprawny sitemap.xml z changefreq, priority i opcjonalną datą lastmod.

Główne funkcje

  • Dozwolone i zablokowane URL dla dowolnego bota, Googlebot, Bingbot, AhrefsBot, DuckDuckBot lub Applebot.
  • Prawdziwe pierwszeństwo: własna grupa bota, najdłuższa reguła, Allow przy remisie, symbole * i $.
  • Ostrzeżenia o nieznanych dyrektywach, brakujących dwukropkach, regułach poza grupą i ścieżkach bez ukośnika.
  • Ścieżki z cyrylicą i innymi znakami spoza ASCII pasują, zapisane wprost lub w kodowaniu procentowym.
  • Kreator sitemap.xml, który pomija błędne wiersze, usuwa duplikaty i ostrzega powyżej 50 000 URL.

Jak używać

  1. Wybierz tester robots.txt lub kreator sitemap.
  2. Dla testera wklej reguły i adresy do sprawdzenia lub kliknij „Przykład” i wybierz robota.
  3. Dla sitemap wklej adresy po jednym w wierszu i ustaw changefreq, priority i lastmod.
  4. Przeczytaj wyniki i ostrzeżenia albo skopiuj lub pobierz sitemap.xml.

Kiedy się przydaje

  • Sprawdzić, czy nowa reguła Disallow nie blokuje ważnych stron.
  • Ustalić, dlaczego Googlebot pomija sekcję, na którą plik niby pozwala.
  • Przygotować sitemap dla małej witryny lub zestawu stron docelowych.

Prywatność i ograniczenia

Twoje dane

Twoje reguły i adresy są przetwarzane w przeglądarce i nie trafiają na serwer; narzędzie nie pobiera żadnego robots.txt ani strony — witryna otrzymuje tylko anonimowe zdarzenie „otwarto narzędzie”, bez treści. Wynik wysłany do innego narzędzia zostaje na tym urządzeniu przez 24 godziny w „Ostatniej aktywności”.

Ograniczenia

  • Tester sprawdza tylko Allow i Disallow; wiersze Crawl-delay, Sitemap i Host nie są symulowane.
  • Testuje wklejone reguły, a nie plik na twoim serwerze — ten pobierz sam.

Najczęstsze pytania

Która reguła wygrywa, gdy pasuje kilka?

Tak jak u Google i w RFC 9309: robot korzysta z własnej nazwanej grupy, jeśli istnieje, w przeciwnym razie z grupy *. W grupie wygrywa reguła z najdłuższą ścieżką, a przy równej długości Allow i Disallow wygrywa Allow. Brak pasującej reguły oznacza zgodę.

Czy mogę sprawdzić konkretnego robota?

Tak. Wybierz dowolnego bota (*), Googlebot, Bingbot, AhrefsBot, DuckDuckBot lub Applebot. Bot z własną grupą User-agent stosuje tylko ją i pomija reguły *.

Co sprawdza kreator sitemap?

Każdy wiersz musi być pełnym adresem zaczynającym się od https:// lub http://; pozostałe wiersze są pomijane i liczone. Duplikaty są usuwane, a powyżej 50 000 URL narzędzie przypomina o podziale listy i indeksie sitemap.