Robots & Sitemap

Перевірка правил robots.txt для ваших URL під Googlebot, Bingbot та інших краулерів, пошук помилок у файлі й створення sitemap.xml зі списку URL — просто в браузері.

Про Robots & Sitemap

Що це

Цей інструмент має два режими. Тестер robots.txt бере ваші правила й список URL і показує, які дозволені, а які заблоковані для обраного краулера, за тим самим пріоритетом, що й краулери: спершу власна група бота, потім найдовше правило, що збігається, з шаблонами * і $. Він також позначає рядки, які краулери пропускають чи читають не так. Конструктор sitemap перетворює список URL на коректний sitemap.xml з changefreq, priority і необов’язковою датою lastmod.

Основні можливості

  • Дозволені й заборонені URL для будь-якого бота, Googlebot, Bingbot, AhrefsBot, DuckDuckBot чи Applebot.
  • Справжній пріоритет: власна група бота, найдовше правило, Allow при рівності, шаблони * і $.
  • Попередження про невідомі директиви, пропущені двокрапки, правила поза групою й шляхи без скісної риски.
  • Кириличні та інші не-ASCII шляхи збігаються, хоч записані як є, хоч у percent-кодуванні.
  • Конструктор sitemap.xml, що пропускає некоректні рядки, прибирає дублікати й попереджає після 50 000 URL.

Як користуватися

  1. Оберіть тестер robots.txt або конструктор sitemap.
  2. Для тестера вставте правила й URL для перевірки або натисніть «Приклад» і оберіть краулера.
  3. Для sitemap вставте URL по одному на рядок і задайте changefreq, priority і lastmod.
  4. Перегляньте результати й попередження або скопіюйте чи завантажте sitemap.xml.

Коли корисно

  • Перевірити, що нове правило Disallow не блокує важливих сторінок.
  • З’ясувати, чому Googlebot ігнорує розділ, який файл ніби дозволяє.
  • Зробити sitemap для невеликого сайту чи набору лендингів.

Конфіденційність та обмеження

Ваші дані

Ваші правила й URL обробляються в браузері й не надсилаються на сервер; інструмент не завантажує жодного robots.txt чи сторінки — сайт отримує лише анонімну подію «інструмент відкрито», без вмісту. Результат, надісланий в інший інструмент, зберігається на цьому пристрої 24 години в «Останніх діях».

Обмеження

  • Тестер перевіряє лише Allow і Disallow; рядки Crawl-delay, Sitemap і Host не моделюються.
  • Він перевіряє правила, які ви вставили, а не живий файл на сервері — його отримайте самі.

Поширені запитання

Яке правило перемагає, коли збігається кілька?

Як у правилах Google та RFC 9309: краулер бере власну іменовану групу, якщо вона є, інакше — групу *. У межах групи перемагає правило з найдовшим шляхом, а якщо Allow і Disallow однакової довжини — Allow. Жодного правила, що збігається, — отже, дозволено.

Чи можна перевірити конкретного краулера?

Так. Оберіть будь-якого бота (*), Googlebot, Bingbot, AhrefsBot, DuckDuckBot чи Applebot. Бот із власною групою User-agent виконує лише її й ігнорує правила *.

Що перевіряє конструктор sitemap?

Кожен рядок має бути повною адресою, що починається з https:// чи http://; інші рядки пропускаються й рахуються. Дублікати прибираються, а після 50 000 URL інструмент нагадує розділити список і використати sitemap index.