Prueba reglas de robots.txt con tus URL para Googlebot, Bingbot y otros rastreadores, detecta errores en el archivo y crea un sitemap.xml a partir de una lista de URL, directamente en tu navegador.
Esta herramienta tiene dos modos. El probador de robots.txt toma tus reglas y una lista de URL y muestra cuáles están permitidas y cuáles bloqueadas para el rastreador que elijas, con la misma prioridad que siguen los rastreadores: primero el grupo propio del bot, luego la regla coincidente más larga, con los comodines * y $. También marca las líneas que los rastreadores saltan o leen mal. El generador de sitemap convierte una lista de URL en un sitemap.xml válido con changefreq, priority y una fecha lastmod opcional.
Tus reglas y URL se procesan en el navegador y no se envían a ningún servidor; la herramienta no descarga ningún robots.txt ni ninguna página. El sitio solo recibe un evento anónimo de «herramienta abierta», sin el contenido. Un resultado que envías a otra herramienta se queda 24 horas en este dispositivo, en «Actividad reciente».
Como en las reglas de Google y en la RFC 9309: un rastreador usa su propio grupo con nombre si existe y, si no, el grupo *. Dentro del grupo gana la regla con la ruta más larga, y si un Allow y un Disallow tienen la misma longitud, gana Allow. Sin regla coincidente, está permitido.
Sí. Elige cualquier bot (*), Googlebot, Bingbot, AhrefsBot, DuckDuckBot o Applebot. Un bot con su propio grupo User-agent sigue solo ese grupo e ignora las reglas *.
Cada línea debe ser una dirección completa que empiece por https:// o http://; las demás líneas se saltan y se cuentan. Los duplicados se quitan y, a partir de 50 000 URL, recuerda dividir la lista y usar un índice de sitemaps.