Log Analyzer

SEO-аналіз логів доступу Nginx і Apache: візити Googlebot, коди відповідей, які він отримує, сторінки, які він сканує найчастіше, і частка інших ботів — просто в браузері, навіть для великих і .gz файлів.

Про Log Analyzer

Що це

Цей інструмент читає лог доступу сервера й показує, як пошукові краулери ходять вашим сайтом. Він рахує всі рядки й візити Googlebot, розкладає коди відповідей, які отримав Googlebot, перелічує десять сторінок, які він сканує найчастіше, і порівнює Googlebot, Bingbot та AhrefsBot. Файл читається у фоновому воркері частинами, тож навіть великий чи стиснутий gzip лог не підвішує сторінку.

Основні можливості

  • Загальна кількість рядків і візитів Googlebot із кількістю розпізнаних рядків.
  • Коди відповідей, які отримав Googlebot: 200, редиректи, 404, помилки сервера.
  • Топ-10 сторінок, які сканує Googlebot.
  • Візити Googlebot, Bingbot і AhrefsBot поруч.
  • Файли .log, .txt і .gz читаються потоком у фоновому воркері.

Як користуватися

  1. Перетягніть лог доступу на інструмент чи клікніть, щоб обрати файл, або натисніть «Приклад».
  2. Дочекайтеся завершення обробки; великі файли читаються потоком.
  3. Перевірте коди відповідей на помилки й редиректи, у які впирається Googlebot.
  4. Порівняйте найчастіше скановані сторінки з тими, які ви хочете бачити в індексі.

Коли корисно

  • Знайти помилки 404 і 5xx, у які раз у раз упирається Googlebot.
  • Побачити, чи не витрачає Googlebot сканування на фільтри й параметри замість ключових сторінок.
  • Перевірити, що новий розділ сканується після запуску.

Конфіденційність та обмеження

Ваші дані

Ваш лог читається в браузері й ніколи не вивантажується — сайт отримує лише анонімну подію «інструмент відкрито», без вмісту. Результат, надісланий в інший інструмент, зберігається на цьому пристрої 24 години в «Останніх діях».

Обмеження

  • Розпізнається лише формат combined від Nginx і Apache; інші формати дають порожню статистику.
  • Боти розпізнаються за user agent, тож фальшивий бот, що прикидається Googlebot, теж рахується.

Поширені запитання

Які формати логів підтримуються?

Формат combined, який Nginx і Apache пишуть за замовчуванням: рядок запиту й user agent у лапках. Якщо жоден рядок не підходить, інструмент так і каже, а не мовчки показує нулі.

Чи впорається він із великими чи стиснутими файлами?

Так. Файл читається частинами у фоновому воркері, тож його розмір обмежує лише ваш пристрій, а стиснуті gzip логи на кшталт access.log.1.gz розпаковуються на льоту й розпізнаються за вмістом, а не лише за розширенням.

Чи рахуються фальшиві Googlebot?

Так. Рядок логу показує лише user agent, а його може задати будь-хто. Щоб упевнитися, що візит від Google, перевірте IP зворотним DNS-запитом; цей інструмент цього не робить.