Как провести анализ логов сайта и почему это важно для вашего SEO?

Чтобы построить эффективную стратегию оптимизации сайта и составить план работ, необходимо понимать, что именно вы будете менять. Второй важный фактор – как поисковый бот сканирует ваш сайт и какие страницы, возможно, не попадают в индекс. Чтобы получить всю эту информацию, необходимо проанализировать логи сайта.

В статье мы расскажем: 

• Что такое логи сайта и что в них храниться?
• Зачем анализировать логи сервера, на котором находится ваш сайт?
• Где найти и как выгрузить с сервера файлы логов?
• Как выполняется лог анализ? Какие инструменты для него использовать?

Что такое логи сайта и какую информацию они несут? 

Лог-файлы – это текстовые документы с информацией обо всех действиях ботов поисковых систем на сайте и активности пользователей. Также в файлах отображаются:

• дата и время каждого посещения;
• URL к которым поступали запросы;
• время на загрузку страницы;
• другие данные пользователей и пр.

Зачем и как проанализировать логи сайта? 

Давайте разберемся с тем, для чего нужны логи сайта и зачем их анализировать. Просмотр и анализ логов позволяет узнать:

• как поисковый бот сканирует ваш сайт и по каким URL переходит;
• что нужно менять на сайте и в какой последовательности;
• отследить расходы и оптимизировать ваш краулинговый бюджет и пр.

Изучение архивных логов сайта – основна для правильной стратегии оптимизации сайта.

Свежие логи покажут, правильно ли индексируются все страницы вашего сайта. Также станет понятно как бот перемещается по URL адресам и пр. Также анализ этой информации покажет, правильно ли бот воспринимает контент и его релевантность. Анализ логов поможет избежать блокировки сайта. Часто это происходит из-за большого количества ошибок.

Помните! Если бот долго не заходит на определенные страницы сайта, они, скорее всего, выпадут из индекса.

Где найти лог файлы для анализа? 

Для начала определимся с тем, за какой период мы анализируем логи. Оптимальный вариант – период более одного месяца. Чаще всего берут логи за шесть месяцев.

Выгрузить логи за выбранный период можно с помощью интерфейса вашего хостинга. Если вы не нашли способа это сделать, просто напишите в поддержку вашего хостинг-провайдера.

Логи сайта: анализ с помощью инструментов и сервисов 

Еще несколько лет назад лог файлы анализировали вручную. Специалисты просто экспортировали файлы и анализировали их с помощью таблиц Excel и встроенного функционала для формул и диаграмм.

Это устаревший и слишком трудоемкий подход. Основной недостаток – большие затраты времени поэтому останавливаться на нем мы не будем.

Профессиональные программы и сервисы для анализа файлов журнала ускоряют процесс. Благодаря визуализации работа аналитиков становится намного проще. В некоторых случаях анализаторы логов устанавливают непосредственно на сервер. Такой вариант удобен и эффективен для проектов, которые хранятся на собственных серверах. Коротко разберем основные инструменты для автоматизации этой задачи.

Анализатор от Screaming Frog 

Это один из самых популярных и удобных инструментов для изучения логов сайта. У инструмента есть бесплатная версия. В ней журнал событий ограничен 1000 строк. Этого достаточно для небольшого проекта.

Анализатор нужно устанавливать на компьютер. Онлайн анализ логов в этой программе покажет коды ответа страниц, время последнего перехода на каждый URL адрес, количество поисковых ботов и пр.

GoAccess – быстрый просмотр в реальном времени

Подходит для быстрого анализа данных без глубокого изучения и фильтрации. Основная идея – быстро просмотреть логи сервера и провести анализ в режиме реального времени.

Splunk

Через этот сервис можно бесплатно анализировать до 500MB данных в день. Здесь очень удобно собирать, хранить и сравнивать журналы сайта.

JetOctopus – платный инструмент для продвинутых

Мощный платный инструмент, который дает большое количество информации. Стоимость месячной подписки от 20 долларов. Есть 7-дневный пробный период. Рекомендуем использовать для сайтов с количеством страниц более 100000.

Главное достоинство – удобство, адаптивность к большим проектам.

Главный недостаток – цена.

Power BI и его анализатор логов 

Power BI – многофункциональный и бесплатный программный инструмент от Microsoft. Позволяет получать, обрабатывать информацию. С помощью Power BI можно также визуализировать данные из различных источников. На базе Power BI вы можете самостоятельно создать дашборд для просмотра и анализа данных из журналов сайта. Посмотрим, как это сделать.

Шаг 1. Готовим данные. Для формирования отчета нам потребуются:

• файлы логов за определенный период (это может быть несколько недель или месяцев);
• полный список URL сайта.

Шаг 2. Загружаем информацию. Перед загрузкой отключаем политику конфиденциальности. Выбираем в меню Файл – Параметры и настройки – Параметры – Конфиденциальность – Игнорировать.

Когда это сделано загрузите логи из папки и подключите источник. Затем объединяем все загруженные файлы логов в один. Это можно сделать за три клика.

Следующее действие – загружаем файл с URL сайта.

Шаг 3. Форматирование данных. Удаляем пустые столбцы, заменяем ненужные символы (например, квадратные скобки) на пробелы.

Шаг 4. Визуализация данных. В Power BI есть много вариантов построения графиков, диаграмм и схем. С их помощью можно проверить гипотезы, возникшие при беглом просмотре данных.

Все настройки достаточно сделать один раз. В дальнейшем вы будете просто заменять файлы логов и URL сайта.

Подведем итоги 

Анализ журналов (логов) сайта необходим, чтобы сделать SEO продвижение максимально эффективным. Логи содержат:

• IP, с которых поступали запросы к сайту;
• дату, время захода и географию посещений вашего ресурса;
• метод запроса к определенному URL (может быть GET или POST);
• браузер;
• коды ответов каждой из страниц и пр.

Грамотно проанализировав логи, вы сможете решить сразу несколько задач, связанных с SEO вашего сайта. Он позволяет:

• вовремя обнаружить проблемы с индексацией;
• определить, правильно ли работают редиректы;
• узнать, как поисковые боты сканируют сайт;

Благодаря полученной информацией вы сможете дополнить и уточнить план работ по технической оптимизации сайта. Прежде всего, это касается приоритетности действий.

Правильное использование программных инструментов ускоряет и упрощает анализ логов.

В нашем блоге мы будем делиться самой полезной информацией о разработке и интернет-маркетинге. Также вам могут быть интересны кейсы в нашем портфолио. По каждому случаю мы даем максимально подробное описание работ и решений, их эффект. Читайте и делитесь статьями, которые вам понравились.