Как провести анализ логов сайта и почему это важно для вашего SEO?

SEO продвижение 
Как провести анализ логов сайта и почему это важно для вашего SEO?

Чтобы построить эффективную стратегию оптимизации сайта и составить план работ, необходимо понимать, что именно вы будете менять. Второй важный фактор – как поисковый бот сканирует ваш сайт и какие страницы, возможно, не попадают в индекс. Чтобы получить всю эту информацию, необходимо проанализировать логи сайта.

В статье мы расскажем: 

Что такое логи сайта и какую информацию они несут? 

Лог-файлы – это текстовые документы с информацией обо всех действиях ботов поисковых систем на сайте и активности пользователей. Также в файлах отображаются:

  • дата и время каждого посещения;
  • URL к которым поступали запросы;
  • время на загрузку страницы;
  • другие данные пользователей и пр.

логи на хостинге

Зачем и как проанализировать логи сайта? 

Давайте разберемся с тем, для чего нужны логи сайта и зачем их анализировать. Просмотр и анализ логов позволяет узнать:

  • как поисковый бот сканирует ваш сайт и по каким URL переходит;
  • что нужно менять на сайте и в какой последовательности;
  • отследить расходы и оптимизировать ваш краулинговый бюджет и пр.

Изучение архивных логов сайта – основна для правильной стратегии оптимизации сайта.

Свежие логи покажут, правильно ли индексируются все страницы вашего сайта. Также станет понятно как бот перемещается по URL адресам и пр. Также анализ этой информации покажет, правильно ли бот воспринимает контент и его релевантность. Анализ логов поможет избежать блокировки сайта. Часто это происходит из-за большого количества ошибок.

Помните! Если бот долго не заходит на определенные страницы сайта, они, скорее всего, выпадут из индекса.

Где найти лог файлы для анализа? 

Для начала определимся с тем, за какой период мы анализируем логи. Оптимальный вариант – период более одного месяца. Чаще всего берут логи за шесть месяцев.

Выгрузить логи за выбранный период можно с помощью интерфейса вашего хостинга. Если вы не нашли способа это сделать, просто напишите в поддержку вашего хостинг-провайдера.

Логи сайта: анализ с помощью инструментов и сервисов 

Еще несколько лет назад лог файлы анализировали вручную. Специалисты просто экспортировали файлы и анализировали их с помощью таблиц Excel и встроенного функционала для формул и диаграмм.

логи в Excel

Это устаревший и слишком трудоемкий подход. Основной недостаток – большие затраты времени поэтому останавливаться на нем мы не будем.

Профессиональные программы и сервисы для анализа файлов журнала ускоряют процесс. Благодаря визуализации работа аналитиков становится намного проще. В некоторых случаях анализаторы логов устанавливают непосредственно на сервер. Такой вариант удобен и эффективен для проектов, которые хранятся на собственных серверах. Коротко разберем основные инструменты для автоматизации этой задачи.

Анализатор от Screaming Frog 

Это один из самых популярных и удобных инструментов для изучения логов сайта. У инструмента есть бесплатная версия. В ней журнал событий ограничен 1000 строк. Этого достаточно для небольшого проекта.

Анализатор нужно устанавливать на компьютер. Онлайн анализ логов в этой программе покажет коды ответа страниц, время последнего перехода на каждый URL адрес, количество поисковых ботов и пр.

Log File Analyser 3.3 - ot

GoAccess – быстрый просмотр в реальном времени

Подходит для быстрого анализа данных без глубокого изучения и фильтрации. Основная идея – быстро просмотреть логи сервера и провести анализ в режиме реального времени.

goaccess-dashboard

Splunk

Через этот сервис можно бесплатно анализировать до 500MB данных в день. Здесь очень удобно собирать, хранить и сравнивать журналы сайта.

splunk

JetOctopus – платный инструмент для продвинутых

Мощный платный инструмент, который дает большое количество информации. Стоимость месячной подписки от 20 долларов. Есть 7-дневный пробный период. Рекомендуем использовать для сайтов с количеством страниц более 100000.

Главное достоинство – удобство, адаптивность к большим проектам.

Главный недостаток – цена.

jet octopus

Power BI и его анализатор логов 

Power BI – многофункциональный и бесплатный программный инструмент от Microsoft. Позволяет получать, обрабатывать информацию. С помощью Power BI можно также визуализировать данные из различных источников. На базе Power BI вы можете самостоятельно создать дашборд для просмотра и анализа данных из журналов сайта. Посмотрим, как это сделать.

Шаг 1. Готовим данные. Для формирования отчета нам потребуются:

  • файлы логов за определенный период (это может быть несколько недель или месяцев);
  • полный список URL сайта.

Шаг 2. Загружаем информацию. Перед загрузкой отключаем политику конфиденциальности. Выбираем в меню Файл – Параметры и настройки – Параметры – Конфиденциальность – Игнорировать.

Когда это сделано загрузите логи из папки и подключите источник. Затем объединяем все загруженные файлы логов в один. Это можно сделать за три клика.

Следующее действие – загружаем файл с URL сайта.

Шаг 3. Форматирование данных. Удаляем пустые столбцы, заменяем ненужные символы (например, квадратные скобки) на пробелы.

Шаг 4. Визуализация данных. В Power BI есть много вариантов построения графиков, диаграмм и схем. С их помощью можно проверить гипотезы, возникшие при беглом просмотре данных.

Все настройки достаточно сделать один раз. В дальнейшем вы будете просто заменять файлы логов и URL сайта.

power bi анализ логов

Подведем итоги 

Анализ журналов (логов) сайта необходим, чтобы сделать SEO продвижение максимально эффективным. Логи содержат:

  • IP, с которых поступали запросы к сайту;
  • дату, время захода и географию посещений вашего ресурса;
  • метод запроса к определенному URL (может быть GET или POST);
  • браузер;
  • коды ответов каждой из страниц и пр.

Грамотно проанализировав логи, вы сможете решить сразу несколько задач, связанных с SEO вашего сайта. Он позволяет:

  • вовремя обнаружить проблемы с индексацией;
  • определить, правильно ли работают редиректы;
  • узнать, как поисковые боты сканируют сайт;

Благодаря полученной информацией вы сможете дополнить и уточнить план работ по технической оптимизации сайта. Прежде всего, это касается приоритетности действий.

Правильное использование программных инструментов ускоряет и упрощает анализ логов.

В нашем блоге мы будем делиться самой полезной информацией о разработке и интернет-маркетинге. Также вам могут быть интересны кейсы в нашем портфолио. По каждому случаю мы даем максимально подробное описание работ и решений, их эффект. Читайте и делитесь статьями, которые вам понравились.

0

комментариев

Добавить комментарий

Получай новости первым

Спасибо! Ваше сообщение отправлено.