Як провести аналіз логів сайту і чому це важливо для вашого SEO?

Щоб побудувати ефективну стратегію оптимізації сайту і скласти план робіт, необхідно розуміти, що саме ви будете змінювати. Другий важливий фактор – те, як пошуковий бот сканує ваш сайт і які сторінки, можливо, не потрапляють у видачу пошукових систем. Щоб отримати всю цю інформацію, необхідно проаналізувати логи сайту.

У статті ми розповімо:

• Що таке логи сайту і яку інформацію вони містять?
• Навіщо аналізувати логи сервера, на якому знаходиться ваш сайт?
• Де знайти і як вивантажити з сервера файли логів?
• Як виконується лог аналіз? Які інструменти для нього використовувати?

Що таке логи сайту і яку інформацію вони несуть?

Лог-файли – це текстові документи з інформацією про всі дії ботів пошукових систем на сайті та активності користувачів. Також в файлах відображаються:

• дата і час кожного відвідування;
• URL до яких надходили запити;
• час на завантаження сторінки;
• інші дані користувачів і ін.

Як проаналізувати логи сайту і для чого це потрібно?

Давайте розберімося з тим, для чого потрібні логи сайту і навіщо їх аналізувати. Перегляд і аналіз логів дозволяє дізнатися:

• як пошуковий бот сканує ваш сайт і за якими URL переходить;
• що потрібно міняти на сайті та в якій послідовності;
• відстежити витрати та оптимізувати ваш краулінговий бюджет тощо.

Вивчення архівних логів сайту – основа для правильної стратегії оптимізації сайту.

Свіжі логи покажуть, чи правильно індексуються всі сторінки вашого сайту. Також стане зрозуміло як бот переміщається по URL адресах та ін. Крім цього аналіз інформації покаже, чи правильно бот сприймає контент і його релевантність. Аналіз логів допоможе уникнути блокування сайту. Часто це відбувається через велику кількість помилок.

Пам’ятайте! Якщо бот довго не заходить на певні сторінки сайту, вони, швидше за все, випадуть з індексу.

Де знайти лог файли для аналізу?

Для початку визначимося з тим, за який період ми аналізуємо логи. Оптимальний варіант – період більше одного місяця. Найчастіше беруть логи за шість місяців.

Вивантажити логи за обраний період можна за допомогою інтерфейсу вашого хостингу. Якщо ви не знайшли способу це зробити, просто напишіть на підтримку вашого хостинг-провайдера.

Логи сайту: аналіз за допомогою інструментів і сервісів

Ще кілька років тому лог файли аналізували вручну. Фахівці просто експортували файли й аналізували їх за допомогою таблиць Excel і вбудованого функціонала для формул і діаграм.

Це застарілий і занадто трудомісткий підхід. Основний недолік – великі витрати часу, тому, зупинятися на ньому ми не будемо.

Професійні програми та сервіси для аналізу лог-файли прискорюють процес. Завдяки візуалізації робота аналітиків стає набагато простіше. У деяких випадках аналізатори логів встановлюють безпосередньо на сервер. Такий варіант зручний і ефективний для проєктів, які зберігаються на власних серверах. Коротко розберемо основні інструменти для автоматизації цього завдання.

Аналізатор від Screaming Frog

Це один з найпопулярніших і зручних інструментів для вивчення логів сайту. У інструменту є безкоштовна версія. У ній журнал подій обмежений до 1000 рядків. Цього достатньо для невеликого проєкту.

Аналізатор потрібно встановлювати на комп’ютер. Онлайн аналіз логів в цій програмі покаже коди відповіді сторінок, час останнього переходу на кожен URL адреса, кількість пошукових роботів тощо.

GoAccess – швидкий перегляд в реальному часі

Підходить для швидкого аналізу даних без глибокого вивчення і фільтрації. Основна ідея – швидко переглянути логи сервера і провести аналіз в режимі реального часу.

Splunk

Через цей сервіс можна безкоштовно аналізувати до 500MB даних в день. Тут дуже зручно збирати, зберігати й порівнювати журнали сайту.

Logstash

Простий, зручний і безкоштовний інструмент з відкритим вихідним кодом. Дозволяє збирати, зберігати та аналізувати журнали сайтів.

JetOctopus – платний інструмент для просунутих

Потужний платний інструмент, який дає велику кількість інформації. Вартість місячної підписки від 20 доларів. Є 7-денний пробний період. Рекомендуємо використовувати для сайтів з кількістю сторінок понад 100000.

Головна перевага – зручність, адаптованість до великих проєктів.

Головний недолік – ціна.

Power BI і його аналізатор логів

Power BI – багатофункціональний і безкоштовний програмний інструмент від Microsoft. Дозволяє отримувати, обробляти інформацію. За допомогою Power BI можна також візуалізувати дані з різних джерел. На базі Power BI ви можете самостійно створити дашборд для перегляду та аналізу даних з журналів сайту. Подивимося, як це зробити.

Крок 1. Готуємо дані. Для формування звіту нам будуть потрібні:

• лог-файли за певний період (це може бути кілька тижнів або місяців);
• повний список URL сайту.

Крок 2. Завантажуємо інформацію. Перед завантаженням відключаємо політику конфіденційності. Вибираємо в меню Файл – Параметри і налаштування – Параметри – Конфіденційність – Ігнорувати.

Коли це зроблено завантажте логи з папки та підключіть джерело даних. Потім об’єднуємо всі завантажені файли логів в один. Це можна зробити за три кліка.

Наступна дія – завантажуємо файл з URL сайту.

Крок 3. Форматування даних. Видаляємо порожні стовпці, замінюємо непотрібні символи (наприклад, квадратні дужки) на прогалини.

Крок 4. Візуалізація даних. У Power BI є багато варіантів побудови графіків, діаграм і схем. З їх допомогою можна перевірити гіпотези, що виникли при побіжному перегляді даних.

Всі настройки досить зробити один раз. Надалі ви будете просто замінювати файли логів і URL сайту.

Підіб’ємо підсумки

Аналіз журналів (логів) сайту необхідний, щоб зробити SEO просування максимально ефективним. Логи містять:

• IP, з яких надходили запити до сайту;
• дату, час заходу і географію відвідувань вашого ресурсу;
• метод запиту до певного URL (може бути GET або POST);
• браузер;
• коди відповідей кожної зі сторінок та ін.

Грамотно проаналізувавши логи, ви зможете вирішити відразу кілька завдань, пов’язаних з SEO вашого сайту. Він дозволяє:

• вчасно виявити проблеми з індексацією;
• визначити, чи правильно працюють редиректи;
• дізнатися, як пошукові боти сканують сайт;

Завдяки отриманій інформації ви зможете доповнити та уточнити план робіт з технічної оптимізації сайту. Перш за все, це стосується пріоритетності дій.

Правильне використання програмних інструментів прискорює і спрощує аналіз логів.

У нашому блозі ми будемо ділитися найкориснішою інформацією про розробку та інтернет-маркетинг. Також вам можуть бути цікаві кейси в нашому портфоліо. По кожному випадку ми даємо максимально докладний опис робіт і рішень, їх ефект. Читайте і діліться статтями, які вам сподобалися.