Зміст:

Тег <noindex> і як його застосовувати.
- Що таке тег <noindex>?
- Коли використовувати?
Атрибут rel=“nofollow”.
Тег <noindex> и атрибут rel=“nofollow”.
- Навіщо використовувати тег <noindex> та атрибут rel=”nofollow” разом?
Мета-тег <meta name=”robots” content=”noindex, nofollow” />.
Відмінності між meta robots noindex і Disallow в robots.txt.
- Принципові відмінності.
- Випадки використання meta robots noindex і Disallow у robots.txt.
Поширені помилки.
- Неправильні способи закриття від індексації.
- Як цього уникнути?

Для закриття від індексації сторінки або її певних частин потрібно розуміти різницю між поняттями noindex і nofollow, що з цього тег, атрибут або мета-тег, як грамотно їх використовувати і не наступити на граблі.

Тег <noindex> та як його застосовувати

Тег – це структурна одиниця HTML розмітки, а все, що всередині, називають змістом елемента.

Що таке тег <noindex>?

<noindex> – тег, який використовується для закриття певних ділянок тексту. Контент усередині буде недоступний для індексації пошуковими системами, такими як Yandex та Rambler. Тобто, за його допомогою, ми забороняємо роботі сканувати частину контенту. Цю конструкцію правильно використовувати всередині <body></body> у такому вигляді:

<noindex>нас не увидят</noindex>

Важливо пам’ятати: <noindex> не стандартизовано Google і не належить до офіційної розмітки HTML. Тому буде викликати помилки в коді. Оскільки Google цей тег не знає, то й приховати контент від індексації не зможе.

Валідність HTML зберігається з використанням спеціальної конструкції:

<!--noindex-->Мы спрятались 0_0<!--/noindex-->

Коли використати?

На той випадок, коли ми не хочемо торкатися основного контенту сторінки, а лише приховати певні службові ділянки тексту. Тоді на допомогу приходити тег, який не дозволить пошукачам додати обрану ділянку в індексну базу.

“А сенс нам щось приховувати?” – Спитайте ви.

А пошуковий робот відповість: “Бережіть унікальність свого контенту і це повернеться вам високими позиціями у видачі”.

Пошукові системи люблять сайти з унікальним наповненням і за це дякують їхнім високим позиціям у видачі. На ранжування впливає низка негативних факторів:

витяги із законодавства;
цитування чужих авторів;
службовий контент на вашому ресурсі;
періодично дублюючий текст;
зберегти контент від переспаму ключовими словами для Yandex та Rambler.

Атрибут rel=“nofollow”

Що таке атрибут rel=“nofollow”

rel=“nofollow” — це атрибут посилання <a></a>, який закриває від пошукових роботів певні посилання, щоб уникнути їх індексації.

Атрибут rel=“nofollow” використовується в розмітці в такому вигляді:

<a href="http://mysite.com/" rel="nofollow">название ссылки</a>

Випадки використання rel=“nofollow”

Часте використання даного атрибуту можна зустріти на форумах та статтях, а точніше у коментарях користувачів під ними. Але ми розглянемо інші випадки використання, такі як:

закриття зовнішніх посилань або крауд-посилань, коли ви не можете відповідати за зміст та надійність контенту;
закриття внутрішніх посилань службових сторінок, призначених для реєстрації або входу в особистий профіль;
закриття проплачених рекламних посилань з атрибутом rel=”sponsored”, що убереже ваш сайт від можливих санкцій з боку пошукових систем.

В описаних випадках краще приховувати посилання від роботів і грамотно розподіляти вагу на сайті, що допоможе заощадити їм краулінговий бюджет.

Краулінговий бюджет – це певна кількість сторінок на сайті, з яким пошукові роботи можуть впоратися за одну перевірку на ресурсі.

Яка вага посилання з атрибутом rel=“nofollow”?

Вагу посилання називають відносний показник, який впливає на ранжування сайту в пошуковій видачі. Чим вища вага, тим пріоритетнішим є посилання для роботів.

Потрібно розуміти, що посилання за фактом буде переглянуто, але матиме набагато менше ваги, порівняно з рештою. Цей факт говорить нам, що на ранжування сторінок, посилання з цим атрибутом, практично не вплине.

Винятки є. Це випадки, коли ми посилаємося на соціальні мережі, такі як: Twitter і Facebook. Google просто ігнорує атрибут rel=“nofollow” та вносить у загальний index.

Детальніше про це ви можете прочитати в офіційній документації від Google та Yandex:

https://support.google.com/webmasters/answer/96569
https://yandex.ru/support/webmaster/controlling-robot/html.xml

Тег <noindex> та атрибут rel=“nofollow”

Погляньмо на той випадок, коли така комбінація недоцільна.

Навіщо використовувати тег <noindex> та атрибут rel=”nofollow” разом?

У випадку, коли ми хочемо приховати від індексації та зробити текст усередині посилання невидимим для таких пошукових систем як Yandex та Rambler (докладніше про різних пошукових систем читайте вище). Google прочитає назву посилання, але не внесе її в свій index завдяки атрибуту rel=”nofollow”.

Водночас це виглядає так:

<noindex><a href="http://mysite.com/" rel="nofollow">название ссылки</a></noindex>

Ми бачимо, як посилання з атрибутом rel=”nofollow” обернули тег <noindex>. Це правильний спосіб написання коду.

Мета-тег <meta name=”robots” content=”noindex, nofollow” />

Почнемо з базових розуміння. Мета-тег – це службова інформація для сторінки, яка вказується у документі у верхньому блоці <head></head> з HTML розміткою.

Що таке мета-тег robots?

У нашому випадку мета-тег з атрибутом name=“robots” дає вказівку роботам всіх пошукових систем, без винятку. Також є name=“googlebot”, видно лише Google, і name=“yandex”, відповідно лише для Yandex пошукача.

У коді це виглядає так:

<!DOCTYPE html>

<html><head>

<meta name="robots" content="noindex" />

(…)

</head>

<body>(…)</body>

</html>

Атрибут content може приймати такі параметри як:

“noindex” – ставить заборону на індексацію контенту, але посилання в документі все ще видно для пошукових роботів і відкриті для переглядів і переходів на них
“nofollow” – закриває всі посилання на цій сторінці від індексації. Це стосується як зовнішніх, так і внутрішніх.

Варіанти використання meta тега robots з noindex і nofollow

Можливі такі варіанти використання:

<meta name="robots" content="index, follow"/> <!-- — включена индексация страницы и ссылок. Стоит по умолчанию для каждого сайта. -->

<meta name="robots" content="noindex, follow"/> <!-- — запрет на индексацию контента страницы, но разрешен переход и просмотр ссылок. -->

<meta name="robots" content="index, nofollow"/> <!-- — включена индексация, но запрещен переход и просмотр ссылок. -->

<meta name="robots" content="noindex, nofollow"/>  <!-- — запрет на индексацию и переход по ссылкам страницы. -->

Перелічені варіанти також можна використовувати для приховання від певних пошукових систем, таких як Yandex та Google. Можливі варіанти атрибута name видно вище, а код може виглядати так:

<meta name="googlebot" content="noindex, follow" />.

Варто підбирати комбінацію атрибутів чітко під свої цілі та завдання. Давайте розглянемо деякі з них.

Коли нам потрібний мета-тег “robots” зі значенням “noindex” чи “nofollow”?

Мета-тег слід використовувати на наступних сторінках:

зі службовою інформацією (адмін. панель, логи сервера);
дублюючий контент (пагінація, архіви, теги).

А також у випадках:

коли слід закрити сторінку від індексування, але залишити можливість переглядати посилання;
коли хочете видалити документ із index та не допустити перегляду посилань пошуковими роботами;
коли необхідно закрити перехід за посиланнями вже індексованого документа.

Відмінності між meta robots noindex і Disallow у robots.txt

Як мета-тег, і robots.txt використовуються з метою заборони від індексації сторінок для пошукових роботів. Але треба враховувати особливості кожного, щоб уникнути непередбачуваного результату.

Принципові відмінності

Як ми вже знаємо, є два основні способи закриття сайту від індексації:

<meta name="robots" content="noindex, follow"/> <!-- — запрет на индексацию контента страницы. -->

директива Disallow у robots.txt заборона на сканування.

У першому випадку пошукові роботи побачивши даний мета-тег, не індексують документ або прибирають зі свого index (якщо вона раніше була проіндексована). Поширюється лише ту сторінку, де зазначено мета-тег.

У другому випадку роботам забороняється навіть заходити на сайт. Використовуючи директиву Disallow, можна приховати від індексації як один документ, так і цілу директорію прописавши у файлі призначення, яке закінчується «/dist/profile/».

Є 2 важливі моменти:

пошукова система Yandex розглядає файл robots.txt як обов’язкову директиву, а для Google це лише рекомендація. Навіть якщо Google проіндексує документ, його зміст не матиме ваги і це не позначиться на ранжируванні сайту, адже стояла рекомендація “не індексувати”
пошуковий робот може звертатися до файлу robots.txt не при кожному заході на ваш сервер. Це означає, якщо ресурс раніше був проіндексований, то може ще якийсь час знаходиться в index, навіть якщо сторінка закрита у файлі robots.txt.

Випадки використання meta robots noindex і Disallow у robots.txt

Мета-тег robots використовується в тому випадку, коли ми хочемо прибрати певний документ з index, навіть якщо вона вже була проіндексована раніше. Для зручності, щоб не перевантажувати robots.txt.

Писати Disallow є сенс, коли ваш сайт ще не потрапила в index. Це робиться для заборони сканування документів, службових файлів та динамічних частин ресурсу.

Поширені помилки

Ми розглянули різні способи закриття від індексації, але складнощі зустрічаються у кожного шляху. Давайте розглянемо найпопулярніші з них.

Неправильні способи закриття від індексації:

користуватися тегом <noindex> і забути, що тільки Yandex його розпізнає, а Google контент буде повністю проіндексований.
намагатися видалити сайт з index за допомогою Disallow у robots.txt. Так, до вас пошуковий робот більше не зайде, але з пошуку нікуди не подінеться. Для повного видалення з index, скористайтеся Google Search Console.
намагатись видалити сторінку сайту з index за допомогою robots.txt + мета-тега robots. Ми закрили сторінку від сканування роботами, але вона вже перебуває в index. При наступному скануванні вони не зможуть зайти на ресурс і побачити мета-тег, щоб забрати його з index. За підсумками вона так і залишиться видимою для пошукової системи.

Як цього уникнути?

Після прочитання цієї статті:

Визначте, що саме вам потрібно приховати. Це може бути директорія, документ чи частина контенту.
Чітко під свої завдання виберіть потрібний спосіб вирішення.
Перечитайте про нього детальніше в цій статті та візьміть до уваги нюанси використання та впровадження.

Якщо ще залишилися питання, пишіть у коментарях. І пам’ятайте, що найгірше питання — це непоставлене питання.

Noindex та Nofollow: як, навіщо і для чого використовують у SEO