Noindex и Nofollow: как, зачем и для чего используют в SEO

SEO продвижение 
Время чтения: 8 мин, 14 сек
Noindex и Nofollow: как, зачем и для чего используют в SEO

Содержание:

Для закрытия от индексации страницы или ее определенных частей, нужно понимать разницу между понятиями noindex и nofollow, что из этого тег, атрибут или мета-тег, как грамотно их использовать и не наступить на грабли.

Тег <noindex> и как его применять

Тег — это структурная единица HTML разметки, а все что внутри, называют содержанием элемента.

Что такое тег <noindex>?

<noindex> — тег, который используется для закрытия определенных участков текста. Контент внутри будет недоступен для индексации поисковыми системами, такими как Yandex и Rambler. То есть, с его помощью, мы запрещаем боту сканировать часть контента. Эту конструкцию правильно использовать внутри <body></body> в таком виде:

<noindex>нас не увидят</noindex>

Важно помнить: <noindex> не стандартизирован компанией Google и не относится к официальной разметке HTML. Поэтому, будет вызывать ошибки в коде. Так как Google этот тег не знает, то и скрыть контент от индексации не сможет.

Валидность HTML сохраняется с использованием специальной конструкции:

<!--noindex-->Мы спрятались 0_0<!--/noindex-->

Когда использовать?

На тот случай, когда мы не хотим затрагивать основной контент страницы, а только скрыть определенные служебные участки текста. Тогда на помощь приходить тег который не разрешит поисковикам добавить выбранный участок в индексную базу.

“А смысл нам что-то скрывать?” — спросите вы.

А поисковый робот ответит: “Берегите уникальность своего контента и это вернется вам высокими позициями в выдаче”.

Поисковые системы любят сайты с уникальным наполнением и за это благодарят их высокими позициями в выдаче. На ранжирование влияет ряд негативных факторов:

  • выдержки из законодательства;
  • цитирование чужих авторов;
  • служебный контент на вашем ресурсе;
  • периодически дублирующий текст;
  • сохранить контент от переспама ключевыми словами для Yandex и Rambler.

Атрибут rel=“nofollow”

Что такое атрибут rel=“nofollow”

rel=“nofollow” — это атрибут ссылки <a></a>, который закрывает от поисковых роботов определенные ссылки, во избежание их индексации.

Атрибут rel=“nofollow” используется в разметке в таком виде:

<a href="http://mysite.com/" rel="nofollow">название ссылки</a>

Случаи использования rel=“nofollow”

Частое использование данного атрибута можно встретить на форумах и статьях, а точнее в комментариях пользователей под ними. Но мы рассмотрим и другие случаи использования, такие как:

  • закрытие внешних ссылок или крауд-ссылок, когда вы не можете отвечать за содержание и надежность контента;
  • закрытие внутренних ссылок служебных страниц, которые предназначены для регистрации или входа в личный профиль;
  • закрытие проплаченных рекламных ссылок с атрибутом rel=”sponsored”, что убережет ваш сайт от возможных санкций со стороны поисковых систем.

В описанных случаях лучше скрывать ссылки от роботов и грамотно распределять ссылочный вес на сайте, что поможет сэкономить им краулинговый бюджет.

Краулинговый бюджет — это определенное количество страниц на сайте, с которым поисковые роботы могут справится за одну проверку на ресурсе.

Какой вес у ссылки с атрибутом rel=“nofollow”?

Весом ссылки называют относительный показатель, который влияет на ранжирование сайта в поисковой выдаче. Чем выше вес, тем приоритетнее ссылка для роботов.

Нужно понимать что ссылка по факту будет просмотрена, но будет иметь гораздо меньше веса, сравнительно с остальными. Этот факт говорит нам что на ранжирование страниц, ссылка с данным атрибутом, практически не повлияет.

Исключения есть. Это случаи когда мы ссылаемся на социальные сети, такие как: Twitter и Facebook. Google попросту игнорирует атрибут rel=“nofollow” и вносит в общий index.

Детальнее об этом вы можете прочитать в официальной документации от Google и Yandex:

https://support.google.com/webmasters/answer/96569
https://yandex.ru/support/webmaster/controlling-robot/html.xml

Тег <noindex> и атрибут rel=“nofollow”

Давайте взглянем на тот случай, когда такая комбинация нецелесообразна.

Зачем использовать тег <noindex> и атрибут rel=”nofollow” вместе?

В случае, когда мы хотим скрыть от индексации и сделать текст внутри ссылки невидимым для таких поисковых систем как Yandex и Rambler(подробнее о разных поисковиках читайте выше). Google же прочитает название ссылки, но не внесет ее в свой index благодаря атрибуту rel=”nofollow”.

Вместе это выглядит так:

<noindex><a href="http://mysite.com/" rel="nofollow">название ссылки</a></noindex>

Мы видим, как ссылку с атрибутом rel=”nofollow” обернули в тег <noindex>. Это верный способ написания кода.

Мета-тег <meta name=»robots» content=»noindex, nofollow» />

Начнем с базовых пониманий. Мета-тег — это служебная информация для страницы, которая указывается в документе в верхнем блоке <head></head> с HTML разметкой.

Что такое мета-тег robots?

В нашем случае, мета-тег с атрибутом name=“robots” дает указание роботам всех поисковых систем, без исключения. Так же, есть name=“googlebot”, виден только Google, и name=“yandex”, соответственно только для Yandex поисковика.

В коде это выглядит так:

<!DOCTYPE html>

<html><head>

<meta name="robots" content="noindex" />

(…)

</head>

<body>(…)</body>

</html>

Атрибут content может принимать такие параметры как:

  • “noindex” — ставит запрет на индексацию контента, но ссылки в документе все еще видны для поисковых роботов и открыты для просмотров и переходов на них
  • “nofollow” — закрывает все ссылки на данной странице от индексации. Это касается как внешних, так и внутренних.

Варианты использования meta тега robots с noindex и nofollow

Возможны такие варианты использования:

<meta name="robots" content="index, follow"/> <!-- — включена индексация страницы и ссылок. Стоит по умолчанию для каждого сайта. -->

<meta name="robots" content="noindex, follow"/> <!-- — запрет на индексацию контента страницы, но разрешен переход и просмотр ссылок. -->

<meta name="robots" content="index, nofollow"/> <!-- — включена индексация, но запрещен переход и просмотр ссылок. -->

<meta name="robots" content="noindex, nofollow"/>  <!-- — запрет на индексацию и переход по ссылкам страницы. -->

Перечисленные варианты также можно использовать для скрытия от определенных поисковых систем, таких как Yandex и Google. Возможные варианты атрибута name видно выше, а в коде это может выглядеть так:

<meta name="googlebot" content="noindex, follow" />.

Стоит подбирать комбинацию атрибутов четко под свои цели и задачи. Давайте рассмотрим некоторые из них.

Когда нам нужен мета-тег “robots” со значением “noindex” или “nofollow”?

Мета-тег следует использовать на следующих страницах:

  • со служебной информацией(админ. панель, логи сервера);
  • дублирующийся контент(пагинация, архивы, теги).

А также в случаях:

  • когда следует закрыть страницу от индексирования, но оставить возможность просматривать ссылки;
  • когда хотите удалить документ из index и не допустить просмотра ссылок поисковыми роботами;
  • когда нужно закрыть переход по ссылкам уже индексированного документа.

Отличия между meta robots noindex и Disallow в robots.txt

Как мета-тег, так и robots.txt используются с целью запрета от индексации страниц для поисковых роботов. Но нужно учитывать особенности каждого в во избежание непредсказуемого результата.

Принципиальные отличия

Как мы уже знаем, есть два основных способа закрытия сайта от индексации:

  • <meta name="robots" content="noindex, follow"/> <!-- — запрет на индексацию контента страницы. -->
  • директива Disallow в robots.txt запрет на сканирование.

В первом случае, поисковые роботы увидев данный мета-тег, не индексируют документ или убирают из своего index (если она ранее была проиндексирована). Распространяется только на ту страницу, на которой указан мета-тег.

Во втором случае, роботам запрещается даже заходить на сайт. Используя директиву Disallow, можно скрыть от индексации как один документ, так и целую директорию прописав в файле назначение, которое заканчивается слешем “/dist/profile/”.

Есть 2 важных момента:

  • поисковая система Yandex рассматривает файл robots.txt как обязательную директиву, а для Google это всего лишь рекомендация. Даже если Google проиндексирует документ, то его содержание не будет иметь веса и это не скажется на ранжировании сайта, ведь стояла рекомендация “не индексировать”
  • Поисковый робот может обращаться к файлу robots.txt не при каждом заходе на ваш сервер. Это значит, если ресурс ранее уже был проиндексирован, то может еще какое-то время находится в index, даже если страница закрыта в файле robots.txt.

Случаи использования meta robots noindex и Disallow в robots.txt

Мета-тег robots используется в том случае, когда мы хотим убрать определенный документ из index, даже если она уже была ранее проиндексирована. Для удобства, чтобы не перегружать robots.txt.

Писать Disallow есть смысл когда ваш сайт еще не попала в index. Это делается для запрета сканирования документов, служебных файлов и динамических частей ресурса.

Распространенные ошибки

Мы рассмотрели разные способы закрытия от индексации, но сложности встречаются у каждого пути. Давайте рассмотрим самые популярные из них.

Неправильные способы закрытия от индексации:

  • пользоваться тегом <noindex> и забыть, что только Yandex его распознает, а для Google контент будет полностью проиндексирован.
  • пытаться удалить сайт из index с помощью Disallow в robots.txt. Да, к вам поисковый робот больше не зайдет, но и из поиска никуда не денется. Для полного удаления из index, воспользуйтесь Google Search Console.
  • пытаться удалить страницу сайта из index с помощью robots.txt + мета-тега robots. Мы закрыли страницу от сканирования роботами, но она уже находится в index. При следующем сканировании они не смогут зайти на ресурс и увидеть мета-тег, чтобы убрать его из index. По итогу она так и останется видимой для поисковой системы.

Как этого избежать?

После прочтения данной статьи:

  1. Определите что именно вам нужно скрыть. Это может быть директория, документ или часть контента.
  2. Четко под свои задачи, выберите нужный способ решения.
  3. Перечитайте о нем более детально в этой статье и возьмите во внимание нюансы использования и внедрения.

Если остались еще вопросы, пишите в комментариях. И помните что самый плохой вопрос — это незаданный вопрос.

0

комментариев

Добавить комментарий

Получай новости первым

Спасибо! Ваше сообщение отправлено.