Noindex nofollow – что означают HTML теги, применение в статьях и ссылках

Автор Валентин На чтение 8 мин Просмотров 1.2к. Опубликовано 25.06.2021

В оптимизации сайта и SEO огромную роль играют запрещающие директивы noindex nofollow, с помощью которых можно управлять поведением поисковых роботов на странице. Технология немного стала терять свою силу, но в статье разберем как пользоваться ноуиндекс и нофоллов, чтобы вебмастер понимал для чего они нужны и какую пользу несут в себе.

Содержание

1. Что такое noindex и nofollow – их разница
2. Как пользоваться noindex
3. Ноуидекс в атрибуте robots на примере HTML кода для страницы
4. Noindex для отдельных кусков кода или текста
5. Как пользоваться nofollow
6. Значение nofollow в атрибуте content
7. Блокировка отдельных ссылок
8. Применение noindex и nofollow вместе
9. Disallow в robots и noindex – как с ними работать
10. Как вставить noindex nofollow на разных CMS
11. WordPress
12. Opencart
13. Bitrix
14. Итог

Что такое noindex и nofollow – их разница

Для начала зададим определения, что это такое noindex и nofollow, чтобы понимать весь дальнейший процесс их постановки внутри кода.

Метатег noindex – запрещает к индексации (обходу) страницу целиком поисковыми системами либо отдельный участок. Простыми словами ноуиндекс запрещает брать в индекс участок документа либо всю ее, применяется для внутренней оптимизации.

Метатег nofollow – атрибут работающий только с ссылками, то есть тегом <a>, он запрещает переходить роботам ПС по URL и передавать при этом вес другой внутренней странице или внешнему сайту. В основном применяется для внешней оптимизации.

Разница у них огромная – первый регулирует сам документ, второй урлы и переходы по ним. Многие спрашивают про Noreferre и Noarchive, это тоже значения robos в meta, о них поговорим в других статьях.

Как пользоваться noindex

Сейчас noindex применяют в 3 видах, рассмотрим каждый из них и напишу какой из них самый действенный.

Ноуидекс в атрибуте robots на примере HTML кода для страницы

Стопроцентный метод закрыть что-то от индексации в SEO – это поставить noindex на всю страницу. Да гибкости меньше, потому что закрываем все или ничего. Но для удаления дублей и полностью ненужных документов метод идеален. Ниже показано как это выглядит в HTML общий для всех ботов любой поисковой системы.

<meta name="robots" content="noindex"/>

Для разных ботов необходимо указывать его имя, например для Гугла это googlebot, а для Яндекса YandexBot, так выглядит строка. Инструкция должна быть вставлена строго внутри раздела head, чем выше к начал тем лучше.

<meta name="googlebot" content="noindex"/>

Соответственно если хотим наоборот открыть доступ роботам ПС, то меняем команду на index.

Noindex для отдельных кусков кода или текста

Если хотим закрыть от индексирования только часть страницы, чтобы она вырезалась из обхода роботом. То есть тот кусок который будет обернут в ноуиндекс будет невидим для поисковика. Выглядит комбинация так:

<!--noindex-->Кусок кода или текста<!--/noindex-->
или
<noindex>Раздел сайта для блокировки</noindex>

Но сейчас данные приемы работают 50 на 50, причем с очень не стабильной статистикой. Например, поместили информацию об авторе в noindex в сайдбаре, данный блок может на одной странице вырезан из обхода, а на другой взят в поиск. Поэтому данную технологию применяют для исключения блоков, которые просто желательно убирать.

Многие помещают блоки контекстной рекламы в noindex – доказано множеством специалистов, что это никак не действует на SEO, а даже усугубляет. Потому что предпринимаются попытки манипуляцией роботов, что идет во вред блогу.

Как пользоваться nofollow

У nofollow в основном другое предназначение – это работа с ссылками, но его команды в robots так же действуют. Рассмотрим все комбинации применения ноуфолов.

Значение nofollow в атрибуте content

Код означает, что переходить по всем ссылкам на странице запрещено по внешним и внутренним одинаково. Методом блокируем переход только роботам, пользователь может перейти беспрепятственно.

<meta name="robots" content="nofollow"/>  

Аналогично можно регулировать поведение по видам роботов по ПС, например для Yandex. Если подставим follow, то даем разрешение на сканирование, в этом случае можно ничего не прописывать.

<meta name="yandexbot" content="nofollow"/>

Блокировка отдельных ссылок

У nofollow нет механизма закрытия кусков страницы, это не логично, поэтому есть механизм блокировки отдельных ссылок.

<a href="seodesc.ru/author" rel="nofollow">анкор</a>

Способ не дает 100%, что робот не перейдет по ссылке, потому что сейчас данный атрибут является частичной рекомендацией, но для усиления и намека на то что этот урл служебный – комбинация подойдет.

Будет ли работать nofollow для внутренних ссылок и необходимо ли это делать? Да, для служебных страниц, особенно сквозные адреса (корзина, регистрация, вход), советую проставлять его, чтобы исключить их из режима обхода.

Идет ли передача веса в ссылках с nofollow? Минимальное количество ссылок не даст плохого эффекта и передачи веса страницы не будет. Но в разрезе всего сайта, если много документов будет ссылаться на один и тот же адрес, то соответственно вес будет утекать.

Для SMM продвижения и продажи dofollow ссылок – nofollow не пользуются, потому что в первом случае трафик идет из соцсетей, а второй направлен на продажу, правилами запрещено ставить нофолоу.

Применение noindex и nofollow вместе

Употреблять их вместе можно только в теге meta, в других местах их комбинировать нельзя, точнее можно, но боты их понимать не будут, пример в таком исполнении, означает, что не индексировать ни переходить по адресам нельзя.

<meta name="yandexbot" content="noindex,nofollow"/>

Их можно менять местами и вариацию без приставки NO, тем самым более точно руководя поведением. Например, моя любимая для блокировки дублей в пагинации. Расшифрую – ходить по странице можно, но в индекс брать нельзя, одновременно с этим можно ходить по ссылкам.

<meta name="yandexbot" content="noindex,follow"/>

Так же есть вариант применения для ссылок точечно обоих команд, но она сработает только для Яндекса, все остальные не будут воспринимать noindex.

<noindex><a href="http://domen.ru/" rel="nofollow">текст ссылки</a></noindex>

Disallow в robots и noindex – как с ними работать

У некоторых пользователей есть вопрос, а нужно ли ставить на страницу noindex если в robots txt уже есть запрет на индексацию и наоборот. Я советую всегда использовать значения ноуиндекс и nofollow, а для усиления добавлять запрещающую строку в robots. Например с пагинацией в WordPress, я ставлю в head строку с meta (показывал на скриншоте ранее) и одновременно есть запрет в роботсе через директиву Disallow.

Как вставить noindex nofollow на разных CMS

Для новичков в SEO не всегда понятно как проставлять правильно noindex nofollow в своей CMS системе, потому что задачи разные и требуется максимально точно настроить данный пункт.

WordPress

Советую всем использовать плагин YoastSEO, он умеет проставлять теги автоматически и с помощью точной простановки. Сейчас разберу только базовый принцип, в отдельной рубрике по WordPress опишу подробно весь процесс. В WP есть три вида сущностей – содержимое, таксономии (рубрики и категории товаров) и архивы.

На каждой вкладке для отдельной сущности можете настроить параметр «Показывать … в результатах поиска?» вместо многоточия будет своя сущность (запись, страница, рубрика, товар). Если переместим в режим «Выкл», то ко всем документам такого типа примениться noindex,follow в теге meta.

Второй вариант ручной, если хотим закрывать только некоторые адреса, то в визуальном редакторе внизу есть блок. Рассмотрим на примере записи.

1. Спускаемся вниз страницы.
2. Открываем спойлер дополнительно.
3. Первое поле – это noindex, если выставляем NO то он применится.
4. Радиокнопки – это nofollow, отмечаем NO если необходимо запретить все ссылки.
5. Расширенная настройка – тут можно вручную прописать noindex,nofollow. Но могут произойти баги, лучше используйте параметры из списка выше.

Opencart

Не работал плотно с opencart, но поискал в интернете решения проблемы, чтобы работало. Нашел один модуль, это как плагин на WP, устанавливается стандартно и имеет настройки для достаточного количества видов документов в Opencart для простановки noindex и nofollow. Нажимайте на кнопку и перекинет на репозиторий OC.

Скачать модуль

Bitrix

В Bitrix сложнее, он не дает такой гибкости как у других CMS, поэтому приходится прибегать к помощи разработчиков. Нашел один метод, который сможет помочь новичкам, он направлен на создании дополнительных полей в редакторе (типа как в WP произвольные поля). Жмите кнопку и откроется официальная документация. На данном форуме объяснил пользователь «Гуру» наглядно где и что появляется.

Документация

Итог

Единственный стопроцентный метод закрытия страниц это через тег meta с атрибутом robots. Все остальные способы 50 на 50 и могут не работать, потому что не все поисковики воспринимают их, а если берут в обработку то по своим неизвестным алгоритмам.

Noindex или Nofollow? — IPCalc Blog

Ты впадаешь в легкий ступор при виде тегов Noindex и Nofollow? Ты все еще терзаешь себя вопросами, что такое Noindex и что такое и что такое Nofollow? Теперь тебе больше не нужно мучиться! Просто дочитай следующий пост до конца, и ты окончательно определишься в этой странной системе!

Я не буду мучить тебя сложными терминами и заковыристыми html кодами. Я просто расскажу о Noindex и Nofollow так, как вижу их сам. Единственное, что тебе придется вспомнить, так это язык гипертекстовой разметки HTML. Начнем с тега Noindex.

Noindex

Вообще тег Noindex был предложен Яндексом. И на фига он был предложен? Ну, Я решил выделиться и придумать нашу незабугорную альтернативу тегу Nofollow. И зачем ему это надо было? Просто специалисты из Я подумали, что раз у них самый популярный поисковик, то значит и теги должны быть свои, а не всякие там заморские.

[bs_notification type=”info” dismissible=”false”]

Кто распознает тег Nofollow:

• Яндекс
• Рамблер

[/bs_notification]

Зачем он нам нужен?

Вообще поисковые системы, при индексировании твоих web-страниц учитывают внешние ссылки, на этих станицах.

Например: чем больше ссылок ведет на твой сайт с других ресурсов, тем больше у тебя рейтинг в поисковиках.

И следовательно, больше ссылок на другие ресурсы ведет с твоего сайта, тем больший вес ты передаешь этим сайтам, а значит меньше и вес твоего сайта.

Хочешь посадить свой сайт на диету? Ставь как можно больше внешних ссылок! – Но мы то здесь говорим, как набрать вес, а не похудеть, поэтому с этим надо поосторожнее. А то ведь так понаставишь кучу левых ссылок и под фильтры залетишь, что не есть хорошо.

Так вот, если тебе все-таки хочется поставить ссылки, но ты не хочешь терять вес, а значит не хочешь, что бы Яндекс индексировал эти ссылки ставь тег Nofollow.

Как это делается. Я хочу оставить ссылки на список новостных социальных сетей, но не хочу чтобы они индексировались. Что я делаю? Открываю визуальный редактор, переключаюсь на HTML и нахожу строчки, где у меня стоят ссылки на эти ресурсы. Нашел! Теперь чтобы запретить индексацию этих ссылок мы ставим тег Noindex

Т.е. вот что мы получили:

<noindex>
<li><a href="http://zavoevanie.3dn.ru/news/2008-05-09-174″>Завоевание Америки</a> – неудобный интерфейс, но новости публикуются достаточно быстро</li>
<li><a href="http://www.news2.ru/">News.ru</a> – очень строгие требования к статьям</li>
<li><a href="http://www.newsgrad.com/">NewsGrad</a> – различные тематики, удобный интерфейс</li>
<li><a href="http://livepress.ru/">LivePress</a> – есть выбор различных категорий, новость публикуется сразу на главной странице</li>
</noindex>

Вот и все, теперь ссылки есть, но они не индексируются!

Мета тег Noindex

Так же есть мета тег Noindex. Отличие его от тега (контейнера) Noindex заключается в том, что он используется на ВСЮ страницу. И прописывается в <head></head> .

Пример:

<html>
<head>
   <meta content="noindex" />
   <title>Интернет заработок и технологии</title>
</head>

Вот так вот легко и просто запретить роботам индексировать Всю страницу, поэтому будь осторожен!

С Noindex закончили, переходим к Nofollow.

Nofollow

В принципе Nofollow выполняет те же функции, что и Noindex, но у него есть некоторые отличия. Это забугорный вариант Noindex. Прописывается в HTML код по другому.

Яндекс его не учитывает (также как Google не учитывает Noindex)

Nofollow – прописывается в теге <a></a>  атрибутом rel=”Nofollow”.

Пример возьмем все тот же. Нам нужно прописать Nofollow в каждый тег <a>, где хотим запретить индексирование ссылки:

<li><a href=http://zavoevanie.3dn.ru/news/2008-05-09-174 rel="nofollow">Завоевание Америки</a> – неудобный интерфейс, но новости публикуются достаточно быстро</li>
<li><a href=http://www.news2.ru/ rel="nofollow">News.ru</a> – очень строгие требования к статьям</li>
<li><a href=http://www.newsgrad.com/ rel="nofollow">NewsGrad</a> – различные тематики, удобный интерфейс</li>
<li><a href=http://livepress. ru/ rel="nofollow">LivePress</a> – есть выбор различных категорий, новость публикуется сразу на главной странице</li>

Вот и все!

Мета тег Nofollow

Также как и с Noindex есть мета тег Nofollow. Предназначение у него такое же, НО область действия опять же на ВСЮ страницу

Как он используется:

<html>
<head>
   <meta content="Nofollow" />
   <title>Интернет заработок и технологии</title>
</head>

Вот мы и разобрались с Noindex и Nofollow.  Да, чуть не забыл…

[bs_notification type=”info” dismissible=”false”]Эти теги Noindex и Nofollow можно использовать вместе! [/bs_notification]

Вот пример:

<noindex>
<li><a href=http://zavoevanie.3dn.ru/news/2008-05-09-174 rel="nofollow">Завоевание Америки</a> – неудобный интерфейс, но новости публикуются достаточно быстро</li>
<li><a href=http://www. news2.ru/ rel="nofollow">News.ru</a> – очень строгие требования к статьям</li>
<li><a href=http://www.newsgrad.com/ rel="nofollow">NewsGrad</a> – различные тематики, удобный интерфейс</li>
<li><a href=http://livepress.ru/ rel="nofollow">LivePress</a> – есть выбор различных категорий, новость публикуется сразу на главной странице</li>
</noindex>

Noindex Nofollow и Disallow: Директивы поискового робота

Существуют три директивы (команды), которые можно использовать для определения того, как поисковые системы обнаруживают, сохраняют и предоставляют информацию с вашего сайта в качестве результатов поиска:

• NoIndex: Don не добавлять мою страницу в результаты поиска.
• NoFollow: Не смотрите ссылки на этой странице.
• Запретить: Вообще не смотреть на эту страницу.

Эти директивы позволяют вам контролировать, какие страницы вашего сайта могут сканироваться поисковыми системами и отображаться в результатах поиска.

Что означает «Нет индекса»?

Директива noindex указывает поисковым роботам, таким как googlebot, не включать веб-страницу в результаты поиска.

Индексирование — это процесс, с помощью которого Google сканирует или «сканирует» Интернет в поисках нового контента, который затем добавляется в библиотеку контента, доступного для поиска.

Как пометить страницу как неиндексированную?

Существует два способа выпуска директивы noindex :

1. Добавить метатег noindex в HTML-код страницы
2. Возвращает заголовок noindex в HTTP-запросе

Используя метатег «no index» для страницы или заголовок ответа HTTP, вы фактически скрываете страницу от поиска.

Директива noindex также может использоваться для блокировки только определенных поисковых систем. Например, вы можете запретить Google индексировать страницу, но разрешить Bing:

Пример: блокировка большинства поисковых систем*

Пример: блокировка только Google

Обратите внимание: с сентября 2019 года Google больше не соблюдает директивы noindex в файле robots. txt . Noindex теперь ДОЛЖЕН быть выдан через метатег HTML или заголовок ответа HTTP. Для более продвинутых пользователей disallow все еще работает, хотя и не для всех случаев использования.

В чем разница между noindex и nofollow?

Есть разница между хранением контента и обнаружением контента:

noindex применяется на уровне страницы и указывает сканеру поисковой системы не индексировать и не отображать страницу в результатах поиска.

nofollow применяется на уровне страницы или ссылки и сообщает сканеру поисковой системы не переходить (обнаруживать) ссылки.

По сути, тег noindex удаляет страницу из поискового индекса, а атрибут nofollow удаляет ссылку из графа ссылок поисковой системы.

NoFollow как атрибут страницы

Использование nofollow на уровне страницы означает, что сканеры не будут переходить ни по одной из ссылок на этой странице для обнаружения дополнительного контента, и сканеры не будут использовать ссылки в качестве сигналов ранжирования для целевых сайтов.

NoFollow как атрибут ссылки

Использование nofollow на уровне ссылки не позволяет поисковым роботам исследовать ссылку на конкретное объявление и не позволяет использовать эту ссылку в качестве сигнала ранжирования.

Директива nofollow применяется на уровне ссылки с использованием атрибута rel в теге href:

Специально для Google: использование атрибута ссылки nofollow не позволит вашему сайту передать PageRank целевым URL-адресам.

Однако Google недавно объявил, что с 1 марта 2020 года поисковая система начнет рассматривать ссылки NoFollow как «подсказки», которые способствуют общему поиску сайта.

Почему вы должны пометить страницу как NoFollow?

Для большинства случаев использования вы должны , а не пометить всю страницу как nofollow — пометки отдельных ссылок как nofollow будет достаточно.

Вы бы пометили всю страницу как nofollow , если вы не хотели, чтобы Google просматривал ссылки на странице, или если вы думали, что ссылки на странице могут повредить вашему сайту.

В большинстве случаев общие директивы уровня страницы nofollow используются, когда вы не имеете контроля над контентом, размещаемым на странице (например, контент, созданный пользователем, может быть размещен на странице).

Некоторые высококлассные издатели также полностью применяют директиву nofollow к своим страницам, чтобы отговорить своих авторов от размещения рекламных ссылок в своем контенте.

Как использовать страницы без индекса?

Отметить страницы как неиндексированные, которые вряд ли будут представлять ценность для пользователей и не должны отображаться в результатах поиска. Например, маловероятно, что страницы, которые существуют для разбиения на страницы, со временем будут отображать одно и то же содержимое.

Domain. com/category/resultspage=2

  
  
  
  
  
 ... 
  
 ... 
  

 HTTP/... 200 OK 
 ... 
 X-Robots-Tag: noindex,follow