Полное руководство по Robots.txt и метатегу Noindex
Файл Robots.txt и мета-тег Noindex важны для SEO-продвижения. Они информируют Google, какие именно страницы необходимо сканировать, а какие – индексировать (отображать в результатах поиска).
С помощью этих средств можно ограничить содержимое сайта, доступное для индексации.
Robots.txt – это файл, который указывает поисковым роботам (например, Googlebot и Bingbot), какие страницы сайта не должны сканироваться.
Файл robots.txt сообщает роботам системам, какие страницы могут быть просканированы. Но не может контролировать их поведение и скорость сканирования сайта. Этот файл, по сути, представляет собой набор инструкций для поисковых роботов о том, к каким частям сайта доступ ограничен.
Но не все поисковые системы выполняют директивы файла robots.txt. Если у вас остались вопросы насчет robots.txt, ознакомьтесь с часто задаваемыми вопросами о роботах.
По умолчанию файл robots.txt выглядит следующим образом:
Можно создать свой собственный файл robots.txt в любом редакторе, который поддерживает формат .txt. С его помощью можно заблокировать второстепенные веб-страницы сайта. Файл robots.txt – это способ сэкономить лимиты, которые могут пойти на сканирование других разделов сайта.
User-Agent: определяет поискового робота, для которого будут применяться ограничения в сканировании URL-адресов. Например, Googlebot, Bingbot, Ask, Yahoo.
Disallow: определяет адреса страниц, которые запрещены для сканирования.
Allow: только Googlebot придерживается этой директивы. Она разрешает анализировать страницу, несмотря на то, что сканирование родительской веб-страницы запрещено.
Sitemap: указывает путь к файлу sitemap сайта.
В файле robots.txt символ (*) используется для обозначения любой последовательности символов.
Директива для всех типов поисковых роботов:
User-agent:*
Также символ * можно использовать, чтобы запретить все URL-адреса кроме родительской страницы.
User-agent:*
Disallow: /authors/*
Disallow: /categories/*
Это означает, что все URL-адреса дочерних страниц авторов и страниц категорий заблокированы за исключением главных страниц этих разделов.
Ниже приведен пример правильного файла robots.txt:
User-agent:* Disallow: /testing-page/ Disallow: /account/ Disallow: /checkout/ Disallow: /cart/ Disallow: /products/page/* Disallow: /wp/wp-admin/ Allow: /wp/wp-admin/admin-ajax.php Sitemap: yourdomainhere.com/sitemap.xml
После того, как отредактируете файл robots.txt, разместите его в корневой директории сайта. Благодаря этому поисковый робот увидит файл robots.txt сразу после захода на сайт.
Noindex – это метатег, который запрещает поисковым системам индексировать страницу.
Существует три способа добавления Noindex на страницы:
Разместите приведенный ниже код в раздел <head> страницы:
<meta name=”robots” content=”noindex”>
Он сообщает всем типам поисковых роботов об условиях индексации страницы. Если нужно запретить индексацию страницы только для определенного робота, поместите его название в значение атрибута name.
Чтобы запретить индексацию страницы для Googlebot:
<meta name=”googlebot” content=”noindex”>
Чтобы запретить индексацию страницы для Bingbot:
<meta name=”bingbot” content=”noindex”>
Также можно разрешить или запретить роботам переход по ссылкам, размещенным на странице.
Чтобы разрешить переход по ссылкам на странице:
<meta name=”robots” content=”noindex,follow”>
Чтобы запретить поисковым роботам сканировать ссылки на странице:
<meta name=”robots” content=”noindex,nofollow”>
x-robots-tag позволяет управлять индексацией страницы через HTTP-заголовок. Этот тег также указывает поисковым системам не отображать определенные типы файлов в результатах поиска. Например, изображения и другие медиа-файлы.
Для этого у вас должен быть доступ к файлу .htaccess. Директивы в метатеге «robots» также применимы к x-robots-tag.
Плагин YoastSEO в WordPress автоматически генерирует приведенный выше код. Для этого на странице записи перейдите в интерфейсе YoastSEO в настройки публикации, щелкнув по значку шестеренки. Затем в опции «Разрешить поисковым системам показывать эту публикацию в результатах поиска?» выберите «Нет».
Также можно задать тег noindex для страниц категорий. Для этого зайдите в плагин Yoast, в «Вид поиска». Если в разделе «Показать категории в результатах поиска» выбрать «Нет», тег noindex будет размещен на всех страницах категорий.
- Чтобы проиндексированная страница была удалена из результатов поиска, убедитесь, что она не заблокирована в файле robots.txt. И только потом добавляйте тег noindex. Иначе Googlebot не сможет увидеть тег на странице. Если заблокировать страницу без тега noindex, она все равно будет отображаться в результатах поиска:
- Добавление директивы sitemap в файл robots.txt технически не требуется, но считается хорошей практикой.
- После обновления файла robots.txt рекомендуется проверить, не заблокированы ли важные страницы. Это можно сделать с помощью txt Tester в Google Search Console.
- Используйте инструмент проверки URL-адреса в Google Search Console, чтобы увидеть статус индексации страницы.
- Также можно проверить, проиндексировал ли Google ненужные страницы. Это можно сделать с помощью отчета в Google Search Console. Еще одной альтернативой может быть использование оператора «site». Это команда Google, которая отображает все страницы сайта, доступные в результатах поиска.
В последнее время в SEO-сообществе было много недоразумений по поводу использования noindex в robots.txt. Но представители Google много раз говорили, что поисковая система не поддерживают данный метатег. И все же многие люди настаивают на том, что он все еще работает. Но лучше избегать его использования.
Заблокированные через robots.txt страницы, не могут быть проиндексированы, даже если кто-то на них ссылается.
Чтобы быть уверенным, что страница без контента случайно не появится в результатах поиска, Джон Мюллер рекомендует размещать на этих веб-страницах noindex даже после того, как вы заблокировали их в robots.txt.
Использование файла robots.txt улучшает не только SEO, но и пользовательский опыт. Для этого реализуйте приведенные выше практики.
Данная публикация представляет собой перевод статьи «The Complete Guide to Robots.txt and Noindex Meta Tag» , подготовленной дружной командой проекта Интернет-технологии.ру
www.internet-technologies.ru
Noindex — это… Что такое Noindex?
noindex — имя не входящего в официальную спецификацию тега языка гипертекстовой разметки веб-страниц HTML, предназначенного для включения в него частей веб-страниц, не предлагаемых к индексации поисковыми системами.
Тег предложен российской компанией «Яндекс» в качестве альтернативы атрибуту nofollow и в настоящее время только им и распознаётся [1].
Данный тег предназначен для поисковых систем: он указывает им на то, что часть страницы, находящуюся между <noindex> и </noindex>, не следует никаким образом учитывать при индексировании данной страницы.
При использовании этого метода часть страницы, где он применяется, становится неэффективной для поисковой оптимизации.
С мая 2010 года «Яндекс» также стал учитывать микроформат nofollow[2].
Мета-тег noindex
Существует также мета-тег en:Noindex с тем же именем и с похожим предназначением. Отличие от «российского» — несколько другое использование, а также область действия (на всю страницу)[3].
Пример тега noindex:
<body> ... <noindex><a href="http://www.example.com">Попытка рекламы</a></noindex>
Пример мета-тега noindex:
<html> <head> <meta name="robots" content="noindex" /> <title>Don't index this page</title> </head>
Noindex и Википедия
Стоит отметить, что в отличие от nofollow, Википедия не «обертывает» внешние ссылки тегами noindex, что раньше могло давать почву для спама вики-статей внешними ссылками, добавляемыми «поисковыми оптимизаторами» и владельцами некоторых сайтов для собственной «раскрутки» «под Яндекс». Однако с мая 2010 и это стало бесполезным занятием.
Совместимость
Поскольку тег noindex не входит в официальную спецификацию языка HTML, то большинство HTML-валидаторов считает его ошибкой. Потому для того, чтобы сделать код с noindex валидным рекомендуется использовать тот факт, что noindex не чувствителен к вложенности и это позволяет использовать следующую конструкцию[1]:
<!--noindex-->Текст или код, который нужно исключить из индексации<!--/noindex-->
Подсветка Noindex
Подсветка seo тега noindex на сайтах в браузере Firefox [4] реализована в плагине RDS bar.
Примечания
dic.academic.ru
что такое за HTML-тег и как его использовать
Noindex – метатег, с помощью которого вы можете управлять индексацией поискового робота. Если вы выделите отдельный текстовый фрагмент и закроете его тегом noindex, то он не проиндексируется поисковой системой. Соответственно, он не будет находиться в его кеше.
Функции
Первый раз этот инструмент предложили специалисты «Яндекса», чтобы веб-мастеры могли быстро и с минимальными усилиями отделить часть текстового контента, не несущую смысловой нагрузки и нежелательную для оценки страницы.
Другая функция метатега noindex, не менее важная, заключается в блокировании индексации отдельных страниц ресурса, на которых публикуется контент пользователей. Как правило, это страницы, на которых размещены отзывы, комментарии, сообщения и др. В этом случае с помощью noindex можно использовать не самый жесткий режим модерации сообщений пользователей и избежать популяризации нежелательной информации.
Метатег noindex учитывается только «Яндексом». Для Google его наличие не играет роли. Поисковик проводит полную индексацию текстового контента страницы. Чтобы заблокировать индексацию для всех поисковиков, нужно прописать соответствующий метатег для всего сайта или отдельных страниц в файле robots.txt. Этот способ имеет очевидный недостаток: у вас не будет индексироваться целая страница, а не только отдельный текстовый фрагмент.
Преимущества noindex
-
Когда скрыта второстепенная информация, можно увеличить плотность ключевых слов и повысить релевантность индексируемой страницы.
-
Метатег noindex позволяет скрыть контент сквозных блоков, дублирующихся на нескольких страницах и негативно влияющих на позиции сайта в выдаче «Яндекса».
-
С помощью этого метатега можно скрыть нежелательную или служебную информацию, которая иногда попадает в сниппет.
Принцип действия
Noindex может располагаться в любом месте HTML-кода. Уровень вложенности не имеет значения. Чтобы сохранить валидность кода, тег нужно использовать в таком формате:
[!—noindex—] текст, спрятанный от индексации[!—/noindex—].
Несмотря на то, что noindex изначально предложили разработчики Yandex, применение этого инструмента может расцениваться как серый метод оптимизации. Причиной являются недобросовестные веб-мастеры, которые не всегда применяют его по прямому назначению и прячут от робота контент с низкой уникальностью или текст без ключевых фраз, рассчитанный на прочтение посетителями ресурса. Вместе с ним поисковику предлагается текст с обилием ключей, тяжелый для восприятия обычным человеком.
«Яндекс» борется с серыми методами оптимизации, поэтому выполняет анализ текста, закрытого метатегом noindex, проводит его индексацию, а затем отфильтровывает скрытое содержимое. После изучения контента поисковик может наложить санкции на сайт, если решит, что его владелец пользуется неправомерными способами влияния на поисковую выдачу.
www.seonews.ru
Noindex — это… Что такое Noindex?
noindex — имя не входящего в официальную спецификацию тега языка гипертекстовой разметки веб-страниц HTML, предназначенного для включения в него частей веб-страниц, не предлагаемых к индексации поисковыми системами.
Тег предложен российской компанией «Яндекс» в качестве альтернативы атрибуту nofollow и в настоящее время только им и распознаётся[1].
Данный тег предназначен для поисковых систем: он указывает им на то, что часть страницы, находящуюся между <noindex> и </noindex>, не следует никаким образом учитывать при индексировании данной страницы.
При использовании этого метода часть страницы, где он применяется, становится неэффективной для поисковой оптимизации.
С мая 2010 года «Яндекс» также стал учитывать микроформат nofollow[2].
Мета-тег noindex
Существует также мета-тег en:Noindex с тем же именем и с похожим предназначением. Отличие от «российского» — несколько другое использование, а также область действия (на всю страницу)[3].
Пример тега noindex:
<body> ... <noindex><a href="http://www.example.com">Попытка рекламы</a></noindex>
Пример мета-тега noindex:
<html> <head> <meta name="robots" content="noindex" /> <title>Don't index this page</title> </head>
Noindex и Википедия
Стоит отметить, что в отличие от nofollow, Википедия не «обертывает» внешние ссылки тегами noindex, что раньше могло давать почву для спама вики-статей внешними ссылками, добавляемыми «поисковыми оптимизаторами» и владельцами некоторых сайтов для собственной «раскрутки» «под Яндекс». Однако с мая 2010 и это стало бесполезным занятием.
Совместимость
Поскольку тег noindex не входит в официальную спецификацию языка HTML, то большинство HTML-валидаторов считает его ошибкой. Потому для того, чтобы сделать код с noindex валидным рекомендуется использовать тот факт, что noindex не чувствителен к вложенности и это позволяет использовать следующую конструкцию[1]:
<!--noindex-->Текст или код, который нужно исключить из индексации<!--/noindex-->
Подсветка Noindex
Подсветка seo тега noindex на сайтах в браузере Firefox [4] реализована в плагине RDS bar.
Примечания
test.academic.ru
Страницы с тегом
Для чего нужен элемент noindex
Тег <noindex> используется для запрета индексации служебных участков текста. Данный тег может находиться в любом участке HTML-кода страницы, учитывается он только Яндексом. Google и другие поисковые системы будут его игнорировать.
Работает этот элемент аналогично МЕТА-тегу noindex, но распространяется исключительно на текстовый контент, который размещен на странице, то есть, закрыть от индексации ссылки с его помощью не получится.
Приведем пример использования:
<noindex>служебный текст, который не нужно индексировать</noindex>
И еще один верный вариант:
<!--noindex-->служебный текст, который не нужно индексировать<!--/noindex-->
В каких случаях можно употреблять
При ответе на этот вопрос важно уточнить, что же такое индексация. Это процесс анализа информации на web-ресурсе и последующее добавление ее в индекс (базу данных поисковых систем) для формирования поисковой выдачи по релевантным запросам. Соответственно, тегом noindex мы советуем закрывать ту информацию, которая не должна участвовать в процессе ранжирования и отображаться в поисковой выдаче, но при этом не содержит ничего, за что можно получить санкции от Яндекса. Например, это может быть мобильный номер телефона, который не должен отображаться в выдаче, но нужен пользователям на страницах сайта.
Нужно учитывать еще один важный фактор — тег noindex запрещает Яндексу индексировать участок текста, но не устанавливает запрет на его чтение. То есть, применять данный элемент для сокрытия скопированных с других ресурсов текстов не получится, так как плагиат все равно будет обнаружен, и сайт подвергнется пессимизации.
Как обнаружить страницы с этим тегом на сайте
При продвижении очень важно знать, на каких страницах вашего сайта употребляется этот атрибут, поскольку часть важной информации могла быть закрыта от индексации или другие оптимизаторы использовали этот тег не по назначению.
Сервис Labrika предлагает удобный отчет по страницам с тегом <noindex>. Найти его можно в подразделе «Страницы с тегом noindex» раздела «SEO-аудит» в левом боковом меню:
В этом отчете содержится информация обо всех страницах вашего сайта, на которых находится тег <noindex>. Выглядит он следующим образом:
Для того, чтобы воспользоваться отчетом и получить актуальную на данный момент информацию, необходимо обновить SEO-аудит. Сделать это можно с помощью соответствующей кнопки прямо на странице отчета:
labrika.ru
или — как правильней? [Архив]
Просмотр полной версии : <noindex> или <!—noindex—> — как правильней?
kazi_mir
23.12.2011, 15:59
текстили
<noindex>текст</noindex>
Какой вариант правильней и что (как) лучше использовать.
В чем отличия.
Масол
23.12.2011, 16:01
Правильный для чего?
Первый вариант — комментарий, второй — рабочее закрывание от индексации.
maldivec
23.12.2011, 16:03
Отличия в том, что нет такого тега в стандартах html, поэтому валидаторы на него будут ругаться. Да и другие поисковики кроме яндекса его не признают.При использовании конструкции <!—noindex—>текст<!—/noindex—> код будет проходить валидацию, т.к. это будет восприниматься как закомментированный текст.
Для яндекса все равно, какой вариант вы будете использовать. Он понимает оба.
provocator
23.12.2011, 16:03
Можно и так и так, но первый вариант более валидный.
обычно ставлю <noindex><nofollow>***text***</nofollow></noindex>
maldivec
23.12.2011, 16:06
Первый вариант — комментарий, второй — рабочее закрывание от индексации.Т.е. по-вашему первый вариант не сработает? 🙂
———- Добавлено в 17:06 ———- Предыдущее сообщение было в 17:05 ———-
обычно ставлю <noindex><nofollow>***text***</nofollow></noindex>
Тега <nofollow> вообще не существует и он никаким образом не работает 😀
Масол
23.12.2011, 16:07
Можно и так и так, но первый вариант более валидный.
Более валидный для чего?
Т.е. по-вашему первый вариант не сработает? 🙂
———- Добавлено в 17:06 ———- Предыдущее сообщение было в 17:05 ———-
Тега <nofollow> вообще не существует и он никаким образом не работает 😀
Вот блин(
А как от гугла закрывать?
Более валидный для чего?
для валидаторов )
kimberlit
23.12.2011, 16:11
Для тех, кто в танке.http://help.yandex.ru/webmaster/?id=1111858
Тег <noindex>
Для запрета индексирования служебных участков текста вы можете использовать тег <noindex>. Тег работает аналогично мета-тегу noindex, но распространяется только на контент, заключенный внутри тега в формате:
<noindex>текст, индексирование которого нужно запретить</noindex>
Тег noindex не чувствителен к вложенности (может находиться в любом месте html-кода страницы). При необходимости сделать код сайта валидным возможно использование тега в следующем формате:
<!—noindex—>текст, индексирование которого нужно запретить<!—/noindex—>
<!—noindex—>текст<!—/noindex—>
лучше такой вариант использовать
provocator
23.12.2011, 16:15
Вот блин(
А как от гугла закрывать?
А зачем от него закрывать? Гугл вроде более лоялен к контенту. Можно на всей странице контент закрыть с помощью мета-тега nofollow.
Масол
23.12.2011, 16:16
Т.е. по-вашему первый вариант не сработает?А как по вашему, комментарии влияют на индексацию сайта поисковыми системами?
UPD. Яндекс удивил )))
maldivec
23.12.2011, 16:17
А как по вашему, комментарии влияют на индексацию сайта поисковыми системами?Данный комментарий влияет, потому что он аналогичен коду <noindex></noindex>
богоносец
23.12.2011, 16:18
А как от гугла закрывать?
За рамками HTML.
JS XML AJAX
Можно на всей странице контент закрыть с помощью мета-тега nofollow.
В хелп!
Масол
23.12.2011, 16:20
Данный комментарий влияет, потому что он аналогичен коду <noindex></noindex>
Ага, уже увидел. «Чудны дела твои…» ну и далее по тексту. 🙂
Всё не как у всех. 🙂
kazi_mir
23.12.2011, 23:38
обычно ставлю ***text***А разве нофоллоу это тэг, а не атрибут ссылки (rel=»nofollow»)?
Костный мозг
24.12.2011, 09:08
А разве нофоллоу это тэг, а не атрибут ссылки (rel=»nofollow»)?
ответ:
nofollow
это
атрибут ссылки
🙂
господа, что-то вы уже такие основы основ обсуждаете… мы так и до тега <html> докатимся, куда его вставлять и валидный ли это тег?))
богоносец
24.12.2011, 14:06
мы так и до тега <html> докатимся, куда его вставлять
Зря смеётесь. Об нём в современных ПС многое… подразумевается.
kazi_mir
24.12.2011, 15:35
ответ:господа, что-то вы уже такие основы основ обсуждаете… мы так и до тега <html> докатимся, куда его вставлять и валидный ли это тег?))
г-н Костный мозг, я не ставил вопрос, а поправлял г-на softer в своей типичной манере! Вы просто этого не поняли. Возможно, если б я поставил смайлик 😉 или :confused:, или даже :dont:, то это не вызвало у вас такой реакции.
А как от гугла закрывать?
как вариант (http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=93710)
<meta name=»googlebot» content=»noindex»>
Костный мозг
24.12.2011, 18:10
Зря смеётесь. Об нём в современных ПС многое… подразумевается.
а темы на серче о нем нет, непорядок)
поправлял г-на softer в своей типичной манере
значит я просто вас не так понял
Вот блин(
А как от гугла закрывать?
<noindex><a href=»#» rel=»nofollow»>блабла</a></noindex>
Стоит помнить, что атрибут rel=»nofollow» не закрывает от индексации, он просто указывает, что вес страницы по этой ссылке передаваться не должен.
богоносец
24.12.2011, 19:21
так и до тегаЗагляните в код ццц.яндекс.ру (http://www.yandex.ru/) // говорят, что он в индексе… хотя теги отсутствуют.
Если убираете <html> то всё индексится (http://yandex.ru/yandsearch?text=site:seo-xslt.narod.ru/DEMO/Root-Elemen-Already-Specified.XML)… а если вместо него пишите <root> например, то возникают проблемы — разные в разных ПС… в Гугле (http://www.google.com/search?q=site:seo-xslt.narod.ru/DEMO/Root-Not-Html-Head-Title-Meta.xml).
И ни один бот Шукин вам ни в чём не признается.
Костный мозг
24.12.2011, 21:34
богоносец, интересно было почитать для общего развития, спасибо
Всё не как у всех.
Значит у Гугла тоже не как у всех. (http://code.google.com/intl/ru-RU/apis/searchappliance/documentation/46/admin_crawl/Preparing.html) Это не по поводу как скрыть от индексации.
kimberlit
25.12.2011, 15:58
Значит у Гугла тоже не как у всех. Это не по поводу как скрыть от индексации.
А что там?…..
А что там?…..
Ну я ж для этого и дал ссылку, чтобы увидеть, что и гугл тоже некоторые директивы оформляет как комментарии.
searchengines.guru
Нужно ли использовать тег NOINDEX и зачем? — Devaka SEO Блог
В последнее время, анализируя проблемные сайты клиентов, часто сталкиваюсь с тем фактом, что многие из них активно используют тег <noindex> для скрытия части контента от Яндекса. Для тех, кто не знаком с этим тегом, привожу ссылку на документацию. Как там указано, он предназначен для запрета индексирования служебных участков текста.
Стоит заметить, что в документации указан ответ на вопрос “как использовать этот тег”, но совсем не сказано “зачем он введён”. Отчасти, это и является причиной возникновения многих вопросов от вебмастеров.
Если мы поищем в Google ответ на вопрос какая польза от тега noindex или любые рекомендации от сотрудников Яндекса по этому поводу, то ожидаемого ответа на вопросы, зачем он всё-таки был введён и в каких случаях его рекомендуется использовать, мы не получим. Сотрудники Яндекса не берут на себя ответственность в подобных рекомендациях, но при этом и не запрещают использовать noindex в своих целях.
Какие были преимущества у этого тега?
1. Можно было закрыть блок внешних ссылок от индексации (как это делает, например, студия Артемия Лебедева в легендарном смайлике).
Действительно, удобно было закрывать таким способом немодерируемые ссылки, в том числе и в комментариях. Но после введения Яндексом возможности использовать rel=nofollow, как это делают другие крупные поисковые системы, можно смело отказаться от тега noindex, если он использовался только для закрытия внешних ссылок.
2. Можно управлять сниппетом (описанием сайта) в поисковой выдаче.
Так как Яндекс не всегда умеет формировать из контента страницы хорошие сниппеты для своей выдачи, оптимизаторы нашли выход использовать <noindex>, подбирая оптимальные варианты. Кто из вас так делает? Наверняка меньшинство, так как это трудная и долгая работа. Вместо того, чтобы решить проблему на своей стороне (в алгоритмах), Яндекс предлагает решать проблему вебмастерам. Кстати, в Google нет подобного тегу noindex функционала 😉
3. Для Google показывать одно, для Яндекса – другое!
Тегом <noindex> вебмастера пытались оптимизировать контент сайта и для Яндекса (от которого надо было спрятать некоторые участки кода) и для Google, используя совместно другие техники. Не это ли является явным манипулированием поисковыми алгоритмами или подменой контента, против которой так яро борятся яндексоиды? 🙂
4. Подбирать оптимальную плотность ключевых фраз.
Доходит до того, что в тексте оптимизаторы лишние фразы закрывают этим тегом, чтобы Яндекс не счел этот текст спамным. При этом, для посетителей он-таки часто остаётся спамным 🙂 Отсюда и корни большинства бед в SEO, а нужно было лишь дать оптимизаторам этот тег. С другой стороны, Яндекс всегда может узнать по таким маркерам, работал ли с текстом оптимизатор или это нормальный контент.
Кстати, Яндекс не рекомендовал использовать noindex для подбора оптимальной плотности ключевиков, это уже происки оптимизаторов (об этом яндекс и не мог подозревать при введении поддержки тега), зато он активно пессимизирует документы, где часто встречается этот тег.
5. Закрывать счетчики и баннеры.
Экономя на каждой ссылке, вебмастера закрывали в noindex и счетчики посещаемости. Прошло много лет, сейчас Яндекс прекрасно понимает, где что у вас расположено на сайте (в том числе и счетчики). Закрывать их от индексации смысла нет, лучше убрать всё неиспользуемое.
Как мы видим, <noindex> используется лишь оптимизаторами и всё, для чего используется это не попытка сделать ресурс лучше, а попытка управлять поисковым алгоритмом в свою сторону, хотя это и не всегда получается. Также все рекомендации, присутствующие в сети по использованию noindex даны оптимизаторами и ни одной от А.Садовского или И.Сегаловича.
Учитывая всё вышеперечисленное, настоятельно не рекомендуется использовать инструмент серой оптимизации noindex, особенно если он раньше не использовался на сайте и существуют дополнительные проблемы с ресурсом (фильтры, подмена релевантной страницы, и другие).
И ещё… У яндекса нет ни одной причины продолжать поддерживать тег noindex (разве что “не трогать то, что работает”). После ввода поддержки атрибута nofollow для ссылок, сложно понять мотив яндексоидов оставить noindex. Возможно, скоро его поддержка будет прекращена.
Таков мой взгляд на однобокий тег noindex. А что вы думаете по этой теме?
devaka.ru