Что значит noindex: что это такое за тег для Яндекса | Дропшиппинг

что это такое за тег для Яндекса

| HTML | WebReference

что такое за HTML-тег и как его использовать

Преимущества тега noindex

Принцип действия

Закрывающий тег

Пример

Браузеры

Автор и редакторы

Содержание

Noindex – это тег, с помощью которого можно управлять функцией индексации поискового робота. Если выделить отдельный фрагмент текста и закрыть его тегом noindex, он не будет проиндексирован поисковой системой и, соответственно, не попадет в ее кэш. Впервые данный инструмент был предложен специалистами Яндекса, чтобы у веб-мастеров появился простой способ отделения части текстового контента, которая не несет смысловой нагрузки и не должна учитываться при оценке страницы.

Вторая, не менее важная функция тега noindex, состоит в том, чтобы блокировать индексацию отдельных страниц сайта, предназначенных для публикации пользовательского контента. К таким относятся страницы с отзывами, комментариями, сообщениями и др. В данном случае noindex позволяет избежать распространения нежелательной информации и использовать менее жесткий режим модерирования пользовательских сообщений.

Тег noindex учитывает только Яндекс. Google игнорирует его присутствие и проводит полную индексацию текстового содержания страницы. Для задействования блокировки индексации, актуальной для всех поисковиков, следует прописывать соответствующий метатег для отдельных страниц или всего сайта в файле robots.txt. Недостаток данного способа очевиден: запрет на индексацию возможен только по отношению ко всей странице, но не отдельному текстовому фрагменту.

Сокрытие второстепенной информации позволяет повысить релевантность индексируемой страницы за счет возрастания относительной плотности ключевых фраз.
С помощью noindex можно спрятать содержимое сквозных блоков, информация в которых будет дублироваться на нескольких страницах, что отразится на пессимизации сайта в поисковой выдаче Yandex.
В некоторых случаях в сниппет может попасть нежелательная или служебная информация, которую проще всего скрыть тегом noindex.

Noindex может находиться в любом месте HTML-кода вне зависимости от уровня вложенности. Для сохранения валидности кода тег следует использовать в следующем формате:

<!—noindex—>Здесь находится закрытый для индексации текст<!—/noindex—>.

Несмотря на тот факт, что noindex был изначально предложен разработчиками Yandex, использование данного инструмента может быть расценено в качестве серого метода оптимизации. Это связано с тем, что некоторые веб-мастера применяют его не по прямому назначению. В частности, от робота прячется неуникальный контент или качественный текст, не содержащий ключевых слов, рассчитанный на прочтение посетителем сайта. Одновременно поисковику предлагается насыщенный ключевыми фразами текст, тяжелый для восприятия человека.

Для борьбы с подобными методами оптимизации Yandex анализирует текст, закрытый тегом noindex, проводя его индексацию, но впоследствии отфильтровывая скрытое содержимое. В результате изучения контента страницы поисковик может принять решение о наложении санкций на сайт, если сочтет, что его владелец использует неправомерные способы влияния на результаты поисковой выдачи.

Поисковый робот Яндекса «ходит» по сайтам, просматривает и анализирует их содержимое, после чего сохраняет указатель на текст и изображения в поисковую базу данных Яндекса. Такой процесс называется индексированием. Часть веб-страницы можно закрыть от индексирования, поместив её внутрь элемента <noindex>. Тогда при следующем посещении веб-страницы поисковый робот проигнорирует такое содержимое и не станет добавлять его в свою базу данных. Это делается по разным причинам, к примеру, закрытые от индексации ссылки не передают ТИЦ (тематический индекс цитирования).

Важно понимать, что это нестандартный элемент и придуман Яндексом для своих целей. Браузеры никак не поддерживают <noindex> и просто выводят его содержимое как обычно.

Если вам нужно закрыть ссылку для поисковиков, добавьте к ней атрибут rel со значением nofollow:

<a href="//webref.ru" rel="nofollow">Ссылка не индексируется</a>

Если требуется закрыть для поисковиков всю страницу используйте элемент <meta>, добавив его в код HTML:

<meta name="robots" content="noindex">

Или добавьте в файл robots.txt следующую строку:

Disallow: /private.html

Где private.html адрес страницы.

<!DOCTYPE html> <html> <head> <meta charset=»utf-8″> <title>noindex</title> </head> <body> <noindex> Данный текст Яндекс не будет индексировать. </noindex> </body> </html>

В таблице браузеров применяются следующие обозначения.

— элемент полностью поддерживается браузером;

— элемент браузером не воспринимается и игнорируется;
— при работе возможно появление различных ошибок, либо элемент поддерживается с оговорками.

Число указывает версию браузреа, начиная с которой элемент поддерживается.

Автор: Клим Щербаков

Последнее изменение: 28.02.2020

Редакторы: Влад Мержевич

Запрещение

Noindex

Сценарий 1

Noindex – метатег, с помощью которого вы можете управлять индексацией поискового робота. Если вы выделите отдельный текстовый фрагмент и закроете его тегом noindex, то он не проиндексируется поисковой системой. Соответственно, он не будет находиться в его кеше.

Функции

Первый раз этот инструмент предложили специалисты «Яндекса», чтобы веб-мастеры могли быстро и с минимальными усилиями отделить часть текстового контента, не несущую смысловой нагрузки и нежелательную для оценки страницы.

Другая функция метатега noindex, не менее важная, заключается в блокировании индексации отдельных страниц ресурса, на которых публикуется контент пользователей. Как правило, это страницы, на которых размещены отзывы, комментарии, сообщения и др. В этом случае с помощью noindex можно использовать не самый жесткий режим модерации сообщений пользователей и избежать популяризации нежелательной информации.

Метатег noindex учитывается только «Яндексом». Для Google его наличие не играет роли. Поисковик проводит полную индексацию текстового контента страницы. Чтобы заблокировать индексацию для всех поисковиков, нужно прописать соответствующий метатег для всего сайта или отдельных страниц в файле robots.txt. Этот способ имеет очевидный недостаток: у вас не будет индексироваться целая страница, а не только отдельный текстовый фрагмент.
Преимущества noindex

Когда скрыта второстепенная информация, можно увеличить плотность ключевых слов и повысить релевантность индексируемой страницы.

Метатег noindex позволяет скрыть контент сквозных блоков, дублирующихся на нескольких страницах и негативно влияющих на позиции сайта в выдаче «Яндекса».

С помощью этого метатега можно скрыть нежелательную или служебную информацию, которая иногда попадает в сниппет.

Принцип действия
Noindex может располагаться в любом месте HTML-кода. Уровень вложенности не имеет значения. Чтобы сохранить валидность кода, тег нужно использовать в таком формате:
[!—noindex—] текст, спрятанный от индексации[!—/noindex—].
Несмотря на то, что noindex изначально предложили разработчики Yandex, применение этого инструмента может расцениваться как серый метод оптимизации. Причиной являются недобросовестные веб-мастеры, которые не всегда применяют его по прямому назначению и прячут от робота контент с низкой уникальностью или текст без ключевых фраз, рассчитанный на прочтение посетителями ресурса. Вместе с ним поисковику предлагается текст с обилием ключей, тяжелый для восприятия обычным человеком.

«Яндекс» борется с серыми методами оптимизации, поэтому выполняет анализ текста, закрытого метатегом noindex, проводит его индексацию, а затем отфильтровывает скрытое содержимое. После изучения контента поисковик может наложить санкции на сайт, если решит, что его владелец пользуется неправомерными способами влияния на поисковую выдачу.
Noindex — это… Что такое Noindex?
noindex — имя не входящего в официальную спецификацию тега языка гипертекстовой разметки веб-страниц HTML, предназначенного для включения в него частей веб-страниц, не предлагаемых к индексации поисковыми системами.
Тег предложен российской компанией «Яндекс» в качестве альтернативы атрибуту nofollow и в настоящее время только им и распознаётся^[1].
Данный тег предназначен для поисковых систем: он указывает им на то, что часть страницы, находящуюся между <noindex> и </noindex>, не следует никаким образом учитывать при индексировании данной страницы.

При использовании этого метода часть страницы, где он применяется, становится неэффективной для поисковой оптимизации.
С мая 2010 года «Яндекс» также стал учитывать микроформат nofollow^[2].
Мета-тег noindex
Существует также мета-тег en:Noindex с тем же именем и с похожим предназначением. Отличие от «российского» — несколько другое использование, а также область действия (на всю страницу)^[3].
Пример тега noindex:
<body> ... <noindex><a href="http://www.example.com">Попытка рекламы</a></noindex>
Пример мета-тега noindex:
<html> <head> <meta name="robots" content="noindex" /> <title>Don't index this page</title> </head>
Noindex и Википедия
Стоит отметить, что в отличие от nofollow, Википедия не «обертывает» внешние ссылки тегами
noindex, что раньше могло давать почву для спама вики-статей внешними ссылками, добавляемыми «поисковыми оптимизаторами» и владельцами некоторых сайтов для собственной «раскрутки» «под Яндекс». Однако с мая 2010 и это стало бесполезным занятием.
Совместимость
Поскольку тег noindex не входит в официальную спецификацию языка HTML, то большинство HTML-валидаторов считает его ошибкой. Потому для того, чтобы сделать код с noindex валидным рекомендуется использовать тот факт, что noindex не чувствителен к вложенности и это позволяет использовать следующую конструкцию^[1]:
Текст или код, который нужно исключить из индексации
Подсветка Noindex
Подсветка seo тега noindex на сайтах в браузере Firefox ^[4] реализована в плагине RDS bar.
Примечания
что это такое и как использовать

– Автор: Игорь (Администратор)

В рамках данного обзора, я расскажу вам что такое Nofollow и Noindex, а так же ряд связанных с ними особенностей.
Раньше текст веб-страницы полностью формировался только ее автором. Однако, со временем появилась возможность влиять на содержимое текста обычными читателями. Это комментарии, темы в блогах, посты и тому подобное. Кроме того, сайты стали большими и появилась необходимость в страницах, которые бесполезны для поисковых систем, но нужны пользователям. Это дубликаты страниц, расположенных в разных разделах, автогенерируемые страницы с кусками текста и тому подобное.
Поэтому появилась необходимость как-то сигнализировать поисковым системам, таким как Яндекс и Google, о том, какой текст необходимо индексировать и какие ссылки учитывать в ссылочной массе. Этими сигналами стали специальные слова Nofollow и Noindex.
Но, обо всем по порядку.

Nofollow, Noindex это
Nofollow — это атрибут, который указывается в определенных ссылках или же мета-теге robots для запрета индексации ссылок и передачи по ним веса.
Noindex — это атрибут, который указывается в мета-теге robots для закрытия текста от индексации. Так же может быть представлен в виде отдельного тега, но учитывается только поисковыми системами Яндекс и Рамблер.
Как используется атрибут nofollow в ссылке:
<a href="/[адрес сайта]" rel="nofollow">Текст</a>
Часть rel=»nofollow» информирует поисковые системы, что поисковым ботам нет необходимости переходить по данной ссылке.
Как используются атрибуты nofollow и noindex в мета-теге robots:
1. Индексировать и переходить по ссылкам в странице
<meta name="robots" content="index, follow" />
Если мета-тега в странице нет, то по умолчанию считается, что страницу можно индексировать и поисковому боту необходимо переходить по ссылкам (если они не запрещены атрибутом).
2. Не индексировать текст и переходить по ссылкам в странице
<meta name="robots" content="noindex, follow" />
Так же можно не указывать follow, так как поисковики считают по умолчанию, что индексация текста и переход по ссылкам разрешены.
3. Индексировать текст и не переходить по ссылкам в странице
<meta name="robots" content="index, nofollow" />
Так же можно не указывать index, так как поисковики считают по умолчанию, что индексация текста и переход по ссылкам разрешены.
4. Не индексировать текст и не переходить по ссылкам в странице
<meta name="robots" content="noindex, nofollow" />
5. Не индексировать текст и не переходить по ссылкам в странице с помощью none
<meta name="robots" content="none" />
Однако, стоит учитывать, что в мета-теге robots поддерживаются иные вариант специальных директив. Например, noarchive означает не сохранять копию странице в кэше поисковых систем. Поэтому применять none стоит с осторожностью.
Как выглядят тег noindex в поисковых системах Яндекс и Рамблер:
1. <noindex>Неиндексируемый кусок кода</noindex>
2. <!—noindex—>Неиндексируемый кусок кода<!—/noindex—>
Читателю стоит знать, что приоритетным считается второй вариант (в виде html комментария), так как тег из первого варианта корректно воспринимается только поисковыми системами Яндекс и Рамблер (для остальных же это наличие невалидного тега в коде html).

Для чего нужны Nofollow и Noindex?
Для чего применяется Nofollow:
1. Закрытие лишних ссылок.
2. Распределение веса. Открытые ссылки передают больше веса (подробнее об этом чуть далее).
3. Скрытие технических ссылок и передачи веса по ним.
4. Не передавать вес для отдельных сайтов. Например, сомнительные ссылки.
5. Чтобы избежать спама. Площадки с возможностью публиковать открытые ссылки часто становятся объектами для спама.
6. Рекламный контент.
7. Чтобы избежать большого числа внешних открытых ссылок.
8. Приоритет сканирования. Если nofollow ссылки и будут просканированы ботом, то только после открытых.
Для чего применяется Noindex:
1. Данные не статичны, поэтому нет смысла их индексировать.
2. Данные динамически генерируются, поэтому нет смысла индексировать такие страницы. Особенно, если речь о подгрузке данных с помощью ajax.
3. Закрытие информации, которую не хотелось бы, чтобы она отображалась в поиске. Например, личные контактные данные.
4. Технические блоки (в случае тега noindex), такие как счетчики.
5. Дубликаты страниц. Как альтернативу, лучше использовать canonical, но все же.
6. Защита от спама. Обычно применяется к тем разделам, в которых часто публикуют информацию для продвижения иных проектов.
7. Цитаты и копипаст (в случае тега noindex) для увеличения уникальности текста.
8. Яндексу отображать одно, для Google другое (в случае тега noindex).
9. Чтобы текст не оказался в сниппете (в случае тега noindex).

Особенности nofollow и noindex
Вот несколько особенностей использования Nofollow и Noindex:
1. Из-за того, что ажиотаж с использованием ссылок с nofollow порой доходит до абсурда, поисковые системы все же учитывают подобные ссылки, но с меньшим весом. Например, в большинстве социальных сетей, внешние ссылки автоматически закрываются в nofollow, какого бы качества не были сайты акцепторы.
2. Если внутри тега noindex находятся ссылки без nofollow, то они будут учитываться поисковыми системами. Для Яндекса они будут безанкорными, ну а остальные системы и вовсе игнорируют тег noindex. Поэтому, если необходимо так же скрывать ссылки, то в них необходимо задавать nofollow.
3. Поисковые системы Яндекс и Google по разному воспринимают nofollow. Яндекс не учитывает ссылки, но индексирует текст. Google же не только не учитывает ссылку, но и ее текст. Это важная особенность, так как если внутри текста ссылки был адрес сайта, то Яндекс увидит его, а Google нет. Но, как уже говорилось, помните про первую особенность.
4. Учтите, что если в мета-теге robots закрыть только индексацию текста, то ссылки будут учтены.
5. Так же поисковые системы учитывают специальный HTTP заголовок «X-Robots-Tag». Например, «X-Robots-Tag: noindex, nofollow» аналогичен мета-тегу с noindex и nofollow.
6. Если вы используете несколько мета-тегов, то поисковые системы могут по разному их интерпретировать (тем более, что механизмы постоянно корректируются). Поэтому старайтесь задавать необходимое в одном мета-теге.
7. Стоит помнить, что файл «robots.txt» предполагает более высокий приоритет, чем мета-теги. Логика в том, что если страница запрещена в файле, то поисковая система проигнорирует страницу, как и ее мета-теги. Хотя, отмечу, что в интернете порой упоминается, что далеко не всегда страницы, запрещенные к индексации в файле robots, не попадают в индекс. Например, если на страницу была внешняя ссылка.
8. Поисковые системы поддерживают собственный набор мета-тегов и вариаций их представления, более подробно о них лучше смотреть в справке необходимого поисковика. Сделано это для того, чтобы разным поисковым системам можно было указывать разные ограничения.
Теперь, вы знаете что такое nofollow и noindex, а так же некоторые важные особенности.
☕ Хотите выразить благодарность автору? Поделитесь с друзьями!
Редирект (redirect) что это и зачем он нужен?
Что такое карта сайта (sitemap)?
Добавить комментарий / отзыв
что это такое, как правильно использовать
Nofollow – это атрибут, который прописывается для определенной ссылки или всех ссылок на странице в мета-теге robots с целью запрета поисковым роботам на переход по ним.
Noindex – это атрибут, который закрывает от индексации текст на странице.
То есть, noindex отвечает за контент в документе и запрет на индексацию его, в то время как nofollow – за ссылку.
Правила применения и зачем нужен nofollow?
Чтобы понять, в каких случаях может вообще пригодиться этот атрибут, рассмотрим, как к нему относятся популярнейшие поисковые системы.
Яндекс. Когда на вашем ресурсе содержатся разделы, предназначенные специально для обсуждения записей, написания комментариев к статьям или форум, важно следить за тем, какие исходящие ссылки оставляют в них посетители. Желательно модерировать каждый комментарий. Благодаря этому владелец сайта сможет предотвратить размещение различных вредоносных ссылок от спамеров. Хотя поисковик и не учитывает их, спам сильно влияет на репутацию веб-ресурса и к нему может быть применен фильтр. В связи с этим следует проверять все комментарии, и если есть какие-то сомнения относительно качества размещаемой ссылки, пропишите для них атрибут rel=”nofollow”. Сейчас, в измененном руководстве Яндекс, данный текст был удален и осталось только правило применения rel=»nofollow» Руководство Яндекс о nofollow
Google. Если у вашего сайта есть раздел, где пользователи могут комментировать записи, есть большой риск, что в комментариях появятся ссылки на вредоносные страницы. Спамеры «любят» сайты с комментариями без модерации. Атрибут nofollow для спам-ссылок спасет ваш ресурс и сохранит его чистую репутацию в глазах поисковой системы. Если же вы доверяете сайту, на который ссылается посетитель или вы сами ссылаетесь, то нет необходимости прописывать nofollow. Руководство Google о nofollow
Эти сообщения взяты с официальных сайтов поисковиков. Как видите, в Яндекс и Google написаны аналогичные вещи: значение nofollow нужно использовать в тех случаях, когда вы хотите сообщить ботам о недоверии в отношении сайта, на который ведет ссылка.
Только в Яндекс упор делается, что ссылка с rel=»nofollow» не будет индексироваться поисковой системой, а в Google говорится о том, что робот не будет переходить по такой ссылке.
Рассмотрим более конкретный пример, когда для ссылки требуется прописать запрещающий атрибут:
Материал сомнительного качества. Если вам не нравится содержание страницы, на которую посетитель оставляет ссылку в комментарии, и вы не желаете жертвовать репутацией своего сайта, прописывайте в теги данной ссылки значение rel=”nofollow”. Спамеры, заметив на вашем ресурсе тенденцию, когда к непроверенным ссылкам добавляется блокирующий атрибут, вскоре прекратят попытки навредить сайту. Если же вы видите, что пользователь оставляет ссылку на качественный материал, вручную или автоматически nofollow можно удалить.
Как правильно прописать nofollow?
Это сейчас nofollow позволяет управлять каждой ссылкой отдельно, но когда-то данное значение можно было задействовать только в мета-теге, который закрывал от поисковой системы абсолютно все ссылки на странице. И для запрета перехода по отдельным ссылкам вебмастерам приходилось блокировать их URL в robots.txt.
Robots Nofollow
Эти мета-теги так и остались по сей день. Если вы хотите закрыть от индексации все ссылки, содержащиеся на определенной странице, то на этой странице нужно прописать такой код:
<meta name=”robots” content=”nofollow” />
Важно не путать данный тег с двумя нижеприведенными кодами, content=»none» и content=”noindex, nofollow” блокируют доступ ботов ко всей странице, а не только к ее ссылкам. Поэтому, если вы хотите чтобы страницы индексировались, то ни в коем случае не прописывайте для них два вот этих тега:
<meta name=”robots” content=”none” />
<meta name =”robots” content=”noindex, nofollow” />
Rel=»Nofollow»
Выше мы рассмотрели варианты, как запретить переход поисковых роботов по всем ссылкам на страницах. Но еще можно назначить запрет на переход к конкретной ссылке.
Чтобы запретить для индексации и переход робота по ссылке, к ней надо прописать атрибут rel=”nofollow”, в коде это выглядит так:
<a href=”URL” rel=”nofollow”>анкор гиперссылки</a>
Утекает ли вес ссылки через nofollow?
Хотя Google в своих заявлениях позиционирует применение атрибута nofollow как переход по ссылке. И это подтвердило обращение бывшего главы компании по борьбе с поисковым спамом, Мэтта Катса. Он заявил, что «Google может учитывать ссылки из социальных сетей, даже несмотря на nofollow».

А вот с Яндексом вопрос не явный. Он четко пишет в своей документации, что данный атрибут запрещает индексацию таких ссылок.
А если мы перейдем в описание атрибута robots nofollow, то здесь уже видим запрет на переход, и не слово про индексацию.
Но, раньше можно было это проверить, если применить в поиске такую конструкцию url: ваш урл << inlink:(“анкор ссылки”), и Яндекс нам отображал только те страницы, где содержится наш искомый анкор ссылки. Сейчас же этот метод не работает, поисковая система Яндекс запретила использовать такую конструкцию в поиске. Поэтому можно с большей долью вероятностью сказать, что Яндекс может учитывать такие ссылки, потому что они появляются в Яндекс Вебмастер.
Видно, например, что Яндекс учитывает ссылки с Твиттера, даже если они отдаются через редирект и закрыты nofollow.
В целом можно сказать, что применение данного атрибута для поисковых роботов не всегда является запретом, если особенно сайт авторитетный.
Стоит ли закрывать внутренние ссылки в nofollow?
В прошлом, seo оптимизаторы сильно злоупотребляли rel=»nofollow» тем самым манипулирую передаваемым весом внутри сайта. Поэтому поисковая система Google заявила, что все внутренние ссылки отмеченные rel=»nofollow» будут отдавать вес вникуда https://www.mattcutts.com/blog/pagerank-sculpting/.
То есть со страницы где стоит такая ссылка будет уходить вес, но на страницу на которую стоит ссылка он не будет передаваться, получается он будет обнуляться.
Об этом в видео говорит бывший руководитель поиска в Google. Видео на английском, поэтому включите русские субтитры.

Атрибут noindex: что это и чем отличается от nofollow?
Многие начинающие вебмастера ломают голову, не понимая, чем noindex отличается от nofollow. Все просто:
nofollow — применяется к ссылкам
noindex — применяется к тексту
Если вы хотите запретить текст на всей странице сайта для индексации, но при этом учитывать ссылки, на странице нужно прописать следующий код:
<meta name=”robots” content=”noindex, follow: />
Если вы хотите закрыть часть текста, то в Google нет такого атрибута, но в Яндексе это возможно. Тег noindex был внедрен поисковиком Яндекс, так как раньше он не понимал nofollow, а ненужные ссылки нужно было как-то закрывать от роботов.
Но в 2010 году поисковая система начала работать с атрибутом rel=”nofollow”, при этом noindex не исчез, а остался отвечать за скрытие текста. Теперь, если вы хотите закрыть от индексации текст или например анкор ссылки, пропишите команду:
<noindex><a href=”url”>анкор ссылки</a></noindex>
Сама ссылка будет открыта для перехода роботами поисковых систем, не учтется только ее текст (анкор). Так же можно закрывать не только анкоры ссылок, но и контент.
Например это удобно было, когда Яндекс ввел новый алгоритм Баден-Баден, который накладывал санкции за seo тексты. Стоило закрыть портянки текста в noindex, и можно было выйти из под этого фильтра, причем не потерять позиции в Google, так как поисковая система Google не учитывает тег <noindex></noindex>.
Выводы
Nofollow отвечает за переход поисковых систем по этим ссылкам, как на всей странице, так и для определенной ссылки. Ранее noindex тоже выполнял аналогичную функцию, но только по отношению к Яндексу, который со временем начал понимать nofollow, в результате чего значением noindex начали закрывать от индексации контент на странице.
Владелец сайта должен грамотно использовать атрибут nofollow и понимать, в каких именно случаях это делать:
Когда ссылка ведет на веб-ресурсы с некачественным контентом.
Когда вы размещаете на странице коммерческий контент.
По атрибуту nofollow ссылка может индексироваться и передавать свой вес, если она стоит на качественный ресурс.
Главная задача использования nofollow — помочь указать приоритетные для сканирования ссылки, разделить продающие статьи от информационных, а также защитить сайт от спама, который, если не контролировать, может привести к снижению ранжирования или куда хуже, вылету ресурса из индекса.
Для всех других ситуаций можете смело применять dofollow ссылки, открытые для поисковых роботов. Репутация сайта ничуть не ухудшится, а даже улучшится, если вы будете оставлять ссылки на полезные для вашей целевой аудитории страницы. И никакой вес ваши документы не потеряют, а наоборот даже могут приобрести за счет обратного PageRank.
Мета-тег Robots — Robots.Txt по-русски
МЕТА-тег “Robots” позволяет указывать Роботам, можно ли индексировать данную страницу и можно ли использовать ссылки, приведенные на странице. Этот тег указывается на каждой конкретной странице, доступ к которой требуется ограничить.
В этом простом примере:
META NAME=»ROBOTS» CONTENT=»NOINDEX, NOFOLLOW»
робот не должен ни индексировать документ, ни анализировать стоящие на нем ссылки.
МЕТА-тег “Robots” – это простой инструмент для указания роботам, может ли страница быть проиндексирована и можно ли следовать по ссылкам со страницы.
Он отличается от Стандарта исключения для роботов тем, что вам не нужно тратить много усилий или получать доступ у Администратора cервера.
Куда писать META-тег “Robots”
Как и любой META-тег он должен быть помещен в область HEAD HTML страницы:

<html>
<head>
<meta name=“robots” content=“noindex,nofollow”>
<meta name=“description” content=“Эта страница ….”>
<title>…</title>
</head>
<body>
…
Что писать в META-теге “Robots”
META-тег “Robots” содержит указания, разделенные запятыми. В настоящее время определены существующие указания [NO]INDEX и [NO]FOLLOW. Директивы INDEX указывают, может ли робот индексировать страницу. Директива FOLLOW указывает роботу, может ли он следовать по ссылкам со страницы. Значения по умолчанию – INDEX и FOLLOW. Значения ALL и NONE обозначают активность всех директив и, соответственно, наоборот: ALL=INDEX,FOLLOW и NONE=NOINDEX,NOFOLLOW.
Несколько примеров:

<meta name=“robots” content=“index,follow”>
<meta name=“robots” content=“noindex,follow”>
<meta name=“robots” content=“index,nofollow”>
<meta name=“robots” content=“noindex,nofollow”>

Следует учесть, что параметр content тега “robots” нечувствителен к регистру.
Вы не должны включать конфликтующие и повторяющиеся директивы, как например:

<meta name=“robots” content=“INDEX,NOINDEX,NOFOLLOW,FOLLOW,FOLLOW”>

Правильный синтаксис атрибутов META-тега “Robots”:
content = all | none | directives
all = «ALL»
none = «NONE»
directives = directive [«,» directives]
directive = index | follow
index = «INDEX» | «NOINDEX»
follow = «FOLLOW» | «NOFOLLOW»
это программы, помогающие пользователям – например в выборе продукта, заполнении форм или даже в поиске. Такие программы имеют очень небольшое отношение к сетевому взаимодействию.
Дополнительно
Несколько ссылок по теме – постепенно надо будет добавить информацию из них на эту страницу.
Мета-тег Robots в стандарте HTML 4 на W3C
Как разные поисковики обрабатывают noindex
Запрет использования в выдаче описания из ODP
Разница между метатегами Noindex и Nofollow
Слышал про index, noindex, follow, nofollow… .и интересно, о чем, черт возьми, люди говорят? Ознакомьтесь с этим руководством, чтобы узнать больше!
NOINDEX
Директива noindex — часто используемое значение в метатеге, которое может быть добавлено в исходный HTML-код веб-страницы, чтобы предложить поисковым системам (в первую очередь Google) не включать эту конкретную страницу в свой список результатов поиска.
По умолчанию для веб-страницы установлено значение «index.”Вам следует добавить директиву на веб-страницу в разделе HTML, если вы не хотите, чтобы поисковые системы сканировали данную страницу и включали ее в SERP (страницы результатов поисковой системы).
Какие примеры страниц следует установить на «noindex»?
Страницы с благодарностью. Если вы включаете на свой веб-сайт формы сбора потенциальных клиентов, такие как «Свяжитесь с нами» или «Назначьте встречу», вы, вероятно, направите пользователей из своих веб-форм на уникальные страницы с благодарностью после того, как пользователь отправит форму.Наличие уникальных страниц с благодарностью для каждой формы — это лучший способ отслеживать цели и заявки потенциальных клиентов на вашем веб-сайте, но вы не хотите, чтобы посетители попадали на ваши страницы с благодарностью, потому что они включены в индекс Google! Посетитель должен появиться на ваших страницах с благодарностью только после того, как они заполнили вашу веб-форму. Установка для ваших страниц благодарности значения «noindex» поможет предотвратить включение этих страниц в поисковую выдачу.
Страницы только для членов — Если у вас есть раздел вашего веб-сайта, посвященный вашим сотрудникам или членам организации, но вы не хотите, чтобы эти веб-страницы были доступны для широкой публики или поисковых систем, директива «noindex» поможет уберечь эти страницы от быть найденным в поисковой выдаче.
NOFOLLOW
Директива nofollow — часто используемое значение в метатеге, которое может быть добавлено в исходный HTML-код веб-страницы, чтобы предложить поисковым системам (в первую очередь Google) не передавать равенство ссылок через какие-либо ссылки на данной веб-странице.
Ссылки являются важной частью поисковой оптимизации, хотя эксперты все время спорят о том, какую роль ссылки играют в общем рейтинге. Мы знаем, что ссылки с внешних авторитетных веб-сайтов помогут укрепить доверие к нашему собственному веб-сайту и повысить его рейтинг.Внутренние ссылки тоже полезны! Они помогают пользователям и роботу Googlebot перемещаться по вашему веб-сайту и объединять важные идеи.
По умолчанию для ссылок установлено значение «следовать». Вы можете установить ссылку на «nofollow» следующим образом: Anchor Text , если вы хотите предложить Google Гиперссылка не должна передавать ссылочную ценность / ценность SEO целевой ссылке.
Какие примеры ссылок следует установить на «nofollow»?
Ссылки в комментариях блога — Если вы потратили время на то, чтобы написать ценный пост для своего веб-сайта, вы не хотите, чтобы конкурент или спамер по ссылкам мог добавить бесполезный комментарий к вашему сообщению в блоге со ссылкой на свой собственный на сайте написано что-то вроде «Отличный блог.Я также написал блог на эту горячую тему »и включил ссылку на его / ее веб-страницу, чтобы он / она извлекли выгоду из ссылки, которую этот человек только что добавил с вашего веб-сайта на свой собственный. Если для этой ссылки установлено значение «nofollow», спамер по ссылкам может сказать это заранее и может не беспокоиться о добавлении комментария «Отличный блог» к вашему сообщению в блоге, зная, что от этого не будет никакой выгоды для SEO.
Платные ссылки. Еще одна тактика SEO, завоевавшая популярность в SEO-сообществе черных шляп, — это массовая покупка ссылок в Интернете.Владельцы веб-сайтов со страницей спонсоров на своем сайте могут включить логотипы и ссылки на свои веб-сайты спонсоров мероприятия, но использовать метатег «nofollow» для каждой ссылки на странице спонсора, чтобы указать Google, что они не могут поручиться за каждую. веб-сайт организации, на который делается ссылка. Имейте в виду, что хотя ссылки «nofollow» не предназначены для повышения SEO для связанного контента, они по-прежнему ценны для взаимодействия с пользователем и трафика.
ЗАКЛЮЧЕНИЕ
Надеюсь, это руководство дало вам лучшее понимание noindex vs.nofollow и когда каждый из них может быть полезен. Напоминаем:
«noindex» предлагает поисковым системам (в первую очередь Google) не индексировать определенную веб-страницу.
«nofollow» предлагает поисковым системам (в первую очередь Google) не передавать ссылочную массу через ссылки на веб-странице.
Обязательно проконсультируйтесь с квалифицированным агентством цифрового маркетинга при применении директив noindex и nofollow к своему веб-сайту. Если сделать это неправильно, эти маленькие теги могут нанести большой ущерб вашему органическому трафику.
Познакомьтесь с Кэти Хельгесен
Кэти Хельгесен, директор по SEO в Launch Digital Marketing, имеет более чем 15-летний опыт работы в области цифрового маркетинга, SEO и аналитики. Ей нравится кататься на американских горках, читать, смеяться, спать и проводить время со своим мужем, 3 детьми и 2 собаками. Просмотреть все сообщения Кэти Хельгесен →
Что такое Noindex и как его реализовать?
Что такое noindex?
Noindex — это значение, которое можно использовать в метатеге robots в HTML-коде веб-сайта.Он предназначен для сканеров поисковых систем, таких как Google, Bing и Yahoo. Если они находят это значение в метатегах веб-страницы, эта страница не включается в индекс поисковых систем и, следовательно, не отображается для пользователей в списках результатов поиска. Аналог noindex — это «index», который явно разрешает индексацию.
С помощью noindex вы можете решить, должна ли определенная веб-страница быть включена в индекс поисковых систем или нет. Таким образом, noindex — отличное средство для управления индексированием каждой отдельной подстраницы с небольшими усилиями.Таким образом, директива является важным инструментом поисковой оптимизации (SEO). Google всегда придерживается директивы noindex, тогда как index рассматривается только как рекомендация.
Для чего используется директива и когда она (нет) имеет смысл?
С помощью noindex вы можете исключить страницы из индекса поисковых систем, которые не принесли бы пользователям никакой дополнительной ценности, если бы они отображались в результатах поиска. Сюда входят, например, карты сайта или результаты внутреннего поиска.Подстраницы с конфиденциальными данными или защищенными паролем загрузками и разделами для участников также могут быть исключены из индексации таким образом.
Для страниц с повторяющимся, похожим или разбитым на страницы содержанием индексирование также не всегда рекомендуется с точки зрения SEO. Исключая этот контент, Google не оценивает такие страницы как дублирующий контент, и поэтому отдельные подстраницы не конкурируют друг с другом в отношении рейтинга. Это может пригодиться, например, в категориях интернет-магазинов. Если продукты там можно отсортировать по разным критериям, могут возникнуть совпадения.Например, если пользователи могут отсортировать довольно небольшое количество элементов по размеру, продукты, доступные в нескольких размерах, появятся в нескольких дисплеях категорий. Если эти страницы исключить из индексации, сайт не будет дублироваться, что отлично для SEO. В этом контексте, однако, обратите внимание, что релевантность этих страниц, которая может быть результатом обратных ссылок и т. Д., Также теряется из-за директивы noindex. Таким образом, вы всегда должны использовать канонический тег для дублированного контента, поскольку этот тег объединяет количество ссылок затронутых страниц на канонический URL-адрес и одновременно сигнализирует роботу Googlebot, какая страница должна быть включена в индекс.
Другой часто встречающийся вариант использования noindex — это разбиение на страницы, которое часто используется для длинных текстов или серий изображений. Здесь может иметь смысл проиндексировать только первую страницу, чтобы пользователи не оказывались в середине содержания серии изображений, а в начале. Однако использование noindex в этом контексте не всегда имеет смысл. Особенно длинные редакционные статьи содержат не только полезную информацию на первой странице. Таким образом, исключение следующих страниц может привести к потере трафика, что может отрицательно сказаться на SEO.Чтобы избежать этого, вы должны использовать rel = «next» / «prev» для нумерации страниц.
Как реализовать noindex
Одна из возможностей исключить определенную веб-страницу из индексации — добавить noindex к метатегу robots в метаданных этой страницы. Этот метатег содержит инструкции для сканеров Google и других поисковых систем. Чтобы исключить страницу из индекса поисковой системы, вам необходимо интегрировать следующий тег в заголовок HTML-кода:

Вместо того, чтобы отклонять все сканеры, вы также можете обратиться к определенной поисковой системе с помощью этого метатега.Например, если вы хотите запретить Googlebot индексировать определенную подстраницу, замените значение в атрибуте name на «googlebot». Имя бота Yahoo — «slurp». Однако в практике SEO вряд ли имеет смысл исключать только отдельных ботов.
В качестве альтернативы вы можете реализовать директиву noindex через поле в заголовке ответа HTTP. Для этого вам нужно добавить следующий код в заголовок HTTP-ответа:
X-Robots-Тег: noindex
Комбинирование noindex с follow или nofollow
При желании вы можете комбинировать директиву noindex со значениями «follow» или «nofollow».Они сообщают поисковым роботам, как обрабатывать ссылки на неиндексированной странице. Поисковые боты переходят по ссылкам на соответствующей странице, если установлена директива Follow. Эта комбинация директив часто используется для карт сайта в формате HTML. Индексирование карты сайта в формате HTML редко имеет смысл, но с точки зрения SEO карта сайта имеет ценность, поскольку Google и другие поисковые системы могут получить доступ ко всем подстраницам веб-сайта всего за несколько шагов.
Следующая директива также может быть полезна для SEO в отношении страниц категорий с разбивкой на страницы или страниц результатов функции внутреннего поиска интернет-магазинов.Многие операторы веб-сайтов решают не индексировать такие подстраницы из-за их низкого информационного содержания и потенциальных проблем с дублированием контента. В этом случае значение «следовать» полезно для обеспечения того, чтобы поисковые системы могли находить и индексировать отдельные продукты, предлагаемые в этих категориях.
В этом контексте, однако, обратите внимание, что Google перестает переходить по ссылкам на странице noindex через определенный период времени. Следовательно, этот подход только частично рекомендуется для долгосрочного SEO.
В отличие от следующего, директива nofollow гарантирует, что поисковые роботы не будут оценивать ссылки на подстранице.
Отличие от директивы disallow в файле robots.txt
Используя директиву disallow в файле robots.txt, вы можете запретить поисковым роботам сканировать определенные там области. Команда используется, например, для файлов, таких как изображения в больших базах данных, чтобы сэкономить ценный бюджет сканирования SEO. Однако вы не должны использовать эту директиву, если хотите, чтобы определенный контент не индексировался. Хотя команда запрещает сканирование определенной страницы, эта страница все равно может отображаться в индексе, если на нее указывают обратные ссылки с других веб-сайтов.
По этой причине вам никогда не следует комбинировать noindex и disallow на одной странице. Поскольку сканеры всегда сначала вызывают файл robots.txt при индексировании веб-сайта, они сначала замечают директиву disallow и, следовательно, воздерживаются от сканирования соответствующих подстраниц. Следствием этого является то, что они не могут видеть возможные директивы noindex на этих страницах и по-прежнему включать подстраницы в индекс, если они связаны через обратные ссылки. Если вы не хотите, чтобы определенная страница была включена в индекс поисковых систем, вам следует использовать только noindex.
Ссылки по теме
Похожие статьи
Что такое Noindex и как он работает?
В то время как тег noindex сообщает боту или сканеру не добавлять страницу в индекс результатов поиска, директива disallow предписывает поисковым системам вообще не сканировать страницу. Это должно быть сделано через файл robots.txt и иногда используется вместе с noindex.
Хотя тег disallow — полезный инструмент, важно соблюдать особую осторожность при использовании директивы disallow.Запрещая страницу, вы, по сути, удаляете ее со своего сайта в отношении поиска, а также лишаете ее возможности передавать PageRank — значение, присвоенное веб-странице поисковой системой, которая позволяет ей появляться в результатах поиска. Случайное отклонение неправильной страницы — например, страницы, которая привлекает трафик на ваш сайт — может иметь катастрофические последствия для трафика и вашей тактики SEO.
Почему я должен запретить страницу?
Запрет страниц, которые не имеют ценности для читателей или SEO, может ускорить сканирование и индексирование вашего сайта ботами.Примером может служить функция поиска на сайте электронной коммерции. Хотя функция поиска обеспечивает ценность для пользователя, различные страницы, которые она извлекает, не обязательно являются страницами, которые повышают ценность вашего сайта для SEO.
Объединение Noindex и Disallow
Если есть внешние ссылки или канонические теги — теги, которые сообщают ботам, какая страница из группы похожих страниц должна быть проиндексирована — указывающая на страницу, которая была запрещена, ее все равно можно проиндексировать и оценить, даже если она не может быть просканирована.Это означает, что он все еще может отображаться в поисковой выдаче.
Чтобы применить обе директивы, добавьте их обе в файл robot.txt. Например:
Запретить: /example-folder/example-page.html
Noindex: /example-folder/example-page.html
Что такое метатег Nofollow?
Тег nofollow используется для указания поисковым системам не оценивать достоинства ссылок (или конкретной ссылки), существующих на странице. Мета-директивы Nofollow также указывают ботам не открывать больше URL-адресов на сайте, устанавливая для всех ссылок значение «nofollow» — по умолчанию все ссылки на странице настроены на переход.Вы можете добавить тег nofollow к отдельным ссылкам или скрыть их с помощью метатега robots в заголовке HTML страницы. Ссылки Nofollow можно использовать в качестве тактики SEO, чтобы иметь возможность ссылаться на страницы, которые они хотят предоставить читателю, без связывания ботом или поисковым роботом этой страницы со своей собственной.
Например, одиночная ссылка nofollowed может выглядеть так:
< a href = ”https://example.com/” rel = ”nofollow”>
В то время как метатег nofollow в заголовке будет выглядеть так:
< meta name = «robots» content = «nofollow»>
Когда мне следует использовать ссылки Nofollow?
Теги
Nofollow полезны, когда они применяются к ссылкам, которые вы не можете напрямую контролировать, например, ссылкам в разделах комментариев, неорганическим или нерелевантным платным ссылкам, гостевым сообщениям, ссылкам на что-то не по теме на веб-сайте или странице, или к встраиваемым таким в виде виджета или инфографики.
Что такое Noindex Nofollow?
Добавление тега nofollow к ссылке не предотвратит сканирование или индексирование связанной страницы, хотя и предотвращает ассоциацию или передачу полномочий между связанными страницами.
Чтобы одновременно дать команду ботам не индексировать страницу и не переходить по ссылкам на ней, вы должны просто объединить определения noindex, nofollow в один метатег. Например:
< meta name = «robots» content = «noindex, nofollow»>
Если вы не хотите, чтобы Google сканировал страницу полностью, вам все равно необходимо запретить это.
Noindex vs Nofollow vs Disallow Commands
29 марта 2019 г.

Части следующего адаптированы из моей книги Tech SEO Guide , теперь доступно на Amazon.
Существует общая проблема, связанная с различием между командами noindex, nofollow и disallow. Все три являются мощными инструментами, которые можно использовать для повышения эффективности обычного поиска на веб-сайте, но у каждого из них есть уникальные ситуации, в которых они могут применяться.К сожалению, во многих случаях они применяются неправильно, что значительно снижает эффективность поиска на сайте.
Две операции поискового робота
Чтобы понять, что делают команды noindex, nofollow и disallow, давайте сделаем шаг назад и рассмотрим, что делают роботы поисковых систем. Поисковые системы рассылают роботов, чтобы они пролезли и разобрались с сайтом. Эти роботы сложны, но выполняют две основные операции.
Сканирование : Как только робот обнаруживает веб-сайт, он просматривает все страницы и файлы на веб-сайте, который может найти.Можно установить ограничения на то, какие файлы и страницы может видеть робот, а также можно внести другие изменения, чтобы гарантировать, что робот найдет все, что ему нужно.
Индексирование : После сканирования роботы берут всю информацию, собранную во время этого сканирования, чтобы решить, какая информация, содержащаяся на конкретной странице, может и должна отображаться в результатах поиска. В рамках этого роботы поисковых систем также будут решать, в какие результаты поиска следует включить страницы веб-сайта (если таковые имеются) и где страница должна занимать место в этих результатах.
Disallow против Noindex против Nofollow
Disallow: Controlling Crawling
Первый метод управления поисковым роботом — это команда запрета. Это указано в файле robots.txt. Файл «robots.txt» — это простой текстовый файл, размещенный в корневом каталоге вашего веб-сайта. Он предоставляет роботам директивы, сообщающие им, какие каталоги вы бы предпочли, чтобы они не сканировали.
Если указано, поисковый робот, который соблюдает эту команду, не будет сканировать страницу, файл или каталог, которые были запрещены.Например, вы можете указать это в файле robots.txt, чтобы запретить поисковому роботу сканировать все, что находится в / a-secret-directory.
Disallow: / a-secret-directory
Вы также можете указать запрет только для определенного робота. Например, эта запись файла robots.txt указывает ботам Google избегать каталога my-content-admin-area. Однако боты Bing все еще могли сканировать этот каталог.
user-agent: googlebot Disallow: / my-content-admin-area /
Запрещенные файлы могут по-прежнему индексироваться и отображаться в результатах поиска.Например, Google и Bing могут найти ссылку на запрещенную страницу на вашем веб-сайте или в другом месте в Интернете. Они не могли просканировать страницу, чтобы увидеть ее содержимое, но они знали бы, что страница существует, и могли бы показать ее в индексе Google.
Как правило, лучше ничего не запрещать. Один набор файлов, который вы никогда не должны запрещать, — это файлы JavaScript, CSS или изображения. Эти файлы контролируют внешний вид страницы, и Google полагается на эти факторы дизайна при оценке страницы, особенно при определении удобства для мобильных устройств.
Meta Robots Nofollow: Controlling Crawling
Далее у нас есть команда nofollow. На самом деле существует два разных оператора nofollow. Команда nofollow, управляющая сканированием, — это мета-робот nofollow. Этот nofollow применяется на уровне страницы путем указания nofollow в метатеге robots в теге страницы.
... ...
При размещении в веб-страницы мета nofollow инструктирует робота поисковой системы не сканировать никакие ссылки на странице. Это часть большого набора директив, которые вы можете указать в метатеге robots.
Роботы, соблюдающие эту директиву, смогут сканировать эту страницу, но не будут сканировать страницы, на которые есть ссылки с этой страницы. Если вы не хотите, чтобы роботы вообще сканировали страницу, не говоря уже о ссылках, содержащихся на этой странице, то файл robots.txt disallow — лучший метод контроля сканирования.
Rel Nofollow: объяснение природы ссылки
Другой nofollow — это команда rel = ”nofollow”. Это может повлиять на сканирование, но более важная цель состоит в том, чтобы объяснить, почему эта ссылка включена. Традиционно rel = ”nofollow” использовался для указания любых ссылок, которые были спонсируемыми или имели денежные отношения. С тех пор Google представил другие типы квалификаторов: rel = «sponsored» и rel = «ugc».Квалификатор rel = «sponsored» предназначен для любой платной ссылки, rel = «ugc» — для любой ссылки, содержащейся в пользовательском контенте, а rel = «nofollow» — для любой другой ссылки, с которой вы бы предпочли, чтобы роботы Google не связывали Ваш сайт.
Эти команды rel указываются на уровне ссылки с атрибутом rel, добавленным к определенному тегу . Например, эта ссылка будет nofollow, и эта ссылка на страницу / no-robots-here не будет связана с вашим веб-сайтом.
Ссылка
Noindex: управление индексированием
Команда «noindex» может быть указана на странице в мета-роботах ярлык.Если на страницу включен метатег noindex, поисковым роботам разрешено сканировать страницу, но им не рекомендуется индексировать страницу (это означает, что страница не будет включена в результаты поиска, если эта команда будет соблюдена).
Пример:

Несколько примечаний:
Ранее вы могли указать noindex в файле robots.txt. Однако это больше не поддерживается Google (и, вероятно, никогда не было).При этом официальном отсутствии поддержки единственный способ указать noindex — на уровне страницы.
Если вы не можете добавить метатег к страницы, вы также можете использовать X-Robots в заголовке HTTP. Это может быть полезно для запрета индексации содержимого, отличного от HTML, например PDF-файлов или некоторых изображений.
Использование Noindex и Disallow
Важно четко понимать, как команды Disallow и Noindex работают вместе. Эти команды можно комбинировать тремя способами, чтобы повлиять на индексирование и сканирование.
Запрещение Noindex
Сценарий 1 X
X X
В сценарии 1 страница с параметром noindex не будет включена в результат поиска. Однако робот все еще может сканировать страницу, что означает, что роботы могут получать доступ к содержанию на странице и переходить по ссылкам на странице.
В сценарии 2 страница не будет сканироваться, но может быть проиндексирована и появится в результатах поиска. Поскольку робот не сканировал страницу, робот ничего об этом не знает. Любой контент, включенный в эту страницу в результаты поиска, будет собираться из других источников, например, из ссылок на страницу.
Сценарий 3 будет работать точно так же, как Сценарий 2, если в метатеге robots был указан noindex. Это связано с тем, что при указании Disallow робот не будет сканировать страницу. Если робот не просканирует страницу, он не увидит метатег, указывающий, что страницу не индексировать.Если для страницы необходимо установить значение noindex и запретить ее, сначала установите значение noindex, а затем, после удаления страницы из поискового индекса, установите запрет.
Рекомендации по использованию Nofollow
Когда использовать Nofollow для управления сканированием?
Как правило, роботы должны быть проинформированы о том, что они могут переходить по всем ссылкам на странице. Если слишком агрессивно указывать, по каким ссылкам следовать или nofollow, может начаться впечатление, что веб-сайт пытается манипулировать восприятием веб-сайта роботом.Это практика, известная как формирование страницы, где команды nofollow используются для моделирования того, как сигналы с одной страницы передаются на другую. В лучшем случае эти попытки манипулировать роботом больше не работают. В худшем случае попытки манипулировать роботами с помощью rel nofollow могут привести к штрафу.
Когда использовать квалификаторы Rel в ссылках
Rel = «nofollow», rel = «sponsored» или rel = «ugc» следует использовать в конкретных случаях, когда необходимо четко указать характер ссылки. Ярким примером являются ссылки на странице, где была произведена оплата в обмен на ссылку.Например, если сообщение в блоге содержит ссылки на рекламу, эти ссылки должны иметь атрибут rel nofollow. Однако с помощью дополнительных квалификаторов Google дает понять, что любые пользовательские ссылки должны иметь этот квалификатор.
Disallow, Noindex или Nofollow не обязательны
Disallow, Noindex и Nofollow не являются обязательными — роботы не должны выполнять ни одну из этих команд. На самом деле слово «команда» несколько преувеличено. Эти директивы являются рекомендациями. Боты Google могут игнорировать любую из этих рекомендаций.Часто игнорирование этих команд является признаком более серьезной проблемы, связанной с тем, что роботы неправильно понимают, как сканировать ваш сайт. В таких ситуациях вы хотите исследовать, в чем состоит эта более серьезная проблема, и решить ее, вместо того, чтобы просто переоснащать свои команды noindex, disallow или nofollow.
Кроме того, поскольку эти команды необязательны, вы не хотите полагаться на них для каких-либо важных аспектов вашего веб-сайта. Если часть веб-сайта не должна быть общедоступной или если вы хотите, чтобы часть вашего веб-сайта не попала в результаты поиска Google, вам следует рассмотреть альтернативы.Распространенной областью, где это становится проблемой, являются промежуточные веб-сайты, которые вы явно не хотите, чтобы роботы Google сканировали, и определенно не хотите их индексировать. На промежуточном веб-сайте запрета или noindex недостаточно для гарантии того, что боты покинут сайт. Вместо этого вы захотите потребовать логин для доступа к этому промежуточному сайту. Вход в систему не является обязательным и не может быть проигнорирован, что означает, что боты не смогут его сканировать или индексировать.
Резюме директив роботов
Самое важное, что нужно помнить, — это две операции: сканирование и индексирование.Мы можем контролировать или влиять на оба из них, используя разные директивы.
В итоге эти директивы таковы:
Disallow запрещает роботу сканировать страницу, файл или каталог.
Noindex сообщает роботу не индексировать страницу.
Meta nofollow говорит роботу не переходить по определенной ссылке или всем ссылкам на странице.
Rel = «nofollow» (или rel = «sponsored» или rel = «ugc») дополнительно уточняет природу ссылки
Используйте квалификаторы Disallow, Noindex, Meta Nofollow и rel умеренно и только после тщательного рассмотрения всех возможных последствий как их использование повлияет на эффективность SEO вашего сайта.При их использовании убедитесь, что вы не блокируете доступ роботов к важным частям вашего веб-сайта, таким как JavaScript, CSS или файлы изображений. В случае сомнений не добавляйте никаких директив.
Тестирование команд робота
Если вы решили использовать команды робота, вы хотите протестировать их, чтобы убедиться, что роботы правильно понимают команды. Хотя вы можете использовать инструменты сканирования, чтобы помочь в этом, более простой метод тестирования — в Google Search Console.
Испытательные роботы.txt
В консоли поиска Google вы можете проверить текущий файл robots.txt, чтобы узнать, какие страницы, если таковые имеются, в настоящее время перечислены как страницы, к которым Google не должен получать доступ. В настоящее время он недоступен в области навигации в Google Search Console, но доступен как устаревший инструмент (доступ прямо здесь).
На этой странице вы увидите текущий файл robots.txt вашего веб-сайта. Под файлом robots.txt вы можете ввести URL-адреса со своего веб-сайта и проверить, не сможет ли Google сканировать эту страницу из-за роботов.txt файл. В этом примере каталог wp-admin заблокирован для сканирования, но все остальные URL-адреса должны быть разрешены для сканирования.
Тестирование возможности сканирования и индексирования
Другой метод проверки того, могут ли роботы сканировать или индексировать страницу в Google Search Console, заключается в использовании инспектора URL. В новой консоли поиска Google введите URL-адрес, который вы хотите протестировать.
После загрузки результатов в отчете о покрытии вы можете увидеть, разрешены ли сканирование и индексирование.В этом примере разрешены оба варианта — это предполагаемый ответ. Если, однако, я указал noindex или disallow для этой страницы, сканирование или проиндексированные разрешенные ответы должны быть отрицательными.
Получите помощь
Если вам нужна помощь, давайте поговорим, прежде чем вносить какие-либо изменения. Или для получения дополнительной информации о noindex, nofollow, disallow и других технических вопросах SEO, пожалуйста, обратитесь к Техническому руководству по SEO в мягкой обложке или Kindle на Amazon. Теперь доступно за всего за 9,99 $ !
Ресурсы
Google делится Как метатег Noindex может вызывать проблемы
Джон Мюллер из Google ответил на вопрос об использовании метатега noindex на страницах товаров, которых временно нет в наличии.Джон ответил на вопрос и поделился своим мнением о том, как такое использование может немного сбить с толку Google и вызвать больше проблем.
Мета-тег роботов
Мета-тег роботов — это способ указать поисковым системам не индексировать веб-страницу. Под «индексированием» веб-страницы это означает включение в список веб-страниц, которые будут отображаться на страницах результатов поиска (также известных как поисковая выдача).
«Директива » — это код, которому поисковые системы обязаны подчиняться.
Метатег robots noindex сообщает поисковым системам, что страницу не следует включать в индекс.Страница, которая исключена из индекса, означает, что страница исключена из отображения в поисковой выдаче.
Вопрос о страницах товаров, которых нет в наличии
Вопрос, на который ответил Джон Мюллер, был задан издателем, который добавлял метатег noindex к страницам товаров, на которых товары отсутствовали.
Реклама
Читать ниже
Таким образом Google может исключить страницу с товаром, которого нет в наличии, из результатов поиска Google.
Затем издатель обновил метатег noindex до команды «index», когда продукт вернулся на склад.Изменив директиву noindex на директиву index, издатель приказал Google продолжить и начать показывать страницу в результатах поиска.
Это вопрос, который задают:
«Мы часто обновляем наших мета-роботов, index и noindex. А в прошлом месяце мы внедрили последнюю модификацию на страницы продуктов, которые появились в наличии за последние семь дней, и пометили их как «индекс», но мы не заметили никакого влияния на отправленные URL-адреса, помеченные как noindex. Я вручную проверил некоторые URL-адреса последних модификаций.
Google, кажется, никогда не следит за ними ».
Переключение мета-тега индекса роботов между noindex и index, похоже, не помогло издателю.
Джон Мюллер рассказал, как Google обрабатывает метатег noindex.
Объявление
Продолжить чтение ниже
«В целом, я думаю, что это колебание между индексированными и неиндексированными данными может немного сбить нас с толку.
Потому что, если мы видим страницу, которая не индексировалась в течение более длительного периода времени, мы будем считать, что это что-то вроде страницы 404, и нам не нужно ее сканировать так часто.
Так что, вероятно, происходит то, что мы рассматриваем эти страницы как noindex и решаем больше не сканировать их так часто, независимо от того, что вы отправляете в файл карты сайта.
Так вот что… колебания меты noindex здесь контрпродуктивны, если вы действительно хотите, чтобы эти страницы время от времени индексировались ».
Как Google обрабатывает теги Noindex
Интересно, что способ, которым Google обрабатывает метатеги noindex роботов, аналогичен тому, как они обрабатывают код ответа 404.
Тег noindex для роботов — это мощный инструмент, и его лучше всего использовать на страницах, которые издатель никогда не хочет индексировать.
Согласно странице разработчика метатега роботов Google:
«Мета-тег robots позволяет использовать детальный подход к конкретной странице для управления тем, как отдельная страница должна быть проиндексирована и предоставлена пользователям в результатах поиска Google».
На той же странице Google говорится о метатеге noindex:
«… указывает поисковым системам не показывать страницу в результатах поиска.”
В нем ничего не говорится о том, как Google обрабатывает его, как ответ 404 страница не найдена, что заставит Google посещать страницу реже, если вообще.
Как обращаться со страницами товаров, отсутствующих на складе
Есть несколько передовых методов работы с веб-страницами, которых нет в наличии.
Страницы категорий
На страницах категорий, на которых перечислены товары, которые есть в наличии и которых нет в наличии, а также на страницах поиска на веб-сайтах рекомендуется по умолчанию сначала отображать товары, имеющиеся в наличии.
Затем покажите товары, которых нет в наличии, внизу страниц поиска и страниц категорий.
Снимок экрана страницы поиска в розничном магазине, на которой показаны последние товары, отсутствующие в наличии
Покупатели, также рассматриваемые
Лучшим способом обработки страниц товаров, отсутствующих в наличии, является отображение раздела «Покупатели также учитываются» в верхней части страницы. страницы товара.
Реклама
Продолжить чтение ниже
Таким образом вы можете показать посетителю сайта аналогичные имеющиеся в наличии товары, которые могут его заинтересовать.
Уведомление о наличии на складе
Еще одна передовая практика — отобразить заметную кнопку «Предупреждение о наличии на складе», чтобы потребители могли выбрать получение уведомления, когда товар снова появится на складе.
Снимок экрана кнопки регистрации электронного оповещения о наличии на складе
Структурированные данные «нет в наличии»
Свойство структурированных данных «предложение» продукта имеет тип ItemAvailability , который можно использовать для сообщения поисковым системам о наличии товара. или нет в наличии.
Реклама
Продолжить чтение ниже
Тип ItemAvailability указан Google как рекомендуемый, но не обязательный.
Снимок экрана с структурированными данными об отсутствии на складе
Если структурированные данные ItemAvailability помечены как недоступные, поисковые системы могут не показывать эту веб-страницу в результатах поиска, но продолжать ее индексировать. Неясно, не ранжируют ли эти страницы поисковые системы, но, судя по неофициальным данным, именно так поисковые системы обрабатывают данные.
Реклама
Продолжить чтение ниже
Посмотреть, как Джон Мюллер обсуждает метатеги Noindex роботов

Отправленный URL-адрес с пометкой «noindex» в Google Search Console: как исправить
«Отправленный URL с пометкой« noindex »» означает, что Google обнаружил в вашей XML-карте сайта URL-адреса, которые были помечены как noindex , в результате чего Google не индексирует этот URL, поскольку они часто следуют этим директивам роботов.
Подавая неиндексируемые URL-адреса поисковым системам, вы отправляете им противоречивые сигналы, что приводит к растрате бюджета сканирования.
Как исправить ошибку «Отправленный URL с пометкой« noindex »»
Проверить статус
Просмотрите список страниц из отчета и убедитесь, что эти страницы все еще перечислены в XML sitemp и помечены ли они как noindex. Очистите кеш своего сайта, чтобы убедиться, что вы просматриваете последнюю версию своего сайта.
Если это всего лишь несколько URL-адресов, вы можете сделать это вручную. Если это больше, мы настоятельно рекомендуем подключить ваш сайт к ContentKing, чтобы наша платформа могла делать тяжелую работу и следить за этим в дальнейшем.
Наконечник Pro
Имейте в виду, что вы можете определить директивы robots через заголовок HTTP, используя X-Robots-Tag. X-Robots-Tag часто используется в промежуточных средах, и его легко пропустить.
Устранение этой проблемы
Вы получите следующие возможные результаты:
Страницы правильно помечены noindex и неправильно включены в карту сайта XML: удалите эти страницы из карты сайта XML.
Страницы неправильно помечены как noindex и включены в карту сайта XML: обновите их статус индексируемости, и все в порядке.
Следующим шагом является использование инструмента проверки URL-адресов консоли поиска Google (открывается в новой вкладке), чтобы проверить, правильно ли вы устранили проблему. После этого запросите переиндексацию через Google Search Console, чтобы ускорить процесс переиндексации и переиндексации.
Вы страдаете от новых недобросовестных директив noindex?
Проверь свой сайт и сразу узнай!
В этом видео подробно объясняется, как работают инструменты проверки URL:

Исправляем это в WordPress
Большинство плагинов WordPress для SEO, таких как Yoast и Rank Math, автоматически удаляют неиндексируемые страницы из XML-карты сайта.Просто имейте в виду, что тег noindex может быть определен на уровне заголовка HTTP, который управляется вне WordPress на уровне веб-сервера.
Исправляем это на Shopify
Если вы хотите исправить это для продуктов, вы можете использовать массовый редактор Shopify (открывается в новой вкладке), чтобы пометить продукты как «скрытые» — который автоматически добавляет метатег noindex и удаляет продукты из карты сайта XML. .
В качестве альтернативы вы можете использовать такое приложение, как Sitemap и NoIndex Manager (открывается в новой вкладке).Это приложение также поддерживает его определение для других типов контента.
ContentKing Academy
Прочтите всю статью Академии, чтобы узнать все об отчете о покрытии индекса Google Search Console
Noindex Nofollow и Disallow: Директивы поискового робота
Есть три директивы (команды), которые вы можете использовать, чтобы определять, как поисковые системы обнаруживают, хранят и обслуживают информацию с вашего сайта в качестве результатов поиска:
NoIndex: Не добавлять мою страницу в результаты поиска.
NoFollow: Не просматривайте ссылки на этой странице.
Disallow: Не просматривайте эту страницу вообще.
Эти директивы позволяют вам контролировать, какие страницы вашего сайта могут сканироваться поисковыми системами и отображаться в поиске.
Что означает отсутствие индекса?
Директива noindex предписывает поисковым роботам, таким как googlebot, не включать веб-страницу в результаты поиска.
Индексирование — это процесс, с помощью которого Google сканирует или «сканирует» Интернет в поисках нового содержания, которое затем добавляется в библиотеку содержания, доступного для поиска.
Как пометить страницу как NoIndex?
Есть два способа ввести директиву noindex :
Добавьте метатег noindex в HTML-код страницы
Вернуть заголовок noindex в HTTP-запросе
Используя метатег «без индекса» для страницы или в качестве заголовка ответа HTTP, вы, по сути, скрываете страницу от поиска.
Директива noindex также может использоваться для блокировки только определенных поисковых систем. Например, вы можете заблокировать Google от индексации страницы, но по-прежнему разрешить Bing:
Пример: блокировка большинства поисковых систем *

Пример: блокировка только Google

Обратите внимание: с сентября 2019 года Google больше не соблюдает директивы noindex в файлах robots.txt . Noindex теперь ДОЛЖЕН выдаваться через метатег HTML или заголовок ответа HTTP. Для более продвинутых пользователей запретить все еще работает, хотя и не для всех случаев использования.
В чем разница между noindex и nofollow?
Это разница между хранением и поиском контента:
noindex применяется на уровне страницы и сообщает сканеру поисковой системы не индексировать и не отображать страницу в результатах поиска.
nofollow применяется на уровне страницы или ссылки и сообщает сканеру поисковой системы не переходить (обнаруживать) ссылки.
По сути, тег noindex удаляет страницу из поискового индекса, а атрибут nofollow удаляет ссылку из графа ссылок поисковой системы.
NoFollow как атрибут страницы
Использование nofollow на уровне страницы означает, что сканеры не будут переходить ни по одной из ссылок на этой странице для обнаружения дополнительного контента, а поисковые роботы не будут использовать ссылки в качестве сигналов ранжирования для целевых сайтов.

NoFollow как атрибут ссылки
Использование nofollow на уровне ссылки не позволяет сканерам исследовать ссылку, связанную с рекламой, и предотвращает использование этой ссылки в качестве сигнала ранжирования.
Директива nofollow применяется на уровне ссылки с использованием атрибута rel в теге href:

В частности, для Google: использование атрибута ссылки nofollow не позволит вашему сайту передавать PageRank целевым URL.

Однако Google недавно объявил, что с 1 марта 2020 года поисковая система начнет обрабатывать ссылки NoFollow как «подсказки», которые способствуют общему поисковому авторитету сайта.
Почему вы должны помечать страницу как NoFollow?
В большинстве случаев вам следует , а не пометить всю страницу как nofollow — достаточно пометить отдельные ссылки как nofollow.
Вы бы отметили всю страницу как nofollow , если вы не хотите, чтобы Google просматривал ссылки на странице или если вы думали, что ссылки на странице могут нанести вред вашему сайту.
В большинстве случаев общие директивы уровня страницы nofollow используются, когда у вас нет контроля над контентом, размещаемым на странице (например: контент, созданный пользователем, может быть размещен на странице).
Некоторые высококлассные издатели также неуклонно применяют директиву nofollow к своим страницам, чтобы отговорить авторов размещать спонсируемые ссылки в своем контенте.
Как использовать страницы NoIndex?
Пометить страницы как noindex, которые вряд ли принесут пользу пользователям и не должны отображаться в результатах поиска.Например, страницы, которые существуют для разбивки на страницы, вряд ли будут отображать одно и то же содержимое с течением времени.
Domain.com/category/resultspage=2 вряд ли покажет пользователю лучшие результаты, чем domain.com/category/resultspage=1 , и эти две страницы будут только конкурировать друг с другом в поиске. Лучше не индексировать страницы, единственная цель которых — нумерация страниц.
Вот типы страниц, которые следует не индексировать:
Страницы, используемые для нумерации страниц
Внутренние поисковые страницы
Целевые страницы, оптимизированные для рекламы
Пример: отображает только форму подачи и подписки, без основной навигации
Пример: повторяющиеся варианты одного и того же содержания, используется только для рекламы
Архивные страницы авторов
Страницы в кассовых потоках
страниц подтверждения
Пример: страницы с благодарностью
Ex: Заказ полных страниц
Пример: Успех! Страницы
Некоторые страницы, созданные плагином, не имеющие отношения к вашему сайту (например, если вы используете коммерческий плагин, но не используете их обычные страницы продуктов)
Страницы администратора и страницы входа администратора
Пометка страницы Noindex и Nofollow
Страница, отмеченная как noindex, так и nofollow, блокирует индексирование этой страницы поисковым роботом и запрещает поисковому роботу просматривать ссылки на странице.
По сути, изображение ниже демонстрирует, что поисковая система увидит на веб-странице в зависимости от того, как вы использовали директивы noindex и nofollow:
Пометка уже проиндексированной страницы как NoIndex
Если поисковая система уже проиндексировала страницу, и вы отметили ее как noindex , то при следующем сканировании страница будет удалена из результатов поиска .
Чтобы этот метод удаления страницы из индекса работал, вы не должны блокировать (запрещать) поисковый робот с вашими robots.txt файл.
Если вы говорите поисковому роботу не читать страницу, он никогда не увидит маркер noindex , и страница останется проиндексированной, хотя ее содержимое не будет обновлено.
Как запретить поисковым системам индексировать мой сайт?
Если вы хотите удалить страницу из поискового индекса после того, как она уже проиндексирована, вы можете выполнить следующие шаги:
Примените директиву noindex Добавьте атрибут noindex к метатегу или заголовку ответа HTTP
Запросить у поисковой системы сканирование страницы Для Google вы можете сделать это в консоли поиска, запросить у Google повторную индексацию страницы.Это приведет к тому, что робот Googlebot просканирует страницу, где робот обнаружит директиву noindex. Вам нужно будет сделать это для каждой поисковой системы, которую вы хотите удалить.
Подтвердите, что страница была удалена из поиска После того, как вы запросили сканер повторно посетить вашу веб-страницу, подождите некоторое время, а затем убедитесь, что ваша страница была удалена из результатов поиска. Вы можете сделать это, перейдя в любую поисковую систему и введя целевой URL-адрес сайта в двоеточии, как на изображении ниже.
Если ваш поиск не дал результатов, значит ваша страница была удалена из этого поискового индекса.
Если страница не была удалена Убедитесь, что в вашем файле robots.txt нет директивы «запретить». Google и другие поисковые системы не могут прочитать директиву noindex, если им не разрешено сканировать страницу. Если вы это сделаете, удалите директиву disallow для целевой страницы, а затем снова запросите сканирование.
Установите директиву запрета для целевой страницы в файле robots.txt Disallow: / page $
Вам нужно будет поставить знак доллара в конце URL-адреса в вашем файле robots.txt, иначе вы можете случайно запретить любые страницы под этой страницей, а также любые страницы, которые начинаются с той же строкой. Пример: Disallow: / sweater также запретит / sweater-weather и / sweater / green, но Disallow: / sweater $ запретит только конкретную страницу / sweater.
Как удалить страницу из поиска Google
Если страница, которую вы хотите удалить из поиска, находится на сайте, которым вы владеете или управляете, большинство сайтов могут использовать Инструмент удаления URL-адресов для веб-мастеров.
Инструмент удаления URL для веб-мастеров удаляет контент из поиска только примерно на 90 дней. Если вам нужно более постоянное решение, вам нужно будет использовать директиву noindex, запретить сканирование из файла robots.txt или удалить страницу со своего сайта. Google предоставляет дополнительные инструкции по постоянному удалению URL-адресов здесь.
Если вы пытаетесь удалить страницу из результатов поиска сайта, который вам не принадлежит, вы можете запросить Google удалить страницу из поиска, если она соответствует следующим критериям:
Отображает личную информацию, такую как ваша кредитная карта или номер социального страхования
Страница является частью вредоносной программы или фишинговой схемы
Страница нарушает закон
Страница нарушает авторские права
Если страница не соответствует ни одному из вышеперечисленных критериев, вы можете обратиться в SEO-компанию или PR-компанию за помощью в управлении репутацией в Интернете.
Стоит ли не индексировать страницы категорий?
Обычно не рекомендуется индексировать страницы категорий, если только вы не являетесь организацией корпоративного уровня, которая программно раскручивает страницы категорий на основе пользовательских поисковых запросов или тегов, а дублированный контент становится громоздким.
По большей части, если вы помечаете свой контент разумно, чтобы пользователи могли лучше ориентироваться на вашем сайте и находить то, что им нужно, тогда все будет в порядке.
На самом деле, страницы категорий могут быть золотой жилой для SEO, поскольку они обычно показывают глубину содержания по темам категорий.
Взгляните на этот анализ, который мы провели в декабре 2018 года, чтобы количественно оценить ценность страниц категорий для нескольких онлайн-публикаций.
* Анализ выполнен с использованием данных AHREFS.
Мы обнаружили, что целевые страницы категорий ранжируются по сотням ключевых слов страницы 1 и ежемесячно привлекают тысячи обычных посетителей.
Страницы самых ценных категорий для каждого сайта часто привлекали тысячи обычных посетителей.
Взгляните на EW.com ниже, мы измерили трафик для каждой страницы (представленный размером круга) и стоимость трафика для каждой страницы (представленный цветом круга).
Ежемесячный органический трафик на страницу = размер
Ежемесячная органическая ценность страницы = глубина цвета
Теперь представьте те же диаграммы, но для сайтов, посвященных товарам, на которых посетители, скорее всего, совершат активные покупки.
При этом, если ваши категории достаточно похожи, чтобы вызвать недоумение пользователей или конкурировать друг с другом в поиске, вам может потребоваться внести изменения:
Если вы устанавливаете категории самостоятельно, мы рекомендуем перенести контент из одной категории в другую и уменьшить общее количество имеющихся категорий.
Если вы разрешаете пользователям раскручивать категории, вы можете не индексировать страницы категорий, созданные пользователем, по крайней мере, до тех пор, пока новые категории не пройдут процесс проверки.
Как запретить Google индексировать субдомены?
Есть несколько способов запретить Google индексировать субдомены:
Вы можете добавить пароль, используя файл .htpasswd
Вы можете запретить поисковым роботам с помощью файла robots.txt
Вы можете добавить директиву noindex на каждую страницу в поддомене
Вы можете 404 все страницы поддоменов
Добавление пароля для индексирования блока
Если ваши поддомены предназначены для разработки, добавьте расширение.htpasswd в корневой каталог вашего поддомена — идеальный вариант. Стена входа в систему не позволит сканерам индексировать контент на поддомене, и — это предотвратит несанкционированный доступ пользователей.
Примеры использования:
Dev.domain.com
Staging.domain.com
Testing.domain.com
QA.domain.com
UAT.domain.com
Использование robots.txt для блокировки индексирования
Если ваши поддомены служат другим целям, вы можете добавить файл robots.txt в корневой каталог вашего поддомена. После этого он должен быть доступен по следующему адресу:
https://subdomain.domain.com/robots.txt
Вам нужно будет добавить файл robots.txt в каждый субдомен, который вы пытаетесь заблокировать для поиска. Пример:
https://help.domain.com/robots.txt
https://public.domain.com/robots.txt
В каждом случае файл robots.txt должен запрещать поисковые роботы, чтобы заблокировать большинство поисковых роботов с помощью одной команды, используйте следующий код:
Пользовательский агент: *
Запрещено: /
Звездочка * после user-agent: называется подстановочным знаком, она соответствует любой последовательности символов.Использование подстановочного знака отправит следующую директиву запрета всем пользовательским агентам независимо от их имени, от googlebot до yandex.
Обратная косая черта сообщает поисковому роботу, что все страницы поддомена включены в директиву disallow.
Как выборочно заблокировать индексирование страниц поддоменов
Если вы хотите, чтобы некоторые страницы из поддомена отображались в поиске, но не отображались другие, у вас есть два варианта:
Использовать директивы noindex на уровне страницы
Использовать директивы запрета на уровне папки или каталога
Директивы noindex на уровне страницы будут более громоздкими для реализации, поскольку директиву необходимо добавлять в HTML или заголовок каждой страницы.Однако директивы noindex не позволят Google индексировать субдомен, независимо от того, был ли субдомен уже проиндексирован или нет.
Директивы запрета на уровне каталога проще реализовать, но они будут работать только в том случае, если страницы поддоменов еще не включены в поисковый индекс. Просто обновите файл robots.txt субдомена, чтобы запретить сканирование соответствующих каталогов или подпапок.
Как узнать, не проиндексированы ли мои страницы?
Случайное добавление страниц с директивой об отсутствии индекса на ваш сайт может иметь серьезные последствия для вашего рейтинга и видимости в поиске.
Если вы обнаружите, что на странице не отображается обычный трафик, несмотря на хорошее содержание и обратные ссылки, сначала проверьте, не заблокировали ли вы случайно поисковые роботы из файла robots.txt. Если это не решит вашу проблему, вам нужно будет проверить отдельные страницы на предмет директив noindex.
Проверка наличия NoIndex на страницах WordPress
WordPress позволяет легко добавлять или удалять этот тег на ваших страницах. Первый шаг в проверке наличия nofollow на ваших страницах — просто переключить настройку Search Engine Visibility на вкладке «Чтение» в меню «Настройки».
Скорее всего, это решит проблему, однако этот параметр работает скорее как «предложение», чем как правило, и часть вашего контента все равно может быть проиндексирована.
Чтобы обеспечить абсолютную конфиденциальность ваших файлов и контента, вам нужно будет сделать последний шаг — либо защитить свой сайт паролем с помощью инструментов управления cPanel, если они доступны, либо с помощью простого плагина.
Аналогичным образом, удалить этот тег из вашего контента можно, сняв защиту паролем и сняв флажок с параметра видимости.
Проверка наличия NoIndex на Squarespace
Страницы
Squarespace также легко индексируются с помощью функции Code Injection. Как и WordPress, Squarespace можно легко заблокировать от обычного поиска с помощью защиты паролем, однако платформа также не рекомендует предпринимать этот шаг для защиты целостности вашего контента.
Добавляя строку кода NoIndex на каждую страницу, которую вы хотите скрыть от поисковых систем в Интернете, и на каждую подстраницу под ней, вы можете обеспечить безопасность защищенного контента, доступ к которому должен быть запрещен.Как и на других платформах, удалить этот тег также довольно просто: просто использовать функцию внедрения кода для возврата кода — все, что вам нужно сделать.
Squarespace уникален тем, что его конкуренты предлагают эту опцию в первую очередь как часть набора настроек в инструментах управления страницами. Squarespace уходит отсюда, позволяя персональные манипуляции с кодом. Это интересно, потому что вы можете видеть изменения, которые вы вносите в содержание своей страницы, в отличие от других в этом пространстве.
Проверка наличия NoIndex на Wix
Wix также позволяет быстро и просто исправить проблемы с NoIndexing. В настройках «Меню и страницы» вы можете просто отключить опцию «показывать эту страницу в результатах поиска», если вы хотите, чтобы NoIndex не индексировал одну страницу вашего сайта.
Как и его конкуренты, Wix также предлагает защиту паролем ваших страниц или всего сайта для дополнительной конфиденциальности. Однако Wix отличается от других тем, что служба поддержки не предписывает параллельные действия на обоих фронтах для защиты контента от сканера.Wix особо отмечает разницу между скрытием страницы из вашего меню и скрытием ее из критериев поиска.
Это особенно полезный совет для менее опытных разработчиков веб-сайтов, которые могут изначально не понимать разницы, учитывая, что удаление из меню вашего сайта делает страницу недоступной с сайта, но не по разумному поисковому запросу Google.
.