– Что такое мета-тег “robots” со значением “noindex”
Мета-тег – это тег, который применяется только для роботов поисковых систем с целью закрытия от индексации (не сканирования).
Как использовать данный тег:
Мета-тег роботс устанавливается в секцию на той страницы, которую необходимо закрыть индексации или которая не должна индексироваться поисковыми системами.
Нет ограничений на индексирование и показ контента. Эта директива используется по умолчанию и не влияет на работу поисковых роботов, если нет других указаний.
noindex
Не показывать эту страницу, а также ссылку “Сохраненная копия” в результатах поиска.
nofollow
Не выполнять переход по ссылкам на этой странице.
none
Аналогично метатегам noindex, nofollow.
noarchive
Не показывать ссылку “Сохраненная копия” в результатах поиска.
nosnippet
Не показывать фрагмент текста этой веб-страницы в результатах поиска. При этом уменьшенное статическое изображение (если оно есть) останется видимым.
notranslate
Не предлагать в результатах поиска перевод этой страницы.
noimageindex
Не индексировать изображения на этой странице.
unavailable_after: [RFC-850 date/time]
Не отображать эту страницу в результатах поиска после указанного времени/даты. Время/дату следует указать в формате RFC 850.
*данные из справки Google.
Директива
Описание
noindex
Не индексировать текст страницы. Страница не будет участвовать в результатах поиска
nofollow
Не переходить по ссылкам на странице
none
Соответствует директивам noindex, nofollow
noarchive
Не показывать ссылку на сохраненную копию в результатах поиска
noyaca
Не использовать сформированное автоматически описание
index | follow | archive
Отмена соответствующих запрещающих директив
all
Соответствует директивам index и follow — разрешено индексировать текст и ссылки на странице
*Данные из справки Яндекс.
Как видим, основная часть директив одинаковые.
– Варианты использования meta robots noindex
Можно выделить наиболее частые конструкции, которые используются SEO-оптимизаторами на практике:
– если не нужно, чтобы страница индексировалась, но нужно, чтобы роботы могли ходить по ссылкам на странице.
ИЛИ- если не нужно, чтобы страница индексировалась и роботы переходили по ссылкам на странице.
ИЛИ- если нужно, чтобы страница индексировалась, но не нужно, чтобы роботы переходили по ссылкам на странице.
При этом, если вам нужно закрыть страницу от индексации в Яндекс, используем:
<meta name="yandex" content="noindex"/>
В Google:
<meta name="googlebot" content="noindex" />
– Отличия meta robots noindex от noindex в robots.txt
Основное отличие в следующем:
Мета-тег предназначен для закрытия страницы от индексации (запрет индексации).
Директива Disallow в файле robots.txt предназначена для закрытия от сканирования (не индексации).
Также, стоит отметить, что с помощью директивы Disallow можно закрыть от сканирования не только конкретную страницу, но и целую папку, в отличие от мета-тега роботс, который может запретить индексацию только той страницы, на которой он размещен.
В каких случаях нужно использовать мета-тег “robots”: Для исключения из индекса поисковой системы страницы, которая уже проиндексирована, а также точечного или массового удаления из индекса или запрета ненужных страниц.
В каких случаях нужно использовать Disallow в файле robots.txt: Для запрета сканирования служебных файлов и документов, а также нежелательных страниц: динамические страницы фильтра, страницы с результатами поиска и тд.
Воспользуйтесь развернутой инструкцией: Robots.txt: полное руководство по настройке
Важно:
Для поисковой системы Яндекс файл robots.txt – обязательная директива, для Google – рекомендация.
Поисковый робот может обращаться к файлу роботс не при каждом заходе на ваш сервер.
– Распространенные ошибки
Ошибка 1. Удаление страницы из индекса с помощь Disallow в файле robots.txt Почему это ошибка? Страница уже проиндексирована и находиться в индексе – вы установили запрет сканирования в файле робот, теперь робот не будет заходить на нее, но она останется в индексе.
Ошибка 2. Удаление страницы из индекса с помощь Disallow в файле robots.txt + установка мета-тега роботс Почему это ошибка? Страница уже проиндексирована и находиться в индексе – вы установили запрет сканирования в файле робот, теперь робот не будет заходить на нее, т.е. робот не сможет зайти на страницу и увидеть, что на ней установлен запрет индексации, следовательно, он не сможет исключить ее из индекса.
Noindex и nofollow в метатеге Robots и другие способы запрета индексации
Содержание статьи
Когда нужно запретить индексацию целой категории или ряда страниц, это легче сделать с помощью правильного robots.txt. Но как быть, если требуется закрыть от индексации одну страницу либо вообще часть текста на странице? Поговорим сейчас об элементах, которые призваны решать именно эту проблему.
Что такое мета тег Robots
Сначала уясним, что есть мета тег Robots, а есть файл Robots.txt, и путать их не будем. Метатег имеет отношение только к одной html странице (на которой он указан), в то время, как файл txt может содержать директивы не только к странице, но к целым каталогам.
Важный момент — для поисковика директивы метатега Роботс имеют преимущество перед директивами из robots.txt. То есть если в .txt у вас указано, что страницу можно индексировать, а в её метатеге указано, что нельзя, поисковик будет слушаться именно директиве из метатега.
При помощи мета тега Robots можно запрещать индексировать содержимое всей страницы. На страницах моего блога он выглядит так:
<meta name="robots" content="noodp"/>
Это означает, что метатег роботс не запрещает индексировать страницу. Noodp тут означает, что он запрещает Google брать в сниппеты описание для страниц из каталога DMOZ — это одна из стандартных настроек плагина Yoast SEO, которым я пользуюсь.
А вот как выглядит метатег Robots, который запрещает индексацию страницы:
<meta name =“robots” content=”noindex,nofollow”/>
Как прописать
Дедовский способ — вручную прописать для страницы. Способ подходит для сайтов на чистом HTML.
Для сайтов на CMS рекомендую использовать SEO-плагины. Я, например, для WordPress использую плагин Yoast SEO, и там под каждой записью в режиме редактирования есть такая опция:
То есть проставить нужное значение можно парой щелчков.
Как использовать noindex и nofollow в meta robots
Посмотрим на возможные значения атрибута content:
noindex, nofollow – запрещена к индексации вся страница и переходы по ссылкам на ней; кстати, идентичной будет значение при записи: <meta name =”robots” content=”none”/>
noindex, follow – страница не индексируется, но поисковик может переходить по ссылкам;
index, nofollow – страница индексируется, но переход по ссылкам запрещен;
index, follow – разрешены к индексированию как страница, так и ссылки на ней;
noarchive – работает как в yandex, так и в google – не показывает страницу на сохраненную копию;
noyaca – работает только в Яндексе, если сайт зарегистрирован в каталоге YACA – запрещает использовать описание в результатах поиска, которое берется из Яндекс.Каталога; выглядит так: <meta name =”robots” content=”noyaca”/>
noodp – работает и в Яндексе, и в Google – запрещает использовать в результатах описания, которые взяты из Каталога ДМОЗ (разумеется, если сайт там зарегистрирован).
Поговорим чуть больше о noodp
Иногда Гугл может добавлять в сниппет описание из DMOZ. Именно для этого и используется атрибут noodp. Кстати, его можно использовать вместе с тегом nofollow. Выглядит это так:
<meta name=“robots” content=”noodp, nofollow”/>
Чего нужно опасаться при использовании
Из-за невнимательности (особенно у новичков) могут случаться конфликты между тегами: в таком случае главным будет положительное значение (разрешающее индексацию). Например тут:
<meta name =”robots” content=”all”/>
<meta name =”robots” content=”noindex, nofollow”/>
Тут выбрано будет первое значение, так как там оно положительно.
Что такое тег Noindex
Noindex — это тег, в который вы заключаете часть кода, и этот код по идее не должен индексироваться Яндексом. Тег ноиндекс был предложен именно Яндексом, и по сей день учитывается только системами Yandex и Rambler. Вот как он выглядит:
<noindex>скрываемый текст</noindex>
Noindex – парный тег, и его необходимо закрывать.
Noindex не чувствителен к вложенности.
Целесообразность использования тега
Лично я смысла в его использовании не вижу. Потому что Google этот тег игнорирует. Да и зачем скрывать что-то? Надо делать сайты для людей!
Раньше сеошники скрывали в него часть текста, чтобы не было переспама. Но лично я предпочитаю в целях борьбы с переспамом просто снижать количество ключей в наиболее важных зонах документа.
Если же вы все-таки решили пользоваться этим тегом, то гляньте видео от ТопЭксперт:
Как пользоваться тегом Noindex
Нужно просто обернуть им тег:
<noindex>текст, который нам не нужен</noindex>
Валидный Noindex
Чтобы сделать его валидным, нужно закомментировать тег. Выглядит это так:
<!- -noindex- ->вот так все норм<!- -/noindex- ->
Для чего нужны теги, запрещающие индексацию
Как я писал выше, тег Noindex вообще ни для чего не нужен. Он себя давно изжил. А вот метатег роботс — довольно нужная вещь. Вот примеры ситуаций, когда он бывает полезен:
На сайте есть какая-то страница, которую бы вы не хотели видеть в индексе. Например, страница с информацией для рекламодателей. А прописывать в роботсе по каким-то причинам не хотите (например, хотите скрыть её от оптимизаторов, которые лазят по чужим роботсам). Тогда вы просто парой щелчков через плагин ставите ноиндекс для этой страницы;
Поскольку мета тег роботс имеет приоритет перед robots.txt, можно запретить индексирование какой-либо страницы, которая находится в директории, разрешенной для индексации.
Для чего нужен атрибут rel nofollow
Если метатег robots должен закрывать от индексации страницу, а тег noindex — её часть, то атрибут rel nofollow должен запрещать поисковику переходить по ссылке. Он является атрибутом тега А и выглядит так:
Зеленые вебмастера, которые впервые узнали о рел нофоллоу, сразу думают: «Отлично! Теперь я всем ссылкам его пропишу и вес не будет утекать никуда».
На самом деле поисковик вполне себе переходит по ссылкам с этим атрибутом и они вполне себе забирают ссылочный вес у ваших страниц. То есть смысла в этом атрибуте, как и в noindex, нет. Ссылки закрывать эффективно только через Ajax, да и это я думаю не навсегда. Но, если же вы все-таки решили сконцентрировать внимание на этой точке, которая в лучшем случае даст вам микроскопический рост, то вот еще один видос от ТопЭксперт:
Noindex — Википедия. Что такое Noindex
noindex — имя не входящего в официальную спецификацию тега языка гипертекстовой разметки веб-страниц HTML, предназначенного для включения в него частей веб-страниц, не предлагаемых к индексации поисковыми системами.
Тег предложен российской компанией «Яндекс» в качестве альтернативы атрибуту nofollow.
Данный тег предназначен для поисковых систем: он указывает им на то, что часть страницы, находящуюся между <noindex> и </noindex>, не следует никаким образом учитывать при индексировании данной страницы.
При использовании этого метода часть страницы, где он применяется, становится неэффективной для поисковой оптимизации.
С мая 2010 года «Яндекс» также стал учитывать микроформат nofollow[1].
Мета-тег noindex
Существует также мета-тег en:Noindex с тем же именем и с похожим предназначением. Отличие от «российского» — несколько другое использование, а также область действия (на всю страницу) [2].
<html>
<head>
<meta name="robots" content="noindex" />
<title>Don't index this page</title>
</head>
Noindex и Википедия
Стоит отметить, что в отличие от nofollow, Википедия не «обертывает» внешние ссылки тегами noindex, что раньше могло давать почву для спама вики-статей внешними ссылками, добавляемыми «поисковыми оптимизаторами» и владельцами некоторых сайтов для собственной «раскрутки» «под Яндекс». Однако с мая 2010 и это стало бесполезным занятием.
Совместимость
Поскольку тег noindex не входит в официальную спецификацию языка HTML, то большинство HTML-валидаторов считает его ошибкой. Потому для того, чтобы сделать код с
noindex валидным, рекомендуется использовать следующую конструкцию[3]:
<!--noindex-->Текст или код, который нужно исключить из индексации<!--/noindex-->
Подсветка Noindex
Подсветка SEO-тега noindex на сайтах реализована в плагине RDS bar в браузерах Firefox [4], Google Chrome [5] и Opera.
Примечания
Как работает мета тег noindex и где его используют
Мета тег Noindex известен тем, что закрывает поисковым системам возможность осуществлять процесс индексации того фрагмента страницы сайта, который по каким-либо причинам необходимо вывести из поля зрения поисковых роботов. Иными словами, при использовании данного тега часть страницы запрещается к прочтению и обработке поисковым ботом.
Как работает мета тег noindex и где его используют
Поводов для использования мета тега Noindex множество, одна из них – наличие на странице малозначительной информации, которая используется для заполнения контента. Под такой контент подпадает часто повторяющийся текст – объявления, формы подписки и почтовые рассылки, счетчики посещений, информация с баннеров, сайдбаров и прочее. Целесообразно использовать Noindex для того, чтобы при лавинообразном наполнении сайта «спрятать» от поискового робота копипаст.
Работает мета Тег Noindex стандартно, он имеет обычное оформление, открывающий и закрывающий теги. И все, что включено внутрь этих тегов, не попадает в индексацию роботов. К тому же этот тег не очень требователен к размещению, так как он будет выполнять свои функции и при неправильной вложенности.
Однако тег Noindex не настолько универсален, чтобы работать со всеми поисковыми системами. Noindex, как ограничивающий тег в гипертекстовой разметке HTML-страниц, предлагался для встраивания именно российской поисковой системой Яндекс.
Такая операция с окружением контента на странице тегом Noindex гарантированно сработает только лишь в случае индексации Рамблером и Яндексом. Google всемогущий и Yahoo! на такую разметку не ведутся и используют собственные инструменты управления индексацией.
Впрочем, если необходимо скрыть всю страницу полностью, то можно воспользоваться специальным мета–тегом, прописав noindex в файле robots.txt, — этот подход сработает и для российских, и для иностранных поисковиков. В этом случае робот того же Яндекса проиндексирует всю страницу, но затем отфильтрует значения в соответствии с проставленными тегами и робот исключит запрещенное Noindex содержание страницы.
Пример функционирования Noindex
Тег Noindex вполне может выступать как некий автоматический администратор, помогающий редактировать контент на сайте и «вычеркивать» засоряющие элементы.
Оптимизаторам приходится нелегко. Чтобы разместить внешние ссылки на свой сайт, они часто прибегают к таким «серым» методам, как выставление ссылок в блогах, электронных опросниках, энциклопедиях, статейниках и прочих посещаемых ресурсах. Как правило, на таких ресурсах очень высокая пользовательская активность, и страницы заполняются молниеносно. Однако такие ссылки для поисковика являются спамом на публичном сайте. Чтобы избежать снижения эффективности и загрязнения своего сайта, надо использовать в ссылках тег Noindex. Этот тег избавит от необходимости ручной правки текстов и ссылок.
Есть ещё один мета тег, работа которого практически схожа с Noindex, но применяется он для других случаев. Это метатег Nofollow и подробнее о нём можно почитать здесь.
Обучение продвижению сайтов
Для тех кто хочет научиться выводить сайты в ТОП 10 поисковых систем Яндекс и Google, я организовал онлайн-уроки по SEO-оптимизации (смотри видео ниже). Все свои интернет-проекты я вывел на посещаемость более 1000 человек в сутки и могу научить этому Вас. Кому интересно обращайтесь!
На этом сегодня всё, всем удачи и до новых встреч!
Noindex — Википедия. Что такое Noindex
noindex — имя не входящего в официальную спецификацию тега языка гипертекстовой разметки веб-страниц HTML, предназначенного для включения в него частей веб-страниц, не предлагаемых к индексации поисковыми системами.
Тег предложен российской компанией «Яндекс» в качестве альтернативы атрибуту nofollow.
Данный тег предназначен для поисковых систем: он указывает им на то, что часть страницы, находящуюся между <noindex> и </noindex>, не следует никаким образом учитывать при индексировании данной страницы.
При использовании этого метода часть страницы, где он применяется, становится неэффективной для поисковой оптимизации.
С мая 2010 года «Яндекс» также стал учитывать микроформат nofollow[1].
Мета-тег noindex
Существует также мета-тег en:Noindex с тем же именем и с похожим предназначением. Отличие от «российского» — несколько другое использование, а также область действия (на всю страницу)[2].
<html>
<head>
<meta name="robots" content="noindex" />
<title>Don't index this page</title>
</head>
Noindex и Википедия
Стоит отметить, что в отличие от nofollow, Википедия не «обертывает» внешние ссылки тегами noindex, что раньше могло давать почву для спама вики-статей внешними ссылками, добавляемыми «поисковыми оптимизаторами» и владельцами некоторых сайтов для собственной «раскрутки» «под Яндекс». Однако с мая 2010 и это стало бесполезным занятием.
Совместимость
Поскольку тег noindex не входит в официальную спецификацию языка HTML, то большинство HTML-валидаторов считает его ошибкой. Потому для того, чтобы сделать код с noindex валидным, рекомендуется использовать следующую конструкцию[3]:
<!--noindex-->Текст или код, который нужно исключить из индексации<!--/noindex-->
Подсветка Noindex
Подсветка SEO-тега noindex на сайтах реализована в плагине RDS bar в браузерах Firefox [4], Google Chrome [5] и Opera.
Примечания
Noindex — Википедия. Что такое Noindex
noindex — имя не входящего в официальную спецификацию тега языка гипертекстовой разметки веб-страниц HTML, предназначенного для включения в него частей веб-страниц, не предлагаемых к индексации поисковыми системами.
Тег предложен российской компанией «Яндекс» в качестве альтернативы атрибуту nofollow.
Данный тег предназначен для поисковых систем: он указывает им на то, что часть страницы, находящуюся между <noindex> и </noindex>, не следует никаким образом учитывать при индексировании данной страницы.
При использовании этого метода часть страницы, где он применяется, становится неэффективной для поисковой оптимизации.
С мая 2010 года «Яндекс» также стал учитывать микроформат nofollow[1].
Мета-тег noindex
Существует также мета-тег en:Noindex с тем же именем и с похожим предназначением. Отличие от «российского» — несколько другое использование, а также область действия (на всю страницу)[2].
<html>
<head>
<meta name="robots" content="noindex" />
<title>Don't index this page</title>
</head>
Noindex и Википедия
Стоит отметить, что в отличие от nofollow, Википедия не «обертывает» внешние ссылки тегами noindex, что раньше могло давать почву для спама вики-статей внешними ссылками, добавляемыми «поисковыми оптимизаторами» и владельцами некоторых сайтов для собственной «раскрутки» «под Яндекс». Однако с мая 2010 и это стало бесполезным занятием.
Совместимость
Поскольку тег noindex не входит в официальную спецификацию языка HTML, то большинство HTML-валидаторов считает его ошибкой. Потому для того, чтобы сделать код с noindex валидным, рекомендуется использовать следующую конструкцию[3]:
<!--noindex-->Текст или код, который нужно исключить из индексации<!--/noindex-->
Подсветка Noindex
Подсветка SEO-тега noindex на сайтах реализована в плагине RDS bar в браузерах Firefox [4], Google Chrome [5] и Opera.
Примечания
90000 What Is a Nofollow Link? Here’s A Simple Plain English Answer 90001
90002 In this post I’m going to break down EVERYTHING you need to know about nofollow links. 90003
90002 What they are. 90003
90002 Why they’re important. 90003
90002 And whether or not they help with SEO. 90003
90002 Let’s dive right in. 90003
90012 What Are Nofollow Links? 90013
90002 Nofollow links are links with a rel = «nofollow» HTML tag applied to them. The nofollow tag tells search engines to ignore that link.Because nofollow links do not pass PageRank they likely do not impact search engine rankings. 90003
90012 Nofollow vs. Dofollow Links — What’s the Difference? 90013
90002 The only technical difference between the two is that a nofollow link has a nofollow tag. 90003 90002 As a user, it’s impossible to tell the difference between a nofollow and dofollow link. You can click on, copy and use a nofollow link like any other link on the web. 90003
90002 However, when it comes to search engine optimization, there’s a BIG difference between nofollow and dofollow links.90003
90002 That difference is this: 90003
90002 Dofollow links help your search engine rankings. Nofollow links do not. 90003
90002 I’ll explain … 90003
90002 You see, Google and other search engines use links as a key ranking signal. 90003 90002 However, they ONLY count dofollow links in their algorithm. In fact, according to Google, nofollow links do not pass any PageRank. 90003 90002 And if the link does not send PageRank (aka «link juice») your way, it’s not going to help your Google rankings.90003
90002 (That said, there might be some exceptions to this rule. More on that later) 90003
90002 That’s why, when it comes to link building, you want to get dofollow links whenever possible. 90003
90002 Let’s quickly look at a real life example … 90003
90002 Here are two backlinks pointing to my site: 90003 90002 and 90003 90002 The first link is from homepage of an authority website (Ahrefs.com). 90003
90002 But when you look at the HTML of that page, you can see that the link is nofollow: 90003 90002 Which means that link is not going to help with my SEO.Bummer. 90003
90002 The second link is from a blog post on a site that does not have nearly as much authority. 90003
90002 However, the link is dofollow: 90003 90002 Which means: that link WILL boost my Google rankings. 90003
90002 With that, it’s time to find learn … 90003
90012 How Do You Check If a Link is Nofollow? 90013
90002 Here’s how to check if a link is nofollow: 90003
90064
90065 Right click on your browser and click «View page source». 90066
90065 Next, look for the link in the HTML of the page.90066
90065 If you see a rel = «nofollow» attribute, that link is nofollowed. Otherwise, the link is dofollow. 90066
90071
90002 You can also use the «Strike Out Nofollow Links» Chrome extension. 90003 90002 This handy tool automatically puts a line through any nofollow links on a page: 90003 90002 (That way, you do not need to manually check the HTML) 90003
90012 Why Did Search Engines Create the Nofollow Tag? 90013
90002 The nofollow tag was originally created by Google to combat blog comment spam.90003
90002 As the popularity of blogs grew, so did comment spam. Specifically, spammers would leave links back to their site in the comments: 90003 90002 This caused two major problems: 90003
90064
90065 First, spammy sites started to rank really well in Google. This pushed high quality sites out of the search results. 90066
90065 Because the tactic worked so well, blog comment spam quickly spun out of control. 90066
90071
90002 In 2005, Google helped develop the nofollow tag … and rolled it into their algorithm.90003
90002 The tag was ultimately adopted by other search engines (like Bing and Yahoo). 90003
90012 What Types of Links Are Nofollow? 90013
90002 Any link that has the nofollow tag is technically a nofollow link. 90003
90002 But in general, inbound links from these sources tend to be nofollow: 90003
90102
90065 Blog comments 90066
90065 Social media (for example, links in Facebook posts) 90066
90065 Links in forum posts or other forms of user generated content 90066
90065 Certain blogs and news sites (like the Huffington Post) 90066
90065 Links from «widgets» 90066
90065 Links in press releases 90066
90115
90002 And these popular websites use the rel = «nofollow» tag on all of their outbound links: 90003
90102
90065 Quora 90066
90065 YouTube 90066
90065 Wikipedia 90066
90065 Reddit 90066
90065 Twitch 90066
90065 Medium 90066
90115
90002 And there’s one more category of links that 90133 should 90134 be nofollow: 90003
90002 Paid links.90003
90002 According to Google’s Webmaster Guidelines, any links that you pay for should be nofollowed. 90003 90002 Google’s Matt Cutts confirmed that all paid links should have the nofollow link attribute applied. 90003 90002
90143
90144
90003
90002 (Why? Google wants all of your links to be 90133 earned 90134.). 90003
90002 For example, if you pay for a banner ad on a website, Google requires the link in the banner to be nofollowed.90003 90002 Otherwise, your site could get penalized by Big G. 90003 90012 Do Nofollow Links Help With SEO? 90013
90002 Some people say: «Nofollow links have ZERO impact on SEO». 90003
90002 And others claim: «Nofollow links are not as powerful as dofollow links … but they still help.» 90003
90002 What’s the truth? 90003
90002 Let’s find out … 90003
90002 First, what does Google say about nofollow links? 90003 90002 90133 «In general»? 90134 90003
90002 That implies that they DO follow them in certain cases.90003
90002 Hmmmm. 90003
90002 Next, let’s look at a really interesting case study. 90003
90002 Adam White wanted to rank his blog for the keyword «backlink software». 90003
90002 What did he do? 90003
90002 He bought a bunch of nofollowed links from a high-quality site in the SEO space. 90003
90002 And all of those links had «backlink software» as their anchor text. 90003 90002 So: what happened? 90003
90002 His ranking shot up from # 19 … to # 1 in Google for his target keyword. 90003 90002 Third, let’s check out another cool little experiment.90003
90002 This time, the head of SEO at SurveyMonkey decided to answer the question: «Does Google actually follow nofollow links». 90003 90002 To find out, he added a nofollow link to one of SurveyMonkey’s 404 pages. 90003 90002 That link led to a page that was not indexed yet. 90003
90002 In theory, Google should ignore that link. 90003
90002 But that’s NOT what happened. 90003
90002 Instead, Google followed the link … and indexed the page within 48 hours. 90003
90002 Finally, let’s check out the results from an industry study.90003
90002 Ahrefs recently analyzed 51 of the most competitive Google search results on the planet. 90003
90002 (They looked at keywords like «insurance» and «NYC lawyer») 90003 90002 And they discovered that dofollow and nofollow backlinks have the same impact on rankings. 90003 90002 Bottom Line? Nofollow links seem to have some SEO value … especially if those links are from related sites. Google may 90003.90000 noindex — What does that mean? 90001 90002 What is noindex? 90003
90004
90005 Noindex is a value that can be used in the robots meta tag in the HTML code of a website. It addresses crawlers of search engines like Google, Bing, and Yahoo. If they find this value in the meta tags of a web page, this page is not included in the index of search engines and is therefore not displayed to users in search result lists. The counterpart to noindex is «index» which explicitly allows indexing.90006 90005 With noindex, you can decide whether a certain web page should be included in the index of search engines or not. Therefore, noindex is a great means to control the indexing of each individual subpage with little effort. Therefore, the directive is an important instrument of search engine optimization (SEO). Google always adheres to a noindex directive whereas index is only seen as a recommendation.
90006
90002 What is the directive used for and when does it (not) make sense? 90003
90005 With the help of noindex, you can exclude pages from the index of search engines that would provide users with little or no added value if they were shown in search results.This includes, for example, sitemaps or the results of an internal search function. Subpages with sensitive data or password-protected download and member areas can also be excluded from indexing this way.
90006 90005 For pages with duplicate, similar, or paginated content, indexing is also not always recommended with regard to SEO. By excluding this content, Google does not evaluate such pages as duplicate content and thus the individual sub-pages do not compete with each other with regard to ranking.This can be useful, for example, in the categories of online shops. If the products there can be sorted according to different criteria, overlaps can occur. For example, if users can sort a rather low number of items by size, products that are available in several sizes will appear in several category displays. If these pages are excluded from indexing, the website does not suffer from duplication, which is great for SEO. In this context, however, note that the relevance of these pages, which may result from backlinks, etc., Is also lost due to the noindex directive. Therefore, you should always use a canonical tag for duplicate content, since this tag consolidates the link equity of the affected pages onto the canonical URL and simultaneously signals to Googlebot which page is to be included in the index.
90006 90005 Another frequently occurring use case of noindex is pagination which is often used for long texts or image series. Here it may make sense to index only the first page so that users do not end up in the middle of the content of a picture series, but at the beginning.However, the use of noindex in this context does not always make sense. Especially long editorial articles do not only contain useful information on the first page. Excluding the following pages can, therefore, result in traffic losses, which can have a negative effect on SEO. To avoid this, you should use rel = «next» / «prev» for pagination.
90006
90002 How to implement noindex 90003
90005 One possibility to exclude a certain web page from indexing is to add noindex to the robots meta tag in the metadata of that page.This meta tag contains instructions for crawlers of Google and other search engines. To exclude a page from the search engine index, you have to integrate the following tag into the head are of the HTML code:
90006
90021 90022
90005 Instead of rejecting all crawlers, you can also address a specific search engine with this meta tag. For example, if you want to prevent Googlebot from indexing a certain subpage, replace the value in the name attribute with «googlebot».The name of Yahoo’s bot is «slurp». In SEO practice, however, it hardly makes sense to only exclude individual bots.
90006 90005 Alternatively, you can implement the noindex directive via a field in the HTTP response header. For this, you have to add the following code to your HTTP response header:
90006
90021 X-Robots-Tag: noindex 90022
90002 Combining noindex with follow or nofollow 90003
90005 Optionally, you can combine the noindex directive with the values »follow» or «nofollow». These tell search bots how to handle links on the non-indexed page.Search bots follow the links on the respective page if a follow directive has been set. This combination of directives is often used for HTML sitemaps. Indexing an HTML sitemap rarely makes sense, but from an SEO point of view, the sitemap is valuable because Google and other search engines can access all subpages of a website in just a few steps.
90006 90005 The follow directive can also be useful for SEO with regard to paginated category pages or result pages of the internal search function of online shops.Many website operators decide not to index such subpages because of their low information content and potential duplicate content issues. In this case, the value «follow» is useful to ensure that search engines can still find and index the individual products offered in those categories.
90006 90005 In this context, however, note that Google stops following links on a noindex page after a certain period of time. Therefore, this approach is only partly recommended for long-term SEO.
90006 90005 In contrast to follow, the directive nofollow ensures that crawlers do not assess links on a subpage.90006
90002 Difference to the directive «disallow» in a robots.txt file 90003
90005 Using the disallow directive in a robots.txt file, you can tell search bots not to crawl the areas defined there. The command is used, for example, for files such as images in large databases, in order to save valuable SEO crawl budget. However, you should not use this directive if you want certain content not to be indexed. While the command prohibits crawling a particular page, this page can still appear in the index if backlinks from other websites point to it.90006 90005 For this reason, you should never combine noindex and disallow on the same page. Since crawlers always call up the robots.txt file first when indexing a website, they notice the disallow directive first and consequently refrain from crawling the respective subpages. The consequence of this is that they can not see possible noindex directives on these pages and still include the subpages in the index if they are linked via backlinks. If you do not want a certain page to be included in the index of search engines, you should therefore only use noindex.90006
90002 Related links 90003 90002 Similar articles 90003 .90000 SEO Basics: Meta Robots «Noindex, Nofollow» Explained 90001 90002 Today we will be talking about 90003 one of the biggest SEO mistakes 90004 a website owner (or web developer) can make: 90003 noindex 90004. Just the mention of it can send shivers down a developer’s spine. 90007 90002 29/08/2018 Update: Please see the update notes from the end of the post. 90007 90010 What is the Tag? 90011 90002 To put it in simple terms, this meta tag tells search engines what actions they can take (or not take) on a certain page.Major search engines will abide by the commands included in this tag. 90007 90002 This meta tag can be included anywhere between the 90003 90004 and 90003 90004 tags in a page’s header, like seen below: 90007 90002 90021 90021 90007 90002 90003 IMPORTANT: 90004 This tag does not have a site -wide effect. It can contain different values on different pages of the same website. 90007 90010 Available Values for the META ROBOTS tag 90011 90002 Here’s a list of valid values for the META ROBOTS tag.90007 90032 90033 Index (90034 default value 90035) 90036 90033 Noindex 90036 90033 None 90036 90033 Follow 90036 90033 Nofollow 90036 90033 Noarchive 90036 90033 Nosnippet 90036 90033 Noodp (90034 no longer relevant 90035) 90036 90033 Noydir (90034 no longer relevant 90035) 90036 90057 90002 These values can be combined, so for example the variations below are all perfectly valid meta robots tags: 90007 90032 90033 90036 90033 90036 90033 90036 90057 90010 The Effect of NOINDEX, NOFOLLOW 90011 90002 The NOINDEX value tells search engines NOT to index this page, so basically this page should not show up in search results.90007 90002 The NOFOLLOW value tells search engines NOT to follow (discover) the pages that are LINKED TO on this page. 90007 90002 Sometimes developers will add the NOINDEX, NOFOLLOW meta robots tag on development websites, so that search engines do not accidentally start sending traffic to a website that is still under construction. 90007 90002 Or you might have your current (live) website on www.example.com, but you also keep a development copy on www.dev.example.com/. In this case it is advisable to noindex, nofollow the Dev version, so as to avoid many potential issues.90007 90002 What often happens is that people will accidentally add this tag to live websites, forget to add it to development copies, or worse of all: forget to remove it from live websites after going live. 90007 90002 90034 Yes, the same results and issues can arise from a poor 90003 robots.txt 90004 file in the root of a website, but that’s beyond the topic of this post. 90035 90007 90010 90087 ~ 3% 90088 Of Hotel Websites Are Affected 90011 90002 90091 90091 90007 90002 90003 According to an independent analysis by HermesThemes.com of 50,000+ hotel websites from around the world, it was determined that ~ 3% of websites block search engines from indexing their website. 90004 90007 90002 This was a shocking discovery, which prompted us to address the issue with this article. 90007 90010 How To Verify If My Website Contains This Error? 90011 90002 Fortunately there is a very simple way to check any website / page for this error. 90007 90002 Simply open up the page in your browser, right click somewhere on the page (but not on links or images) and choose «View Page Source».In most browsers on Windows you can simply press 90003 CTRL + U 90004 on your keyboard. 90007 90002 90109 90109 90007 90002 Doing this will open a new tab with the complete HTML code (as the browser sees it) for the current page. As mentioned earlier, the meta tags are usually at the top of the website, like in this example: 90007 90002 90021 90021 90007 90002 If you see a META ROBOTS line on this page with the NOINDEX or NONE value then you need to take action 90003 immediately 90004! 90007 90010 How Do Affected Websites Look Like in Search Results? 90011 90002 I’m glad you (hopefully) asked.90007 90002 There’s a very handy way to search Google for indexed pages from a certain domain name: [site: example.com] (without the square brackets). 90007 90002 So we go to Google and search the domain that is using the NOINDEX meta robots on their website, and here’s what we get: 90007 90002 90131 90131 90007 90002 I hope that you understand how much damage can be caused by having your website completely removed from Google and other search engines. 90003 Your organic search traffic will drop to zero in a matter of days.90004 90007 90010 How to Fix / Remove the Meta Robots Line? 90011 90002 Thankfully fixing this issue is easy and should not be delayed. First you need to locate where this line comes from. 90007 90002 In WordPress, the first thing you should do is go to Dashboard> Settings> Reading. 90007 90002 90145 90145 90007 90002 Make sure that the checkbox for 90003 Search Engine Visibility 90004 is 90003 unchecked 90004. 90007 90002 If this did not fix the issue, then you should check if this line is hard-coded in the theme.90007 90002 To check this, you should go to Appearance> Editor and then choose «Theme Header header.php» from the list of files on the right (valid for most themes). 90007 90002 90159 90159 90007 90002 Look through this file and make sure that there is no META ROBOTS tag with a harmful value. If there is — remove it and click the blue «Update File» button. 90007 90010 In Conclusion 90011 90002 This line of code can cause a great deal of headache, loss of revenue and negative long-term SEO impact.90007 90002 Is your website affected by NOINDEX? Check today! 90007 90010 Updates from 29/08/2018: 90011 90002 I wanted to take the time and mention the new figures from 29th of August 2018. 90007 90002 The number of websites that I analyze has increased dramatically. The original article referred to the data extracted from 50,000 hotel websites. Now I analyze ~ 875,000 unique hotel websites (unique domains). 90007 90002 The findings from these 875,000+ hotel websites shows that 1.502% of hotel websites use NOINDEX or NONE as their meta robots value.90007 90002 The percentage does not seem high, but that’s over 13,000 of hotel websites that effectively block all search engine bots from indexing their websites. 90007 90002 Granted, some of them are doing this while performing maintenance on their websites. Other websites are actually trying to keep a low profile and display their business only via direct linking. 90007 90002 But I’ve taken the time to manually visit 200+ of random websites from this list and I would quickly estimate that 3/4 of them are actually using NOINDEX by mistake.So there’s that. 90007 90002 90185 90034 Related 90035 90188 90007.90000 What should NOINDEX do? 90001 90002 Okay, this post will be colossally boring to some people. But I wanted to give you a peek at debates behind the curtain in Google’s search quality group. Here’s a policy discussion about NOINDEX and how Google should treat the NOINDEX meta tag. First, you’ll want to read this post about how Google handles the NOINDEX meta tag. You may also want to watch this video about how to remove your content from Google or prevent it from being indexed in the first place.Here’s the conclusion from my earlier blog post: 90003
90004 90002
So based on a sample size of one page, it looks like search engines handle the «NOINDEX» meta tag: 90006 — Google does not show the page in any way 90006 — Ask does not show the page in any way 90006 — MSN shows a url reference and Cached link, but no snippet. Clicking the cached link does not return anything. 90006 — Yahoo! shows a url reference and Cached link, but no snippet. Clicking on the cached link returns the cached page.90003 90011
90002 The question is whether Google should completely drop a NOINDEX’ed page from our search results vs. show a reference to the page, or something in between? Let me lay out the arguments for each: 90003
90002 90015 Completely drop a NOINDEX’ed page 90016 90003
90002 This is the behavior that we’ve done for the last several years, and webmasters are used to it. The NOINDEX meta tag gives a good way — in fact, one of the only ways — to completely remove all traces of a site from Google (another way is our url removal tool).That’s incredibly useful for webmasters. The only corner case is that if Google sees a link to a page A but does not actually crawl the page, we will not know that page A has a NOINDEX tag and we might show the page as an uncrawled url. There’s an interesting remedy for that: currently, Google allows a NOINDEX directive in robots.txt and it will completely remove all matching site urls from Google. (That behavior could change based on this policy discussion, of course, which is why we have not talked about it much.) 90003
90002 Webmasters sometimes shoot themselves in the foot by using NOINDEX, but if a site’s traffic from Google is very low, the webmaster will be motivated to diagnose the issue themselves. Plus we could add a NOINDEX check into the webmaster console to help webmasters self-diagnose if they’ve removed their own site with NOINDEX. The NOINDEX meta tag serves a useful role that’s different than robots.txt, and the tag is far enough off the beaten path that few people use the NOINDEX tag by mistake.90003
90002 90015 Show a link / reference to NOINDEX’ed pages 90016 90003
90002 Our highest duty has to be to our users, not to an individual webmaster. When a user does a navigational query and we do not return the right link because of a NOINDEX tag, it hurts the user experience (plus it looks like a Google issue). If a webmaster really wants to be out of Google without even a single trace, they can use Google’s url removal tool. The numbers are small, but we definitely see some sites accidentally remove themselves from Google.For example, if a webmaster adds a NOINDEX meta tag to finish a site and then forgets to remove the tag, the site will stay out of Google until the webmaster realizes what the problem is. In addition, we recently saw a spate of high-profile Korean sites not returned in Google because they all have a NOINDEX meta tag. If high-profile sites like 90003
90002 — http://www.police.go.kr/main/index.do (the National Police Agency of Korea) 90006 — http://www.nmc.go.kr/ (the National Medical Center of Korea) 90006 — http: // www.yonsei.ac.kr/ (Yonsei University) 90003
90002 are not showing up in Google because of the NOINDEX meta tag, that’s bad for users (and thus for Google). 90003
90002 90015 Some middle ground in between 90016 90003
90002 The vast majority of webmasters who use NOINDEX do so deliberately and use the meta tag correctly (e.g. for parked domains that they do not want to show up in Google). Users are most discouraged when they search for a well-known site and can not find it. What if Google treated NOINDEX differently if the site was well-known? For example, if the site was in the Open Directory, then show a reference to the page even if the site used the NOINDEX meta tag.Otherwise, do not show the site at all. The majority of webmasters could remove their site from Google, but Google would still return higher-profile sites when users searched for them. 90003
90002 90015 What do you think? 90016 90003
90002 That’s the internal discussion that we’ve been having about NOINDEX meta tags. Now I’m curious what you think. Here’s a poll: 90003
90002 {democracy: 6} 90003
90002 I’d also be interested in (constructive) suggestions in the comments about how Google should treat the NOINDEX meta tag.Try to step into both a regular user’s shoes as well as the position of a site owner before leaving a comment. 90003
.
Поводов для использования мета тега Noindex множество, одна из них – наличие на странице малозначительной информации, которая используется для заполнения контента. Под такой контент подпадает часто повторяющийся текст – объявления, формы подписки и почтовые рассылки, счетчики посещений, информация с баннеров, сайдбаров и прочее. Целесообразно использовать Noindex для того, чтобы при лавинообразном наполнении сайта «спрятать» от поискового робота копипаст. 