Noindex и nofollow в метатеге Robots и другие способы запрета индексации

Содержание статьи

Когда нужно запретить индексацию целой категории или ряда страниц, это легче сделать с помощью правильного robots.txt. Но как быть, если требуется закрыть от индексации одну страницу либо вообще часть текста на странице? Поговорим сейчас об элементах, которые призваны решать именно эту проблему.

Что такое мета тег Robots

Сначала уясним, что есть мета тег Robots, а есть файл Robots.txt, и путать их не будем. Метатег имеет отношение только к одной html странице (на которой он указан), в то время, как файл txt может содержать директивы не только к странице, но к целым каталогам.

Важный момент — для поисковика директивы метатега Роботс имеют преимущество перед директивами из robots.txt. То есть если в .txt у вас указано, что страницу можно индексировать, а в её метатеге указано, что нельзя, поисковик будет слушаться именно директиве из метатега.

При помощи мета тега Robots можно запрещать индексировать содержимое всей страницы. На страницах моего блога он выглядит так:

<meta name="robots" content="noodp"/>

Это означает, что метатег роботс не запрещает индексировать страницу. Noodp тут означает, что он запрещает Google брать в сниппеты описание для страниц из каталога DMOZ — это одна из стандартных настроек плагина Yoast SEO, которым я пользуюсь.

А вот как выглядит метатег Robots, который запрещает индексацию страницы:

<meta name =“robots” content=”noindex,nofollow”/>

Как прописать

Дедовский способ — вручную прописать для страницы. Способ подходит для сайтов на чистом HTML.

Для сайтов на CMS рекомендую использовать SEO-плагины. Я, например, для WordPress использую плагин Yoast SEO, и там под каждой записью в режиме редактирования есть такая опция:

То есть проставить нужное значение можно парой щелчков.

Как использовать noindex и nofollow в meta robots

Посмотрим на возможные значения атрибута content:

• noindex, nofollow – запрещена к индексации вся страница и переходы по ссылкам на ней; кстати, идентичной будет значение при записи: <meta name =”robots” content=”none”/>
• noindex, follow – страница не индексируется, но поисковик может переходить по ссылкам;
• index, nofollow – страница индексируется, но переход по ссылкам запрещен;
• index, follow – разрешены к индексированию как страница, так и ссылки на ней;
• noarchive – работает как в yandex, так и в google – не показывает страницу на сохраненную копию;
• noyaca – работает только в Яндексе, если сайт зарегистрирован в каталоге YACA – запрещает использовать описание в результатах поиска, которое берется из Яндекс.Каталога; выглядит так: <meta name =”robots” content=”noyaca”/>
• noodp – работает и в Яндексе, и в Google – запрещает использовать в результатах описания, которые взяты из Каталога ДМОЗ (разумеется, если сайт там зарегистрирован).

Поговорим чуть больше о noodp

Иногда Гугл может добавлять в сниппет описание из DMOZ. Именно для этого и используется атрибут noodp. Кстати, его можно использовать вместе с тегом nofollow. Выглядит это так:

<meta name=“robots” content=”noodp, nofollow”/>

Чего нужно опасаться при использовании

Из-за невнимательности (особенно у новичков) могут случаться конфликты между тегами: в таком случае главным будет положительное значение (разрешающее индексацию). Например тут:

<meta name =”robots” content=”all”/>
<meta name =”robots” content=”noindex, nofollow”/>

Тут выбрано будет первое значение, так как там оно положительно.

Что такое тег Noindex

Noindex — это тег, в который вы заключаете часть кода, и этот код по идее не должен индексироваться Яндексом. Тег ноиндекс был предложен именно Яндексом, и по сей день учитывается только системами Yandex и Rambler. Вот как он выглядит:

<noindex>скрываемый текст</noindex>

Noindex – парный тег, и его необходимо закрывать.

Noindex не чувствителен к вложенности.

Целесообразность использования тега

Лично я смысла в его использовании не вижу. Потому что Google этот тег игнорирует. Да и зачем скрывать что-то? Надо делать сайты для людей!

Раньше сеошники скрывали в него часть текста, чтобы не было переспама. Но лично я предпочитаю в целях борьбы с переспамом просто снижать количество ключей в наиболее важных зонах документа.

Если же вы все-таки решили пользоваться этим тегом, то гляньте видео от ТопЭксперт:

Как пользоваться тегом Noindex

Нужно просто обернуть им тег:

<noindex>текст, который нам не нужен</noindex>

Валидный Noindex

Чтобы сделать его валидным, нужно закомментировать тег. Выглядит это так:

<!- -noindex- ->вот так все норм<!- -/noindex- ->

Для чего нужны теги, запрещающие индексацию

Как я писал выше, тег Noindex вообще ни для чего не нужен. Он себя давно изжил. А вот метатег роботс — довольно нужная вещь. Вот примеры ситуаций, когда он бывает полезен:

1. На сайте есть какая-то страница, которую бы вы не хотели видеть в индексе. Например, страница с информацией для рекламодателей. А прописывать в роботсе по каким-то причинам не хотите (например, хотите скрыть её от оптимизаторов, которые лазят по чужим роботсам). Тогда вы просто парой щелчков через плагин ставите ноиндекс для этой страницы;
2. Поскольку мета тег роботс имеет приоритет перед robots.txt, можно запретить индексирование какой-либо страницы, которая находится в директории, разрешенной для индексации.

Для чего нужен атрибут rel nofollow

Если метатег robots должен закрывать от индексации страницу, а тег noindex — её часть, то атрибут rel nofollow должен запрещать поисковику переходить по ссылке. Он является атрибутом тега А и выглядит так:

<a href =”http://website.ru” rel=”nofollow”>скрытая ссылка</a> 

Зеленые вебмастера, которые впервые узнали о рел нофоллоу, сразу думают: «Отлично! Теперь я всем ссылкам его пропишу и вес не будет утекать никуда».

На самом деле поисковик вполне себе переходит по ссылкам с этим атрибутом и они вполне себе забирают ссылочный вес у ваших страниц. То есть смысла в этом атрибуте, как и в noindex, нет. Ссылки закрывать эффективно только через Ajax, да и это я думаю не навсегда. Но, если же вы все-таки решили сконцентрировать внимание на этой точке, которая в лучшем случае даст вам микроскопический рост, то вот еще один видос от ТопЭксперт:

Теги noindex и nofollow: как использовать

Тег noindex и атрибут nofollow – это различные элементы, использующиеся в коде страницы. Они предназначены для различных целей и применяются по-разному, но для лучшего понимания их стоит рассматривать вместе.

Тег noindex

Noindex применяется для того, чтобы сообщить роботу «Яндекса» о том, что нельзя индексировать определенные части веб-страницы. Тег размещается в HTML-коде и имеет закрывающий тег. Контент, оказавшийся между открывающим и закрывающим тегами, будет игнорироваться ботом.

Тег noindex был придуман «Яндексом», и в настоящее время только два поисковика учитывают его: «Яндекс» и «Рамблер». Боты других поисковых систем игнорируют тег и все равно индексируют всю веб-страницу полностью. Кроме того, тег не может запретить индексировать гиперссылки и передавать по ним вес другому веб-ресурсу.

Запрещающий тег Noindex для Яндекса

Валидность

Тег <noindex> не стандартизирован, поэтому его применение может привести к появлению ошибок в коде. Вследствие этого его записывают немного по-другому. В коде страницы этот тег выглядит так:

<!—noindex—>

«Текст, который не должен индексироваться Яндексом»

<!—/noindex—>

Восклицательные знаки и дефисы применяются для валидации кода. Если не использовать эти символы (а писать без них, как это бывает с обычными тегами), то проверка на валидность будет показывать ошибку.

При верном использовании этого тега страница будет правильно восприниматься «Яндексом», Google и другими поисковыми роботами. При этом «Яндекс» поймет, что часть контента надо исключить из индексации, а Google сделает вывод, что в коде нет ошибок, и будет индексировать полностью. У поисковой системы «Гугл» нет аналогичного тега, несмотря на то, что у такого элемента есть много плюсов.

Когда применяется noindex

Этот тег приносит неоспоримую пользу веб-ресурсу. Его применяют, когда надо:

• скрыть от ботов часть HTML-кода, например коды счетчиков;

• запретить индексировать часто меняющийся текст веб-страницы, который бессмысленно добавлять в индекс;

• скрыть неуникальные фрагменты текста, чтобы не терять позиции в поисковой выдаче из-за неуникальности.

Атрибут nofollow

Nofollow – это не тег, а атрибут, использующийся в теге гиперссылки <a>. Этот атрибут, понятный для всех поисковых роботов, используется для того, чтобы запретить переходить по ссылке и передавать вес по ней.

В коде это выглядит так:

<a href=”гиперссылка” rel=”nofollow”> Текст ссылки </a>

Этот атрибут стандартизирован в HTML, поэтому все поисковые боты правильно воспринимают его и выполняют инструкции: не переходят и не передают вес. При этом ссылка не становится невидимой.

Атрибут Nofollow в теге гиперссылки

Когда применяется nofollow

Существует много ситуаций, в которых этот атрибут незаменим. Nofollow используется, когда требуется:

• перераспределить вес между несколькими ссылками на одной веб-странице;

• поставить ссылку на сайт, у которого другая тематика;

• запретить передачу веса на веб-ресурс, который поисковики считают некачественным;

• управлять количеством ссылок, которые должны учитываться поисковыми системами;

• не допустить передачу веса по множеству ссылок в комментариях.

При использовании nofollow нужно знать меру, потому что сайты, на которых все ссылки закрыты с помощью этого атрибута, не вызывают доверия у поисковиков.

Теги noindex и nofollow могут применяться в качестве значения для атрибута content. Это нужно для того, чтобы в метатеге robots дать указание роботам, что на данной странице не нужно ничего индексировать или переходить по ссылкам, размещенным на ней.

Таким образом, применение nofollow или noindex зависит от целей, которых нужно достичь. В качестве таких целей может быть необходимость скрыть часть текста, ссылки или запретить индексировать всю страницу. При этом noindex работает только для «Яндекса», а nofollow – для всех поисковиков.

Noindex является тегом, а nofollow – атрибутом тега <a>. Noindex используется для того, чтобы запретить индексацию контента, а nofollow предназначен для запрета перехода по ссылке и передачи веса.

Какая разница между тегами nofollow и noindex? — SEO

Выясняем, как работают тег noindex и атрибут nofollow. Подробно рассмотрим сценарии использования и узнаем, как прописывать теги для роботов в зависимости от поставленных задач.

Теги и атрибуты

Их еще называют дескрипторами. Это элементы разметки, с помощью которых объектам в текстовом документе придаются определенные свойства. Эти свойства зависят от языка разметки и поставленных задач. Сделать шрифт жирным, превратить кусок текста в гиперссылку или задать ей специфичные визуальные характеристики…

Но есть теги, которые выполняют несколько иные функции. В их числе nofollow и noindex. В любых своих проявлениях они никак внешне не влияют на текст и ссылки. Посетитель сайта не заметит, если часть страницы обведут в тег или пометят атрибутом nofollow. Текст будет выглядеть без изменений.

Изменения произойдут на технической стороне. Отличия заметит поисковой робот, анализирующий и индексирующий веб-страницы.

Что такое noindex

«Ноиндекс» – тег и атрибут HTML-страницы. Можно пометить им страницу целиком, придав ей определенные свойства, либо выбрать отдельный участок кода и применить атрибут к нему.

Функция noindex заключается в «сокрытии» контента от поисковых роботов, машин, анализирующих и индексирующих веб-сайты. Они собирают базу данных для поисковых служб и предоставляют пользователям релевантные результаты поиска.

Если какая-то часть контента на странице помечена тегом noindex, то робот ее проигнорирует и в поиске она учтена не будет, что прямо повлияет на SEO-продвижение ресурса, на котором были произведены соответствующие изменения.

На самом деле, робот, конечно же, посмотрит все, что есть на сайте. Просто не будет заносить это в индексную базу.

Какой контент помечается этим тегом?

Любой. В зависимости от помеченной информации и поискового робота тег будет восприниматься по-разному.

Обычно в noindex заворачивают четыре типа текстового контента:

1. Информацию с низкой уникальностью, чтобы избежать проблем с антиплагиатом.
2. Коды счетчиков (типа метрики и других аналитических систем), ненужные поисковику.
3. Контактные данные, номера и ссылки, которые не стоило бы показывать в поисковой выдаче.
4. Постоянно меняющийся текст, индексация которого не принесет никакой пользы.

Как использовать тег?

Тег можно вставить в <head> страницы как мету (атрибутом), увеличив область его действия на всю страницу.

С таким кодом индексация страницы разрешается:

<meta name="robots" content="index"/> 

А с таким индексация запрещается:

<meta name="robots" content="noindex"/> 

Такое правило можно указать для конкретного робота. Например, поискового бота Google:

<meta name="googlebot" content="noindex"/>

Еще один способ — встраивание тегов в текст и оборачивание в него ссылок.

<noindex>кусок текста, который хотелось бы скрыть от индексации поисковиками</noindex>

Правда, такая разметка может нагородить ошибок из-за того, что многие поисковики не понимают тег <noindex> и считают его наличие в тексте ошибкой. Поэтому приходится исползать его вариацию <!–noindex–>. В таком виде роботы, понимающие тег, считывают его без проблем и задают нужные свойства, а непонимающие попросту игнорируют.

Независимо от типа скрываемого контента, принцип остается тем же. Поэтому, если нужно скрыть от индексации код счетчика, ничего специфичного делать не придется. Так же оборачиваем его в <noindex> и все.

Что такое nofollow

Атрибут, вставляющийся перед ссылками и запрещающий по ним переходить. 

Вес страницы — это своего рода уровень авторитетности сайтов, один из факторов, учитываемых при ранжировании страниц в поисковых запросах. Чтобы не передавать вес страницы другим сайтам по размещенным на них ссылкам, данные ссылки оборачивают в тег nofollow.

Какой контент помечается этим атрибутом?

Ссылки. Но не все ссылки, а те, что могут как-то негативно повлиять на вес ресурса. Это касается автоматических ссылок, появляющихся в тех или иных участках сайта. Атрибут nofollow стоило бы приписывать любым внешним ссылкам, за которые вы не можете ручаться. Добавленные на ресурс другими пользователями через секцию комментариев или в графу профиля БИО.

Как прописывать тег?

С таким тегом индексирование страницы разрешается, но запрещается переход по всем ссылкам:

<meta name="robots" content="nofollow"/>

Как и в случае с <noindex>, правило можно задать для конкретного поискового робота:

<meta name="googlebot" content="nofollow"/>

Если мы говорим о конкретных ссылках, то переход на них можно запретить прямо внутри разметки.

<a href=“page.html” rel=“nofollow”>Гиперссылка</a>

Преимущества тега noindex и атрибута nofollow

Некоторые полезные свойства тегов мы уже обсудили выше, но на эту тему можно сказать больше.

• Теги помогают сделать информацию на сайте более релевантной за счет вычленения из нее неуникального и разного рода утилитарного контента, который никак не связан с данными для посетителей. Не только пропадает текст, понижающий общую уникальность, но и увеличивается плотность вхождения ключевых слов.
• Тегами можно спрятать информацию из сквозных блоков, которые часто воспринимаются роботами как дубликаты данных.
• Я уже упомянул выше, что за тегом <noindex> частенько прячут контактную информацию, но не пояснил зачем. Дело в поисковых сниппетах Яндекса и Google, в которые ненароком могут попасть номера телефонов и адреса, указанные на другом сайте или закрепленные за другой компанией в Яндекс.Справочнике. 
• Атрибут nofollow может прятать платные ссылки. Рекламные статьи, заметки и обзоры, размещенные на странице. Поисковикам запрещают переход по ним, чтобы избежать санкций со стороны Google или Яндекса.
• Еще nofollow нужен для распределения приоритетов сканирования. Чтобы в него не попадали всякие формы регистрации и прочие технические страницы. Сканирование этой информации никакой пользы не принесет.

Выше мы использовали <noindex> и nofollow в качестве мета-атрибутов, чтобы задать свойства всей странице целиком. Посмотрим, как разрешить для роботов весь контент и все ссылки:

<meta name="robots" content="index, follow"/>

А это полный запрет на контент и ссылки:

<meta name="robots" content="noindex, nofollow"/>

Данный тег спрячет от ботов страницу целиком, но то же самое можно сделать, указав соответствующую ссылку в графе Disallow файла robots.txt, который отвечает за «исключение» страниц из индексации.

Но способы отличаются тем, что мета-тег разрешает поисковикам заходить на сайт и анализировать его содержимое. А вот если ссылка указана в robots.txt, то бот не сможет на нее зайти и провести индексирование.

Во избежание неадекватного поведения ботов, на уже проиндексированных страницах лучше использовать мета-теги, а в robots.txt заносите новые ссылки, неизвестные для Google и Яндекс.

Итоги

Теперь вы знаете, какие задачи выполняют теги noindex и nofollow. С помощью них можно строго задать поведение поисковых ботов Google и Яндекс в отношении вашего сайта и тем самым улучшить показатели SEO.

Теги noindex и nofollow в чем разница и как они работают

Привет, Друзья! На показатели сайта в первую очередь влияет количество и естественность входящих ссылок. По сути, ссылки (линки) переносят вес с сайтов-доноров на продвигаемый веб-сайта. В том случае, если постоянно ставить ссылки на другие сайты, и не дай бог другого профиля (тематики), то в этом случае общий вес сайта будет значительно снижен. Именно об этом и будет этот текст, как можно управлять индексацией поисковых систем, скрывать целые блоки текстов и ссылки от поисковых роботов. Все это можно сделать, воспользовавшись мета-тегами, которые понимают только поисковые роботы. С целью управления этим процессом и были разработаны поисковыми системами специальные теги nofollow и noindex.

Как закрыть внешние ссылки от индексации

Для того чтобы запретить к индексации текстовые фрагменты, на сайте нужно использовать тег noindex. Важно знать, что этот тег способен закрывать только текстовые блоки. Картинки, баннеры, и другие элементы запретить к индексации с помощью этого тега нельзя. Многие люди совершают большую ошибку, когда заключают в этот тег ссылку. Поисковая система без проблем считывает и индексирует ссылку. В этом случае запрещён к индексации только анкор ссылки, так как это текст. Будьте внимательны.

Тег noindex прописывается в исходный код сайта. Имеет открывающий и закрывающий тег. Текст помещается между этими тегами.

Теперь подробнее:

Этот текст поисковые системы не отдадут на индексацию. А также тег noindex может выступать в роли метатега, который расположен в начале страницы и он отличается в корне. Если на странице расположен метатег noindex, в этом случае он запрещает индексирование всей страницы. При этом не только тексты, но и все что на ней находится – ссылки, картинки, баннеры, формы и так далее, всё это будет запрещено к индексации. Лучше всего для запрета индексация целых страниц использовать специальный файл robots.txt.

Как правильно ставить тег noindex

Вначале можно прочитать, что тег noindex создан исключительно для поисковых машин. То есть этот тег не является официальным тегом языка html. Именно поэтому HTML-редакторы могут показывать, что тег написан с ошибкой. Не пугайтесь, это происходит по причине того, что они просто не понимают этот тег и не считают его валидным. Но, так или иначе, его без проблем прочитают поисковые машины.

И ещё важно знать и запомнить, на тег noindex будет реагировать только поисковая система Яндекс, так как он его и создал. Поисковая система Google не реагирует на такой тег вообще.

Многие начинающие SEO-оптимизаторы допускают одну и ту же ошибку, а именно пытаются запретить к индексации ссылку с помощью этого тега. Для того чтобы скрыть ссылку от индексации нужно использовать другой тег – nofollow, об этом ниже.

Владельцам сайта не запрещается манипулировать тегами, можно не смотреть за их вложенностью, noindex будет работать при любом раскладе. Об этом пишет сам Яндекс. Главное, быть внимательным при работе с этими тегами, так как если вы забудете поставить закрывающий тег, схема работать не будет. В этом случае поисковая система Яндекс проиндексирует и отдаст всё что есть на странице в выдачу.

Как скрыть ссылки от индексации

В случае когда в тег ссылки добавить отдельный, дополнительный атрибут rel=”nofollow”, это будет означать, что ссылка не будет проиндексирована поисковым роботом. Вот пример как это выглядит в коде HTML:

Этот параметр очень важен для тех сайтов, которые не хотят делиться весом своего ресурса с другими WEB-проектами. Но также важно запомнить, что он не оставляет этот вес и у себя, по сути, он просто сгорает и не достаётся никому.

Если же ссылку использовать без этого тега nofollow, то вес страницы, через эту ссылку уйдёт на другой сайт. Исходя из этого, важно понимать, что если внести этот атрибут во все ссылки, которые уходят на другие сайты, сайт потеряет в весе.

Как работает этот атрибут nofollow на примере:

Конечно, если ссылка ссылается на страницу в рамках одного сайта или блога, то проставлять это свойство бесполезно и даже вредно. Это можно использовать только в тех случаях, когда стоит задача не передавать вес отдельным страницам сайта. Например, если есть продающая страница, куда должен поступать весь трафик, имеет ссылку на внутреннюю страницу, например, ответы на вопросы, то, конечно, лучше эту ссылку поместить в атрибут nofollow.

Как использовать тег noindex и nofollow одновременно

Данные теги не конфликтуют между собой, поэтому совершенно спокойно можно использовать их одновременно на одной странице или участке текста. В этом случае и текст и ссылка не будет доступна к индексации. Но важно не забывать, что текст будет скрыт только для поисковой системы Яндекс.

Обучение продвижению сайтов

Более подробно о том, как выводить сайты в ТОП 10 поисковых систем Яндекс и Google, я рассказываю на своих онлайн-уроках по SEO-оптимизации (смотри видео ниже). Все свои интернет-проекты я вывел на посещаемость более 1000 человек в сутки и могу научить этому Вас. Кому интересно обращайтесь!

На этом сегодня всё, всем удачи и до новых встреч!

что это за теги, в чем разница и как правильно прописывать

Тег <noindex> – команда поисковому роботу Яндекс, чтобы он не индексировал определенную часть страницы. Для Google такой тег не подходит, к тому же, робот не предусматривает возможность закрытия от индексации какой-то части страницы.

Некоторые вебмастера ошибочно полагают, что с помощью тега <noindex> можно полностью спрятать часть страницы от робота. На самом деле, Яндекс обязательно проанализирует его содержимое. Единственное, за что отвечает этот тег – говорит поисковому роботу не помещать в индекс содержимое, заключенное в нем.

Поэтому если вы надеетесь, что сможете заключить в тег неуникальный контент, чтобы повысить общую уникальность страницы, у вас ничего не получится. Содержимое в теге все равно будет прочитано.

Зачем нужен тег <noindex>

Использовать тег рационально, когда нужно запретить боту показывать в поисковой выдаче определенную информацию. Например, это могут быть контактные данные, которые нежелательны для участия в поиске. Также бывает что на странице слишком часто меняется текст и его нет смысла индексировать.

Ссылки, которые заключены в теге <noindex> тоже будут индексироваться и учитываться пауками. Единственное отличие таких линков от обычных в том, что робот не проиндексирует их текстовое содержимое (анкор).

Если же вам нужно скрыть ссылки от робота, то придется воспользоваться атрибутом rel=»nofollow». Его одинаково хорошо понимают как Гугл, так и Яндекс. Атрибут не скроет ссылку от робота, но благодаря ему вес по ней не будет передаваться.

Как написать тег <noindex>

Пример 1:

<noindex><a href="https://puzat.ru/">Курсы по заработку на сайтах</a></noindex>

Yandex не индексирует анкор, но вес ссылки передает.

Пример 2:

<noindex><a href="https://puzat.ru/">Курсы по заработку на сайтах</a></noindex>

Yandex не индексирует анкор, но передает вес по ссылке.

Пример 3:

Совместное использование тегов nofollow и noindex вполне допустимы:

<noindex><a href=" https://puzat.ru/" rel="nofollow">Курсы по заработку на сайтах</a></noindex>

Такое оформление линка позволит удержать вес на странице и при этом Яндекс не прочитает анкор.

Прописать тег на странице сайта можно несколькими способами:

1. <noindex>Содержимое, запрещенное для индексации</noindex>
2. <!—noindex—>Содержимое, запрещенное для индексации<!—/noindex—

Для Яндекса нет разницы какой из вариантов использовать, так он их одинакового хорошо воспринимает. Но тег <noindex> не относится к официальной спецификации языка разметки HTML, поэтому другие поисковые системы могут воспринять его как ошибку.

Преимущества тега noindex

1. Скрывая ненужный контент на странице, вы увеличиваете общую релевантность документа за счет увеличения плотности вхождения ключевых слов.
2. Удобный и простой способ скрыть содержимое сквозных блоков, так как их содержимое выводится на разных страницах и выглядит дублем в глазах поисковых систем.
3. В некоторых случаях поисковые боты используют контактную информацию в сниппетах. Если это не желательно, то тег noindex решит эту проблему.

Выводы

Тег <noindex> рационально использовать, если нужно запретить Яндексу показывать определенную информацию в поисковой выдаче. Если в нем заключены ссылки, и вы не заинтересованы, чтобы по ним передавался вес, нужно использовать атрибут nofollow. Однако бот все равно будет переходить по ссылке (например, если информация о ней была получена из иных источников: ссылки, карта сайта). Последний атрибут понимает как Яндекс, так и Google.

А вы используете теги noindex и nofollow на своем сайте? Поделитесь опытом в комментариях.

Тег noindex и rel=»nofollow» — инструкция по применению

Тег noindex и атрибут nofollow способны помочь в оптимизации вашего сайта. Правда применять их нужно грамотно. Когда и для чего их использовать, рассмотрим в этом материале.

Подробнее о теге noindex

Даже если судить только по названию, не сложно догадаться о его назначении. Данный тег запрещает индексировать всё, что им отмечено (но это не касается ссылок и картинок — только текста).

Следует заметить, что ряд HTML-редакторов принципиально не работают с тэгом noindex — например, в WordРress он удаляется автоматически. Но в определённом виде его всё-таки можно использовать: Этот тег работает только с поисковой системой Яндекс. Тег noindex Google, не смотря на все свои возможности, не воспринимает.

Можно применять noindex и в качестве простого тега и в качестве мета-тега. Соответственно, их функции в таком случае будут разными. Обычный тег скроет от индексации только тот участок кода, который будет находиться между его открывающим и закрывающим тэгами.

Применяемый в качестве мета-тега, noindex, прописанный в файле robots.txt, запретит индексировать всю страницу целиком.

Как правило, этот тег нормально функционирует и выполняет свои непосредственные обязанности. Тем не менее в ряде случаев, скрытая им от индексирования текстовая информация, все равно обрабатывается поисковыми ботами. Это связано с самим принципом работы поисковой системы.  Тег noindex Yandex воспринимает, но все равно проиндексирует целиком весь код HTML, и только после этого отфильтрует значения, согласно тегам. Так что даже проиндексированный текст, спрятанный данным тегом, скоро исчезнет из поля зрения Яндекса.

К слову — для noindex вложенное размещение необязательно. В справке поисковой системы Яндекс указано, что тег будет работать и без вложения.

Какая польза от тега noindex

Тег был разработан, чтобы поисковая система не считывала ненужные куски кода, которые не несут важной информации для поиска. Поэтому грамотно будет прописать noindex для того, чтобы не индексировать коды счетчиков, формы подписок и рассылок, баннеры и информацию из сайдбаров, часто меняющееся текстовое наполнение. Иногда тэг употребляют, чтобы спрятать копипаст, а также нецензурщину на странице. Уместно и к страницам, находящимся на реконструкции, применять функцию: запрещено элементом noindex.

Но, как уже говорилось, бессмысленно применять тег для того, чтобы скрыть внутренние и внешние ссылки, а также рекламу типа Яндекс.Директ и тому подобное.

Подробнее о nofollow

Параметр nofollow link способен скрыть ссылки от индексации. Причем, он одинаково эффективно взаимодействует и с Google, и с Яндекс. Кстати, последний научился его воспринимать относительно недавно. Так в чем разница между dofollow и nofollow — это два противоположных по своему действию параметра. Один открывает индексацию, а другой, соответственно, закрывает.

Nofollow имеет непосредственную связь с так называемым весом ссылки. Это один из тех параметров, о которых нужно знать каждому вебмастеру. Вес ссылки показывает ее значимость при продвижении ресурса. Его используют поисковые системы при ранжировании сайтов. Ресурс, на который ведёт большое количество внешних ссылок (ссылок с других сайтов), будет иметь более высокий рейтинг.

Вес ссылки, при использовании атрибута rel nofollow, не будет передан на сайт-акцептор. То есть, как непосредственный инструмент продвижения, работать она не будет. Так же возможен вариант использования rel dofollow — для форсирования передачи веса.

Вот один из примеров применения nofollow wordpress:Но при этом ссылки, которые ведут на внутренние страницы сайта, во многих случаях бесполезно закрывать атрибутом nofollow.

Как пользоваться nofollow

Тег nofollow логично будет применять, чтобы ограничить передачу веса по ссылкам, которые ведут на ненадежный для поисковых систем сайт, или любой другой ресурс, не имеющий принципиального значения для владельца сайта-донора. Тегом можно запретить передачу веса по ссылке на сайт, который не соответствует тематике вашего ресурса. Всем открытым ссылкам бот автоматически приписывает параметр dofollow. Если вас интересует, как сделать ссылку dofollow, то ответом будет — просто не закрывать её nofollow.

Также атрибут будет полезен при уменьшении количества исходящих ссылок — если страница перегружена ими. Nofollow может ограничить переливание веса на крупные ресурсы с высокими показателями ИКС.

Важно не переусердствовать — использовав на все внешние ссылки nofollow, можно автоматически снизить доверие к ней со стороны поисковых систем. Лучше оставить две-три ссылки. На вес это практически не повлияет.

Можно ли использовать nofollow noindex совместно

Эти инструменты прекрасно взаимодействуют, и их можно ставить рядом. Приведем пример:

Подобная комбинация ограничивает передачу веса ссылки, а Яндекс еще и не заметит ее анкора.

Но по сути нет смысла в том, что бы постоянно использовать вместе noindex и nofollow. Применение noindex приводит лишь к сокрытию анкора. Ссылке достаточно атрибута nofollow. Так что ставить их рядом — значит излишне перегружать код страницы.

Заключение

Знание подобных инструментов HTML-кода позволяет легко и уверенно вносить правки прямо в тело вашего сайта. Чем более продуманной и оптимизированной будет его структура, тем выше вы сможете подняться в поисковой выдаче и тем большую аудиторию сможете собрать. Именно такие мелочи отличают опытных специалистов от начинающих вебмастеров. Обширные знания позволяют повышать позиции ресурса, даже без внесения изменений в его наполнение, одним лишь улучшением структуры.

Индексация: использование noindex, nofollow, robots и др.

На индексацию веб-страниц можно влиять по-разному. Кроме задания специальных директив в файле robots.txt используются noindex, nofollow, robots и др. элементы в коде веб-страницы.

Тег noindex

Используется для запрета индексации части страницы, но учитывается только
поисковыми роботами Яндекса и Рамблера (Google его игнорирует)

<noindex>то, что нужно скрыть</noindex>

Атрибут rel=»nofollow»

Это атрибут тега <a>. Он не влияет на индексацию ссылки. Большинство поисковиков (кроме Google) по ней не переходит. Используется для того, чтобы сообщить поисковой системе, что рейтинг со страницы, на которой ссылка размещена, не должен передаваться по этой ссылке.

<a href="http://site.ru" rel="nofollow">Текст ссылки</a>

Это значит, что «закрывать» ссылку нужно так:

<noindex><a href="http://site.ru" rel="nofollow">Текст ссылки</a></noindex>

meta-тег

На странице meta-тег «robots» (как и все meta-теги) находится между тегами <head> и </head>. Он позволяет управлять индексацией всей страницы.

Инструкция для всех роботов:

<meta name="robots" content="значение">

Атрибут content может иметь значение

• noindex — не индексировать
• index -индексировать
• nofollow- не следовать по ссылкам
• follow- следовать по ссылкам
• all — индексировать и следовать по ссылкам
• none — не индексировать и не следовать по ссылкам
• noimageindex — запретить индексирование картинок
• noarchive — запретить выводить ссылку «Сохранено в кэше» (поисковики будут по-прежнему индексировать страницу и выводить ее фрагмент)
• nosnippet — выводить выводить
  фрагменты страницы ( это текст, который поисковики показывают под названием страницы в результатах поиска ). При удалении фрагментов удаляются также и сохраненные в кэше страницы.

Допустимо указывать несколько значений через запятую:

<meta name="robots" content="noindex, nofollow">

Инструкция для робота Google

не индексировать картинки (ссылки будут индексироваться):

<meta name="googlebot" content="noimageindex">

Атрибут alt

Атрибут alt тега <a> задает альтернативный текст для изображения, который отображается в браузере, если не удается показать само изображение

<a href="http://site.ru"><img src="http://www.mysite.ru/image.gif" alt="Мой рисунок"/></a>

Поисковые системы запоминают значение атрибута alt при индексации страницы, но не используют его при ранжировании результатов поиска.

Известно, что Google учитывает текст атрибута alt только тех изображений, которые являются ссылками на другие страницы.

Когда используется зеркало сайта

Для того чтобы в поисковиках не было дублирования страниц с зеркала сайта, следует задать в meta-теге URL абсолютный адрес страницы, а на зеркале – абсолютный адрес страницы основного сайта.

<meta name="URL" content="абсолютный адрес страницы">

мета-тегов роботов | Как использовать мета-тег роботов для SEO

1. WooRank
2. Руководства по SEO
3. Как использовать мета-теги роботов для SEO

Вы можете использовать метатег robots, чтобы контролировать, где и как Google и другие сканеры поисковых систем перемещаются по вашему сайту и передают ссылочный вес со страницы на страницу.Если это звучит знакомо для другого текстового файла на вашем веб-сайте, следите за обновлениями …

В этом руководстве мы рассмотрим

1. Что такое метатег роботов и почему он важен
2. Как вы используете метатег robots для SEO
3. Преимущества использования метатега robots

Мета-тег robots — это HTML-тег, который является тегом заголовка страницы и предоставляет инструкции ботам. Как и файл robots.txt, он сообщает сканерам поисковых систем, разрешено ли им индексировать страницу.

Чтобы найти метатег robots на странице, просто щелкните веб-страницу правой кнопкой мыши, выберите «Просмотреть исходный код», а затем выполните поиск для «robots». Это будет выглядеть примерно так:

В этом примере верхняя строка относится ко всем ботам поисковых систем, а 4 строки после нее относятся к конкретным пользовательским агентам.В этом конкретном примере метатег роботов сообщает поисковым системам не индексировать страницу. Однако боты могут свободно переходить по ссылкам, которые они находят на странице.

Мета-тег robots имеет значение, потому что он добавляет дополнительный уровень защиты к файлу robots.txt. Когда сканер переходит по внешней ссылке и попадает на одну из ваших страниц, он все равно может сканировать и индексировать эту страницу, поскольку он не видел файла robots.txt.

Мета-тег robots предотвращает сканирование и индексацию.

Мета-тег robots применяет только к странице, содержащей тег. Файлы robots.txt применяются ко всему вашему веб-сайту.

Как работает метатег robots?

Как видите, тег состоит из двух частей: name = ”” и content = ”” .

Прочтите руководство по сканерам поисковых систем и сканированию, чтобы узнать больше о том, как они работают.

Часть имени определяет пользовательский агент бота, которого вы инструктируете, точно так же, как строка пользовательского агента в файле robots.txt файл. В отличие от robots.txt, вы не используете подстановочный знак для включения всех ботов. Для этого вы просто напишите «роботы».

Отсюда и название мета-тега роботов.

Вторая часть, content = ”” — это то место, где вы говорите ботам, что делать.

Какие существуют значения метатегов роботов?

Есть много разных значений, которые вы можете добавить в поле content в теге robots. Каждое из этих значений делает что-то свое:

• Индекс: Указывает поисковым системам проиндексировать страницу.На первый взгляд это может показаться бессмысленным, поскольку по умолчанию используется «Индекс», но может быть полезно, если вы хотите, чтобы страницу проиндексировала только определенная группа поисковых систем.
• NoIndex: Указывает поисковым системам не индексировать страницу, чтобы она не отображалась в результатах поиска.
• NoImageIndex: Указывает поисковым системам не индексировать изображения на странице. Однако, если кто-то добавит это изображение в другое место в Интернете, Google все равно проиндексирует его и отобразит в результатах поиска.
• Нет: Это работает как ярлык для «noindex, nofollow».Он говорит поисковым системам игнорировать страницу и делать вид, что они никогда ее не видели.
• Follow: Указывает поисковым системам переходить по ссылкам, которые они находят на странице. Как и в случае с «Индексом», это статус по умолчанию, когда бот не находит применимый к нему метатег robots.
• NoFollow: Указывает поисковым системам вообще не переходить по ссылкам на странице. Вы также можете добавить это значение к отдельной ссылке.
• NoArchive: Указывает поисковым системам не показывать кэшированные копии страницы.
• NoCache: То же, что и «NoArchive», за исключением того, что используется MSN / Live.
• NoSnippet: Запрещает поисковым системам показывать фрагмент этой страницы в результатах поиска. Это также предотвращает кеширование страницы.
• NoTranslate: Указывает поисковым системам не предлагать переведенные версии страницы в результатах поиска.
• Unavailable_after: Указывает поисковым системам не отображать страницу в результатах поиска после определенной даты.
• NoYDir: Указывает поисковой системе не использовать Yahoo! Описание страницы каталога в поисковом фрагменте.
• NoODP: Запрещает поисковым системам использовать описание страницы из DMOZ в поисковом фрагменте. ODP — это сообщество, которое запускает и поддерживает каталог DMOZ.

Эти последние два значения — NoYDir и NoODP — сейчас не используются. Ни Yahoo! Каталог или DMOZ больше не существуют. Тем не менее, вы все еще можете видеть их в Интернете.

Немного усложняет тот факт, что не все поисковые системы поддерживают все значения. Итак, вот удобная таблица, которая это разбивает:

Используя запятые, вы можете создавать многонаправленные метатеги вместо создания одного тега для каждой директивы.Фактически, вы будете видеть это довольно часто, так как многие метатеги роботов используют значения noindex, nofollow:

Обеспечение того, чтобы определенные малоценные страницы не попадали в индекс Google и не попадали в результаты поиска, является такой же частью SEO, как и попадание страниц в результаты поиска. Отсутствие индексации малоценных страниц может помочь увеличить так называемую «потребность в сканировании» вашего сайта, что может способствовать более частому сканированию вашего сайта.

Meta robots также добавляет дополнительный уровень защиты страниц, которые вы заблокировали через своих роботов.txt файл. Эти страницы все еще могут быть проиндексированы, если Google попадает на них по внешней обратной ссылке. Отсутствие индексации страницы предотвратит это.

Использование метатега robots для предотвращения индексации страницы и перехода по ссылкам выглядит следующим образом:

Значения noindex и nofollow — два наиболее часто используемых значения в метатеге robots. Однако другие значения, перечисленные выше, также имеют значение SEO:

• NoImageIndex: Указывает поисковым системам не сканировать изображения на странице.

• Нет: Это эквивалентно использованию «noindex, nofollow» в одном значении. Поисковые роботы не будут индексировать страницу и переходить по ссылкам.

• NoArchive: Запретить поисковым системам показывать кешированную версию вашей страницы. Убедитесь, что люди всегда видят самую последнюю версию вашего контента. MSN / Live использует «NoCache» вместо «NoArchive».

• NoSnippet: Это запрещает поисковым системам отображать фрагмент вашего сайта в результатах поиска и от отображения кэшированной версии страницы.

Если весь смысл SEO заключается в том, чтобы страницы попадали в результаты поиска, как, черт возьми, мета-роботы на странице помогают SEO?

1. Предотвращает индексирование и отображение любых личных файлов или папок в результатах поиска. Обычно рекомендуется не публиковать этот контент на своем сайте или защитить его паролем. Однако, если по какой-то причине вам нужно разместить его на своем сайте, метатег robots не позволит ему попасть в Google.

2. Это помогает поисковым системам более эффективно сканировать ваш сайт.У поисковых роботов ограниченный бюджет сканирования, поэтому они теоретически могут тратить все свое время на сканирование страниц, рейтинг которых вам не важен, и игнорировать самые важные из них. Блокирование индексации этих неважных файлов поможет поисковым роботам перейти на ваши более ценные страницы.

3. Если у вас есть страница, на которую набрано много ссылок, но вы не хотите, чтобы она индексировалась, используйте директиву follow, чтобы передать эту ссылочную массу на другие страницы вашего сайта.

Хотя никогда не рекомендуется публиковать конфиденциальную информацию на своем веб-сайте, но иногда это случается.Блокировка этих URL-адресов через robots.txt говорит всем, кто его читает, что им следует взглянуть на эти страницы. Добавление «noindex» к метатегу robots убережет эту страницу от результатов поиска, не указав ее там, где ее можно найти.

Самая важная часть использования метатега robots — убедиться, что вы используете его правильно. Это не редкость, когда деиндексируется весь сайт, потому что кто-то случайно добавил тег noindex для роботов ко всему сайту. Поэтому понимание того, как работает метатег robots, абсолютно необходимо для SEO.

Канонизированный URL — noindex, nofollow

Высокая Этот совет очень важен и определенно требует внимания. Проблема Этот совет представляет собой ошибку или проблему, которую необходимо исправить.

Это означает, что рассматриваемый URL канонизирован, а также noindex, nofollow.

Почему это важно?

Смысл канонических ссылок — явно и недвусмысленно указывать предпочтительный URL.Если страница A канонизирована как страница B, поисковым системам будет дана инструкция «не индексировать меня, вместо этого проиндексируйте страницу B». Однако канонические символы объединяют и комбинируют сигналы индексации, поэтому, если на странице A есть noindex, этот noindex также может быть передан на страницу B.

Таким образом, noindex и rel = canonical не должны использоваться вместе.

Джон Мюллер из Google предлагает больше ясности в ветке Reddit, где он подробно ответил на этот вопрос:

Что проверяет подсказка?

Эта подсказка сработает для любого внутреннего URL-адреса, который является noindex, nofollow и содержит элемент канонической ссылки, указывающий на другой URL-адрес.

Примеры, запускающие этот намек:

Рассмотрим URL: https://example.com/page-a

Подсказка сработает для этого URL-адреса, если у него есть канонический URL-адрес, указывающий на другую внутреннюю страницу, и для роботов установлено значение noindex nofollow:

  
  
  
  
  
  
... 
  
  ...  
  

Как решить эту проблему?

Это сценарий, в котором канонический адрес явно установлен на другой URL, а директивы robots служат только для того, чтобы запутать поисковые системы и / или ослабить сигнал. Решение — просто удалить директивы robots, чтобы они не мешали каноническому.

Дополнительная литература

Когда мне следует использовать мета-роботов NOINDEX и FOLLOW вместе?

Только сканеры поисковых систем будут интерпретировать значения в метаэлементе «robots».В большинстве случаев значения «INDEX» и «FOLLOW» используются для указания поисковому роботу включить данную страницу в свой индекс и перейти по всем ссылкам на странице.

Ваша страница может быть добавлена ​​в индекс и все ссылки могут сканироваться, если вы добавите следующую разметку в исходный код своей страницы:

Преимущество / назначение значения NOINDEX

Если вы не хотите, чтобы конкретный URL-адрес был в индексе Google (или в индексе любой другой поисковой системы), вам следует добавить значение NOINDEX в метаэлемент «robots »В части исходного кода страниц.

Добавив следующую разметку в исходный код страницы, вы убедитесь, что эта страница не будет включена в индекс:

Есть имеет смысл использовать значения NOINDEX и FOLLOW вместе?

Это зависит от цели, которую вы пытаетесь достичь. Что может побудить вас не допускать индексации страницы поисковыми системами, при этом желая, чтобы все ссылки на странице сканировались?

Мэтт Каттс дал нам отличный пример в одном из своих видеороликов для веб-мастеров Google:

Предположим, у вас есть карта сайта в формате HTML с несколькими сотнями внутренних ссылок, и по какой-то причине эта карта сайта некрасива и, следовательно, не очень полезно посетителю.Поэтому пользователь, вероятно, не очень обрадуется, если он попадет на эту страницу из результатов поиска. Чтобы избежать первого, но при этом убедиться, что поисковые системы могут переходить по всем ссылкам на странице, вы должны использовать значения NOINDEX и FOLLOW вместе.

Добавив эту разметку в исходный код страницы, вы предотвратите индексирование страницы, в то время как все ссылки на странице по-прежнему могут сканироваться:

Другой возможный сценарий — страницы с тегами в блогах:

Бывают случаи, когда веб-мастера говорят, что страницы с тегами их блогов имеют более высокий рейтинг, чем соответствующие статьи.Страницы с тегами занимали на 2–3 позиции выше соответствующих статей. После того, как страницы тегов были изменены на «noindex» и «follow», рейтинг статей улучшился на эти 2–3 позиции.

Видеообъяснение Мэтта Каттса / Google по теме

Как разблокировать файл robots.txt и удалить тег noindex

Устранение неполадок, связанных с индексированием и проблемами сканирования: с чего начать

Прежде всего, давайте попробуем сузить круг вопросов эта проблема. Для этого войдите в Google Search Console.Затем скопируйте и вставьте URL-адрес главной страницы своего веб-сайта в тестер robots.txt и нажмите «Отправить». (На данный момент этот инструмент существует только в старой версии Google Search Console.) Если он «ЗАБЛОКИРОВАН», см. Проблему № 1, если «РАЗРЕШЕН», см. Проблему № 2 ниже.

Проблема № 1: Домен или URL-адрес заблокирован файлом Robots.txt

Если линия запрета горит красным, и вы видите слово «ЗАБЛОКИРОВАНО», появившееся в поле в правом нижнем углу, как на скриншоте ниже, robots. txt является виновником. Чтобы отменить это, вам потребуется доступ к файлу robots.txt для вашего сайта.

* Если вы не тот человек, который обычно играет в серверной части вашего веб-сайта, я настоятельно рекомендую вам обратиться к разработчику вашего веб-сайта, ИТ-специалисту или кому-либо еще, кто занимается обслуживанием веб-сайта.

Теперь в приведенном выше примере происходят две вещи, одна хорошая и одна плохая, в зависимости от нашего текущего затруднительного положения. Этот URL-адрес / wp-admin / намеренно запрещен, поскольку мы не хотим, чтобы серверная часть нашего веб-сайта сканировалась какой-либо из поисковых систем.Это должно остаться.

Однако проблема в строке Disallow: / . Эта строка, или лучше сказать косая черта, блокирует сканирование вашего веб-сайта всеми поисковыми системами… ну, и все это. Итак, чтобы разблокировать robots.txt, эту часть необходимо удалить из файла robots.txt.

Буквально достаточно одного персонажа, чтобы бросить гаечный ключ в вещи. После внесения необходимых изменений в файл верните URL-адрес домашней страницы в тестер robots.txt, чтобы проверить, поддерживает ли ваш сайт поисковые системы.Если что-то идет плохо, в поле в правом нижнем углу зеленым цветом будет указано «РАЗРЕШЕНО», и теперь поисковые системы могут начать сканирование сайта.

Это исправление должно успешно разблокировать robots.txt по всему сайту (или, по крайней мере, для любой страницы, которая специально не обозначена как запрещенная, как с / wp-admin / URL выше), но не стесняйтесь копировать и вставлять пару дополнительных страниц сайта в в инструмент тестера, чтобы убедиться, что проблема решена не только для вашей домашней страницы.

Если вы хотите узнать больше об этой конкретной марке ботов, посетите Yoast.com, полное руководство по robots.txt.

Проблема № 2: Удаление метатега «noindex» в WordPress.

Если вышеуказанная проблема не в том, что беспокоит ваш веб-сайт, поскольку во всем, что происходит «РАЗРЕШЕНО» (как и должно быть), есть еще одна распространенная причина, по которой ваш веб-сайт WordPress может не отображаться в поиске — надоедливый тег noindex.

Чтобы проверить, так ли это, вернитесь к новой версии Search Console, вставьте любой URL-адрес в поле поиска «Проверить любой URL-адрес в…» вверху страницы и нажмите Enter.

Если в отчете о проверке URL отображается следующее сообщение: Нет: «noindex» обнаружен в метатеге «robots» , это единственный флажок в серверной части WordPress, который вызывает всю эту шумиху.

Чтобы разблокировать поисковые системы от индексации вашего веб-сайта, выполните следующие действия:

• Войдите в WordPress
• Перейдите в «Настройки» → «Чтение»
• Прокрутите страницу вниз до надписи «Видимость для поисковых систем»
• Снимите флажок «Далее» чтобы «Не рекомендовать поисковым системам индексировать этот сайт»
• Нажмите кнопку «Сохранить изменения» под

Если вы используете плагин Yoast SEO — WordPress, также проверьте настройки сообщений в блоге, чтобы убедиться, что они установлены аналогичным образом. чтобы разрешить индексацию.

Как только это будет завершено, вернитесь в Search Console и повторно отправьте URL-адрес, который вы пробовали ранее. Если ваши настройки настроены правильно, все должно петь другую мелодию. Теперь, когда вы отправляете URL-адрес, в отчете о проверке URL-адресов не должно быть всех предупреждений и сообщений об ошибках, по крайней мере, тех, которые связаны с индексированием и возможностью сканирования, и вы сможете «Запросить индексирование», что, как я полагаю, было вашей целью с самого начала. .

Я надеюсь, что это поможет, но если описанные выше действия не помогли решить вашу текущую проблему, я рекомендую ознакомиться с этой статьей поддержки веб-мастеров Google о «noindex», чтобы узнать больше.

Очевидная, но важная часть SEO — добиться того, чтобы ваш сайт отображался в результатах поиска. Для этого вам необходимо убедиться, что ваш веб-сайт можно сканировать и индексировать, что означает удаление тега «noindex» и разблокировку robots.txt из общедоступных частей вашего сайта. Эти настройки необходимы для успеха, поэтому сделайте себе одолжение и не игнорируйте предупреждения Search Console или нестабильное поведение, устраняйте эти проблемы с помощью советов и ресурсов, приведенных выше.

Мета-теги | Документация Swiftype

Сканер поиска по сайту поддерживает гибкий набор метатегов для управления тем, как вы загружаете контент своего сайта.

Когда сканер посещает вашу веб-страницу, по умолчанию он извлекает стандартный набор полей (например, заголовок, тело).

Затем он индексирует этот контент, чтобы его можно было найти.

С помощью этих метатегов вы можете изменить набор полей, извлекаемых искателем, для создания идеальных документов.

Примечание …

Ваши страницы должны быть просканированы повторно , прежде чем любые изменения уровня кода будут приняты поиском по сайту!

См. Раздел «Устранение неполадок сканера», если ваши документы не синхронизируются с текущим контентом.

Шаблон для метатега для поиска по сайту :

  <заголовок>
  

  

Каждое поле должно определять конкретные значения имени , типа и содержимого значений.

Тип поля — который указан в атрибуте типа данных — должен быть типом поля, поддерживаемым поиском по сайту.

После индексации нового метатега создаются поля настраиваемой схемы.

После создания тип данных не может быть изменен.

Тщательно выбирайте тип данных вашего поля . Поле нельзя удалить!

В следующем примере показано создание нескольких полей.

Как видите: поле tags повторяется, и в результате поисковый робот извлекает массив тегов для этого URL.

Все типы полей могут быть извлечены в виде массивов.

  <заголовок>
  
  
  
  
  
  
  
  
  

  

Важно отметить, что поисковый робот не будет захватывать метатеги по умолчанию для SEO по умолчанию, например:

  <заголовок>
  
  

  

Чтобы их проиндексировал сканер, они должны стать дружественными к поиску по сайту :

  <заголовок>
  
  

  

И помните: как только поле было создано, его можно удалить , а не .

Теги атрибутов данных, внедренные в тело

Добавьте атрибуты данных к существующим элементам, чтобы не повторять тонны текста в вашей страницы:

  <тело>
  
 заголовок здесь 
  

    Сюда уходит много телесного содержимого ...
    Сюда же идет и другой контент, он может быть любого типа, например, с ценой:
    $  3.99 
  

 

Теги миниатюрных изображений

Индексируйте изображения с вашего веб-сайта и показывайте их пользователям в качестве эскизов в результатах поиска.

Добавьте тег изображения к , который указывает, где изображения расположены на различных типах страниц:

Управляйте тем, какой контент сканируется на ваших веб-страницах, используя метатеги robots.

Использование метатега robots

Разместите метатег robots в разделе своей страницы:

  

  
    
  
  
    Содержание страницы здесь
  
  

Значения содержимого метатега роботов

Site Search поддерживает значения NOFOLLOW , NOINDEX и NONE для тега robots.

FOLLOW и INDEX являются значениями по умолчанию и не являются необходимыми, если вы не переопределяете метатег robots для поиска по сайту.

Другие значения, например NOARCHIVE , игнорируются.

Используйте NOINDEX , чтобы сканер не индексировал страницу,:

Ссылки с неиндексированной страницы по-прежнему будут отслеживаться.

Используйте NOFOLLOW , чтобы сканер не переходил по ссылкам со страницы.

Содержимое страницы, на которой указано NOFOLLOW , по-прежнему будет индексироваться.

Чтобы не переходить по ссылкам и не индексировать контент со страницы, используйте NOINDEX, NOFOLLOW или NONE .

НЕТ является синонимом вышеуказанного:

Мы рекомендуем указывать директивы robots в одном теге, но несколько тегов будут объединены, если они присутствуют.

Инструкции по направлению только для сканера поиска по сайту

Мета-мета name = "robots" применит ваши инструкции ко всем поисковым роботам, включая поисковый робот Swiftbot.

Используйте st: robots в качестве имени вместо robots , чтобы направлять специальные инструкции сканеру.

В этом примере говорится, что другие поисковые роботы не должны индексировать и не переходить по ссылкам со страницы, но разрешают поиску по сайту индексировать и переходить по ссылкам.

Когда любое мета-имя из st: robots присутствует на странице, все остальные мета-правила для роботов будут проигнорированы в пользу правила st: robots .

Повторяющиеся значения содержимого

Сканер будет использовать самые строгие директивы роботов, если они повторяются.

Вышеупомянутое эквивалентно NOINDEX .

Кожух, расстояние и порядок

Теги, имена атрибутов и значения атрибутов нечувствительны к регистру.

Несколько значений атрибутов должны быть разделены запятой, но пробелы игнорируются.

Порядок не важен: NOINDEX, NOFOLLOW совпадает с NOFOLLOW, NOINDEX .

Следующие считаются одинаковыми:

Застрял? Нужна помощь? Обратитесь в службу поддержки или посетите форум сообщества Поиска по сайту!

noindex, nofollow, noarchive, noodp & noydir

Мета-тег роботов контролирует сканирование и индексацию вашей веб-страницы или публикации «пауками».В этом посте мы подробно рассмотрим все типы тегов. Мы можем использовать более одного метатега на веб-странице, но это не очень хорошая практика, потому что это может вызвать конфликты. Следовательно, это должно происходить только один раз на веб-странице.

Мета-тег роботов по умолчанию

Если вы не укажете какой-либо метатег на веб-странице, то по умолчанию Spider будет сканировать и индексировать вашу веб-страницу. можно сказать, что по умолчанию он учитывает метатег ниже.

Мета-роботы noindex

Предотвращает индексацию страницы.Это означает, что если вы укажете ниже метатег для страницы, эта страница не будет отображаться в результатах поиска. Например: вы не хотите, чтобы страницы с вашими авторами появлялись в результатах поиска, поэтому для предотвращения этого вы можете использовать ниже метатеги роботов на страницах авторов.

Мета-роботы nofollow

Этот метатег не позволяет паукам переходить по любой ссылке на странице. Если вы новичок, это может вас сбить с толку.Позвольте мне объяснить вам подробно. Каждый раз, когда паук (бот Google) находит ссылку (внутреннюю или внешнюю) на странице, он попадает на эту веб-страницу для сканирования и индексации, чтобы заставить паука не переходить по какой-либо ссылке на странице, мы можем использовать этот тег. Чтобы лучше понять это, вы можете обратиться к моему посту Dofollow vs nofollow.

Мета-роботы noarchive

Вы должны были видеть в результатах поиска, что всякий раз, когда вы наводите курсор на какой-либо результат, он показывает снимок этой страницы в правой части поиска Google ( см. Снимок экрана ниже !! ).Это мы называем кэшированной копией веб-страницы. Чтобы предотвратить кеширование страницы, мы можем указать тег ниже.

Мета-роботы noodp

Запрещает поисковой системе (Google, Yahoo и MSN) отображать собственное описание, взятое из его каталога, вместо вашего метаописания. Использование тега ниже гарантирует, что поисковая система будет отображать ваше метаописание под результатами поиска, и было бы полезно улучшить ваш CTR.

Мета роботы нойдир

Это то же самое, что и вышеупомянутый тег NOODP, с той лишь разницей, что он применим только для Yahoo.

Лучшая практика использования noodp и noydir: Вы можете использовать тег ниже для всех своих веб-страниц —

ИЛИ (над тегом и под двумя тегами — оба одинаковые)

Что делать, если на странице более одного метатега роботов

Мы должны использовать его только один раз на странице и это лучшая практика, но иногда из-за комбинации SEO-дружественных тем и SEO-плагинов у нас может быть несколько экземпляров таких тегов.Поэтому для таких случаев давайте обсудим, как это интерпретируют пауки (или краулеры).

ВАРИАНТ 1: Нет конфликтующих значений в метатеге robots.

Приведенные выше два тега будут взяты так же, как:

CASE 2: Значение конфликта присутствует в метатеге robots.

Первый экземпляр:

Второй экземпляр:

В этом случае оба значения конфликтуют, так как одно сообщает noindex, а другое заставляет паука индексировать страницу. В таких случаях краулеры рассматривают первый случай конфликта.

Таким образом, бот поисковой системы принял бы его как , потому что noindex encountres перед первым индексом.

Как заблокировать конкретного бота поисковой системы

Указывая мета-имя как «robots», вы фактически блокируете всех роботов поисковых систем. Однако, если вы хотите заблокировать конкретного бота поисковой системы, вы можете указать имя бота вместо «роботы»

Имя BOT:

Google: GOOGLEBOT

Yahoo: SLURP

MSN: MSNBOT

СПРОСИТЬ: TEOMA

Итак, если вы хотите сделать свою страницу nofollow только для бота Google, вы можете использовать тег ниже.

Примечание. В мета-имени я дал «Googlebot» вместо «robots», чтобы сделать его применимым только для бота поисковой системы Google.

Номер ссылки

Мета-тег роботов: блог Google для веб-мастеров

<Кредит изображения>

Какие страницы мне использовать Noindex или Nofollow?

Многие маркетологи и владельцы веб-сайтов прилагают много усилий для повышения рейтинга своих страниц в результатах поиска Google.Для этого эти страницы должны быть проиндексированы и доступны в поисковых системах. Однако есть некоторые страницы, которые вам не нужно индексировать, поскольку они ничего не помогают или просто существуют, чтобы соответствовать правилам веб-сайта.

Точно так же Google не всегда должен переходить по определенным ссылкам на каждой странице. Они могут вести к плохим или некачественным сайтам, что может повредить вашему рейтингу.

Индексирование как можно большего числа страниц для повышения вашего авторитета в результатах поиска — не всегда хороший вариант, равно как и переход по ссылкам.Это объясняет, почему вам следует тщательно решить, какие страницы использовать для noindex, а какие — для nofollow.

Этот пост описывает, как работают noindexing и nofollowing, и обсуждает, какие типы страниц или ссылок следует применять. Он также охватывает несколько простых способов создания страниц noindex и ссылок nofollow в WordPress. Приступим к основам!

Краткое описание Noindex и Nofollow

Как работают индексация и отслеживание поисковыми системами?

Поисковые системы создают ботов для исследования ваших веб-сайтов, пытаясь понять, о чем ваш контент, как он организован и так далее.Прежде чем генерировать результаты с ваших веб-страниц, они должны просканировать все ссылки на сайте, проиндексировать эти ссылки в своей базе данных, а затем отобразить их на страницах результатов поиска.

Боты Google переходят по всем ссылкам на вашем сайте, чтобы с легкостью более детально изучить ваши страницы, а затем предоставить пользователям актуальные данные. В результате, набирая запрос в Google, вы фактически ищете информацию через его обширный индекс сайтов и файлов.

Очевидно, имеет смысл проиндексировать релевантные и важные страницы, что поможет вам зарабатывать больше кликов и увеличивать трафик.Но наличие неактивных страниц и ссылок, проиндексированных и отслеживаемых, определенно вредит вашим усилиям по SEO.

В чем разница между noindex и nofollow?

Noindex и nofollow — это метатеги, которые можно добавить в исходный HTML-код веб-страницы. Эти метатеги предназначены для непосредственного взаимодействия с программами поисковых систем (ботами), которые сканируют ваш сайт.

Noindex указывает поисковым системам сканировать страницу, но не индексировать или отображать ее в результатах поиска. По умолчанию веб-страница настроена на «индекс».Поэтому всякий раз, когда вы хотите удалить или скрыть страницу от поисковых систем, вы можете изменить термин в метатегах робота. Это позволяет вам лучше контролировать, какие страницы попадают в поисковую выдачу.

Атрибут nofollow требует от поисковых систем игнорировать веб-страницы, на которые вы ссылаетесь. Хотя ссылки играют решающую роль в поисковой оптимизации, только внешние ссылки с авторитетных и мощных веб-сайтов и внутренние ссылки помогают укрепить доверие к вашему сайту и повысить его рейтинг. Ссылки Nofollow, которые не проходят через PageRank, вряд ли повлияют на рейтинг в поисковых системах.

Почему вам следует использовать noindex-страницы или nofollow-ссылки?

Если важные страницы, сообщения в блогах и целевые страницы не индексируются и не отслеживаются, вы можете потерять огромный источник трафика для своего сайта. Это объясняет, почему большинству владельцев сайтов не нужны ни индексированные страницы, ни страницы без перехода. Они всегда проверяют, сканируют ли поисковые роботы и индексируют ли их веб-страницы.

Однако страницы noindex и ссылки nofollow в некоторых случаях все же могут оказаться полезными.

Noindex страниц

Могут быть разные случаи, когда вам нужно исключить некоторые страницы из индексации Google.Давайте рассмотрим две основные причины, по которым вам следует защищать страницы от индексаторов Google.

Предотвращение дублирования содержимого

Часть вашего контента может появляться несколько раз с разными версиями. Довольно излишне разрешать Google индексировать все эти страницы.

Защита конфиденциального содержимого

Некоторые из ваших страниц, содержащие важные источники и продукты, не должны публиковаться и загружаться на страницах поиска Google. Важно держать их подальше от глаз Google.

Ссылки Nofollow

Борьба со спамом в блогах

Спамеры обычно оставляют ссылки на свои сайты на странице ваших комментариев. Ссылки Nofollow не полностью предотвращают спам, но каким-то образом удерживают спамеров от нацеливания на ваш сайт.

Какова основная цель спамеров, оставляющих свои ссылки на вашем сайте? Они воспользуются кликами ваших пользователей, чтобы увеличить свой трафик и занять более высокое место в Google. Однако для ссылок nofollow их ссылки больше не учитываются при расчете PageRank.

Увеличить посещаемость сайта

Имейте в виду, что ссылки полезны не только для целей SEO. Ссылки Nofollow могут увеличить посещаемость вашего веб-сайта и повысить узнаваемость вашего бренда или услуг. Действительно, хорошая и качественная ссылка создает для посетителей шлюз для доступа к вашему контенту. Если посетитель найдет ваш контент полезным, он может поделиться им в своих сообщениях. Таким образом, можно сказать, что ссылки nofollow косвенно ведут к ссылкам, на которые вы переходите.

Правильно переходите по ссылке

Ссылочный вес — это фактор ранжирования поисковой системы, описывающий мощность между страницами.Поскольку мощная страница будет распределять мощность по ссылкам в ее содержании, вы должны убедиться, что отдаете силу страницы важным ссылкам. Важным элементом SEO является обеспечение того, чтобы ваши ссылки работали хорошо и имели логический смысл.

страниц, которые вы должны Noindex

Страница благодарности

Эта страница обычно отображается после того, как посетители совершают желаемое действие, например вводят адрес электронной почты в поле подписки, регистрируются для загрузки программного обеспечения или покупают ваши продукты.

Люди видят страницу благодарности только тогда, когда они выполняют действие, которое вы ожидаете от них.Если посетители могут попасть на эту страницу через поиск Google, вы не только бесплатно предлагаете самый ценный контент, но и потеряете все аналитические данные вашего сайта.

Авторский архив

Поскольку у большинства блогов один или два автора, страница автора почти такая же, как и домашняя страница блога. Если вы показываете эти два типа страниц в результатах поиска, контент будет дублироваться. Их не нужно индексировать, чтобы избежать этого обстоятельства.

Пользовательские типы сообщений

Пользовательские типы сообщений, такие как товары в WooCommerce, имеют тонкий или некачественный контент.Более того, при установке плагинов могут появиться нежелательные пользовательские типы сообщений. Эти страницы бесполезны для посетителей и вашего собственного сайта, поэтому держите их подальше от страниц результатов поиска.

Страницы администратора и входа в систему

Эти страницы автоматически не индексируются, поскольку администраторы или авторизованные пользователи обычно входят в систему через прямые URL-адреса. Однако страницы входа, которые обслуживают сообщество, такие как Mediafire, Dropbox, являются исключением.

Результаты внутреннего поиска на вашем собственном сайте

Эта страница испортит поисковую систему, как только посетители увидят ее в поисковой выдаче.Вместо того, чтобы получать результаты, они должны снова выполнить поиск. Он может быть представлен как виджет поиска в WordPress или панель поиска продукта в WooCommerce.

Страницы профиля сообщества

Знаете ли вы, что 75% веб-сайта Moz было деиндексировано? Бритни Мюллер ранее обнаружила, что более 56% проиндексированных страниц были страницами профилей сообщества, которые содержат неактивные профили или профили, содержащие спам, с плохими обратными ссылками. После того, как они решили не индексировать URL-адреса профилей сообщества ниже 200 баллов, сайт в конечном итоге оказал положительное влияние на трафик.Этот пример доказывает, что важно не допускать, чтобы нерелевантные профили не попадали на страницы результатов поисковых систем.

Вложения страниц

WordPress создаст отдельную страницу вложения при загрузке изображения. Неудивительно, что Google индексирует и показывает посетителям эти страницы, которые в основном пустые, с изображением и некоторыми словами описания. Сделаете ли вы страницы вложений доступными для вашей аудитории? Возможно, нет.

Ссылки, по которым вы не должны переходить

Пользовательские ссылки или ссылки в комментариях

Ссылки в комментариях блога часто неактуальны и могут вести на вредоносные сайты.Когда люди размещают эти ссылки на вашей странице, они должны делиться силой с бесценными сайтами. Помните, что Google сканирует и индексирует ваш сайт на основе всех ссылок в вашем контенте, поэтому будет очень плохо, если ваш сайт связан с ненадежными ссылками или веб-сайтами.

Как только для этой ссылки будет установлено значение «nofollow», вы сможете способствовать развитию обсуждения, не отвлекаясь от бессмысленных комментариев. Поскольку ссылки в комментариях не приносят никакой SEO-ценности, спамеры могут больше не беспокоиться об этом.

Платные ссылки

Обычно вы монетизируете свой блог, прикрепляя спонсируемый контент к своим страницам.Вы можете добавлять логотипы или ссылки на сайты спонсоров и получать деньги за реферальный трафик от вашей аудитории. Однако необходимо указать Google, что ваш контент спонсируется и вы не несете ответственности за какие-либо веб-сайты, на которые есть ссылки. Что еще более важно, эти ссылки не должны влиять на ваше SEO и рейтинг.

Ссылки Nofollow в этом случае оказываются хорошим вариантом. Вы по-прежнему получаете прибыль от этих сайтов, добавляя ценные ссылки для удобства пользователей и привлечения трафика.

Сомнительные и ненадежные ссылки

Google предпочел бы, чтобы на вашем веб-сайте была интуитивно понятная навигация и понятные URL-адреса. Это означает, что он может сосредоточиться на достоверной информации, чтобы эффективно направлять своих ботов через каждый уголок вашего сайта.

Вы должны добавить метатег nofollow к ссылкам, содержание которых не имеет отношения к вашему или поступает из подозрительных источников.

Как создавать страницы Noindex

Ознакомьтесь с 3 способами запретить поисковым системам индексировать определенные страницы вашего сайта!

Использовать метатег «Без индекса»

Этот тег добавляется в раздел заголовка HTML-кода страницы и сообщает поисковым системам не индексировать вашу страницу.Поместите метатег robots в раздел данной страницы, например:

 
 

(…)

 (…) 
 

« Роботы » после мета-имени означает, что этот метатег применяется ко всем поисковым роботам. Если вы хотите, чтобы ваши страницы не индексировались конкретным сканером, например Google, обновите тег следующим образом:

Этот тег указывает боту Google не показывать страницу в результатах поиска.Однако он по-прежнему отображается в результатах поиска других поисковых систем, таких как Bing или Ask.com.

Можно использовать несколько метатегов роботов одновременно:

Использовать HTTP-заголовок X-Robots-Tag

X-Robots-Tag может использоваться как фактор ответа HTTP-заголовка. Разместите синтаксис ниже, чтобы сканеры не индексировали страницу.

 HTTP / 1.1 200 ОК
Дата: Вт, 25 мая 2010 г., 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…) 

Используйте файл robots.txt

Отредактируйте файл robot.txt через клиент FPT или «Файловый менеджер» в cPanel хостинга WordPress.

 Пользовательский агент: *
Запретить: / логин / 

Вы можете настроить таргетинг на определенных ботов с помощью строки пользовательского агента. Вторая строка определяет часть URL-адреса, идущую после вашего доменного имени. Если вы хотите запретить Google индексировать вашу страницу входа с URL-адресом http: // example.com / login / , просто добавьте в эту строку / login / .

Поскольку добавление неверных инструкций в этот файл отрицательно сказывается на вашем сайте, использование файла robots.txt не рекомендуется для начинающих. Помните, что этот файл доступен всем, поэтому боты или пользователи знают, какую страницу вы пытаетесь скрыть. Более того, вы можете только защитить свою страницу от поисковых роботов Google на вашем сайте. Если на вашу страницу ведет ссылка из сообщения другого сайта, она все равно будет отображаться в результатах поиска.

Используйте сторонний плагин

Это самый простой способ даже для любителей. Есть несколько плагинов, которые помогут вам создавать страницы noindex, в том числе Yoast SEO и Protect WordPress Pages & Posts.

Ниже описано, как использовать Yoast SEO, чтобы не индексировать ваши страницы WordPress. После установки и активации плагина выполните 3 простых шага:

1. Посетите редактор страниц, который вы хотите заблокировать от поисковых систем
2. Прокрутите вниз до мета-поля Yoast SEO внизу страницы и нажмите кнопку Настройки слева
3. Проверьте № под вопросом Должны ли поисковые системы переходить по ссылкам на этой странице?

Что делать, если вы хотите одновременно не индексировать и защищать свои страницы? Использование плагина Protect WordPress Pages & Posts помогает запретить роботам Google индексировать ваши страницы и делает страницы видимыми для авторизованных пользователей.

При активации вам необходимо:

1. Перейдите на страницу плагина Settings , вставленную в меню навигации WordPress
   
2. Включение индексации поиска блоков Расширенные функции
   
3. Выберите страницу, не требующую индексации и защиты
4. Нажмите Редактировать
5. Нажмите Защитите этот файл кнопка

Как сделать ссылки nofollow

Добавить атрибут nofollow вручную

Фактически, WordPress уже помечает все отправленные пользователями ссылки или ссылки в комментариях как nofollow, что уменьшает спам в комментариях на вашем веб-сайте.Больше всего вас беспокоило добавление nofollow к создаваемым ссылкам.

Сначала перейдите на страницу или пост, где есть ссылки. Затем откройте вкладку Text редактора и вставьте следующий код

  текст привязки  

Измените URL-адрес примера на свою ссылку и замените фразу «якорный текст» на свой форматированный текст.

Этот ручной метод кажется простым, но требует много времени для редактирования различных сообщений и страниц, содержащих ссылки.Напротив, вы можете использовать плагин для автоматизации этого ручного процесса.

Используйте плагин для добавления ссылок nofollow

Ultimate Nofollow предоставляет простое решение для добавления и управления всеми ссылками nofollow в WordPress.

После установки и активации плагинов

1. Перейдите на страницу со ссылками, на которые вы хотите перейти на nofollow
2. Выберите ссылку и щелкните значок карандаша, чтобы отредактировать ее
   
3. Щелкните значок шестеренки, чтобы открыть параметры связи
   
4. Установите новый флажок рядом с Добавьте rel = ”nofollow” для ссылки
   
5. Нажмите Добавить ссылку

Завершение

Теги noindex и nofollow не ухудшают видимость вашего сайта в результатах поиска, как вы думали.Прежде чем думать о том, как вы можете проиндексировать свои страницы, задайте себе 2 вопроса: Вы хотите, чтобы эта страница отображалась в результатах поиска? Следует ли разрешить поисковым системам переходить по всем ссылкам на этой странице?

Noindex запрашивает у поисковой системы удаление страниц из индекса доступных для поиска страниц. Тег Nofollow не позволяет Google передавать ссылочную массу через ссылки на веб-странице.

Google обращает внимание только на ранжирование релевантных страниц и анализ качественных ссылок. Убедитесь, что вы обслуживаете важный контент и ссылки, которые могут повысить ваш рейтинг в поиске и иметь наибольшее значение для вашей аудитории.

Noidexing некоторых определенных страниц, таких как страницы с благодарностями, архив авторов или страницы администратора и входа в систему, помогает предотвратить отображение дублированного контента, а также защитить конфиденциальную информацию. Отправленные пользователем ссылки, платные ссылки и сомнительные ссылки «Nofollow» заблокируют спам в комментариях и перестанут распространять силу вашего контента на отображаемые в нем ссылки.