Как закрыть ссылки от индексации. Тег nofollow и тег niondex

Всем привет! Сегодня на SEO-mayak.com я расскажу как закрыть ссылки от индексации.

Готовясь к нависанию статьи, я перечитал много разных блогов и понял, что сколько людей, столько и мнений.

Я просто не завидую новичкам, которые ищут ответ на вопрос, как правильно закрывать ссылки.

Непонятно, то ли использовать только один тег nofollow, то ли оба тега вместе, а некоторые веб-мастера считают, что уже нет смысла в закрывании ссылок, так как поисковики все равно игнорируют запреты.

В общем дискуссии идут жаркие, которые создают столько «мутной воды» и кажется, что все с ума посходили, пытаясь докопаться до истины. Я тоже поначалу запутался и решил обратиться к справочникам самих поисковых систем.

Значение и применение nofollow

Почему nofollow относят к тегам? На самом деле это никакой не тег, изначально он был атрибутом для мета тега robots, и распространял запрет индексации ссылок на уровне всей страницы, например:

<meta name="robots" content="nofollow" />

С тех пор много воды утекло и nofollow уже не так часто используют на уровне всей страницы, зато значение nofollow для атрибута rel применяют теперь повсеместно. Но как в России бывает, «кличка» тег за значением nofollow закрепилась на веки вечные.

Для новичков показываю, как правильно закрыть ссылку атрибутом rel=“nofollow“:

<a href="site.com" rel="nofollow"> Текст ссылки</a>

И все же, закрывает ли атрибут rel=“nofollow“ ссылки от индексации? Можете прочитать об этом в справке Google. От себя могу сказать следующее:

Атрибут rel=“nofollow“ запрещает роботу следовать по ссылке, т.е. разрывает связку донор-акцептор. Если связки нет, то PageRank акцептору не передается. НО! Ссылка, на странице донора, прекрасно индексируется поисковыми системами.

Если вспомнить формулу расчета PageRank, то из нее следует, что вес, передаваемый по ссылке, равен весу страницы донора, деленному на все ссылки со страницы. Т.е. вес, который предается по ссылкам с донора, передается и по ссылке с атрибутом nofollow. Только в данном случае перетекает в никуда, вместо того, что бы найти себе полезное применение на сайте.

Но как же Яндекс относится к «буржуйскому» атрибуту? Передается ли по ссылке, помеченной nofollow, показатель Яндекса ВИЦ (взвешенный индекс цитирования) мне неизвестно, так как формула расчета ВИЦ является тайной Яндекса, которая храниться за семью печатями. Но если Яша рекомендует закрывать ненадежные ссылки (спам ссылки)  rel=“nofollow“, то из этого можно сделать вывод, что робот Яндекса учтет данные ему «рекомендации» и перехода по ссылке не будет.

Неужели никак нельзя закрыть ссылку от индексации, чтобы вес страницы никуда не утекал? Можно, но делается это с помощью jQuery AJAX.

Особенно важно закрывать все внешние ссылки для сайтов, которые находятся еще в песочнице, чтобы не отдавать свой «детский» вес, а наоборот стараться накапливать его. Всегда проверяйте шаблон на скрытые внешние ссылки и используйте плагин ТАС для обнаружения закодированных ссылок, вида base64 decode.

У многих новичков наверное возник вопрос. Что такое вес страницы? Я обязательно на него отвечу, но уже в другой раз, так что советую подписаться на обновления блога.

Подошла очередь рассказать о теге noindex, ведь это детище нашего родного Яндекса, которого мы все так любим 🙂

Применение тега noindex

В начале статьи я уже писал о всеобщем «умопомешательстве» при обсуждении nofollow и noindex и в подтверждение своих слов могу привести ситуацию с закрытием тегом noindex имен (анкоров) комментаторов на блогах.

Ведь и я недавно полагал, что заключая ссылку на сайт комментатора в тег noindex, я тем самым запрещаю роботу Яндекса индексировать эту ссылку и переходить по ней, передовая вес страницы.

Но как я уже писал выше, Яша прекрасно распознает атрибут rel=“nofollow“ и использования noindex закрывает только текст (анкор). Следовательно заключать ссылки в тег niondex, совершенно ненужное и бесполезное занятие.

С помощью тега noindex можно закрывать от индексирования  участки текста в контенте, которые являются не уникальными, анкоры ссылок, но никак не сами ссылки.

Теперь немного затрону понятие валидности тега noindex. Вообще это довольно обширная тема и я в будущем посвящу ей отдельную статью.

Дело в том, что распространенное написания тега noindex не проходит валидность. Приведу такой пример:

<noindex>текст, который надо закрыть от индексации</noindex>

Так вот, такое написание тега не пройдет валидацию, а Google вообще об этом теге ничего неизвестно.

После шумихи на разных форумах специалисты Яндекс нашли выход из сложившийся ситуации и предложили изменяемое написание тега, которое выполняя те же функции, является валидным.

Валидное написание тега noindex выглядит так:

<!--noindex-->текст, который надо закрыть от индексации<!--/noindex-->

Для новичков скажу, что тег noindex является парным и использовать его надо только так, как показано на примере.

До встречи!

С уважением, Виталий Кириллов

Что закрывать от индексации — работа с robots.txt и с тегами noindex, nofollow

Все мы прекрасно знаем о назначении файла robots.txt, тегов noindex. Они помогают роботам поисковых систем правильно индексировать ваш сайт, определять, какой контент нужно добавлять в свои базы, а какой – игнорировать. Индексация страниц сайта – это основа успешного продвижения, поскольку если поисковая система не знает о каком-либо контенте, то он и не появится в выдаче. С нашей стороны будет разумно пользоваться специальными инструментами и помогать правильно индексировать наши сайты.

Первое, что необходимо закрывать от индексации поисковыми системами — это все служебные разделы сайта, предназначенные для управления контентом, статистики и прочих данных, которые интересны владельцу и администраторам сайта. Такая информация может являться и коммерческим секретом, поэтому она обязательно должна быть закрыта не только от пользователей, но и от поисковых машин.

На большинстве информационных сайтов существуют так называемые страницы «для печати», которые фактически являются дублями основного контента и предназначены для удобной отправки текста на печать. Их тоже желательно закрывать от индексации, чтобы они не появлялись в выдаче по необходимым запросам вместо основных страниц. Вообще необходимо тщательно проверять весь ресурс на предмет наличия дублирования контента и оставлять открытыми для индексации только основные страницы, на которые вы и хотите привлекать целевую аудиторию.

На большинстве продающих сайтов существует шаблон, в котором есть общая информация о заказе и доставке. Также лучше закрыть ее от индексации, чтобы страницы товара были уникальными, а плотность ключевых слов на них соответствовала необходимой для продвижения. Информацию же о ценах на товары лучше не закрывать от индексации, поскольку она может использоваться для сниппетов, а также явно указывает на продающую направленность сайта, что помогает при продвижении коммерчески направленных запросов.

Если вы размещаете ссылки на другие ресурсы, то они должны быть тематическими и полезными для пользователей. В ином случае такие ссылки могут негативно влиять на ранжирование сайта в выдаче поисковых систем и их также важно закрывать от индексации. Часто внутренние ссылки не несут в себе дополнительной смысловой нагрузки и их тоже можно закрыть тегом noindex. Однако с этим увлекаться не стоит – робот поисковой системы должен иметь возможность попасть по внутренним ссылкам на любую страницу ресурса, которая подлежит индексированию.

Копируя чужой текст с другого сайта в целях предоставления своим пользователям полной и достоверной информации о брендах или продуктах, необходимо ставить ссылку на источник. В этом случае в выдаче будут появляться страницы первоисточника, но вы избежите проблем, связанных с обвинениями в плагиате. Также при размещении своих материалов на других сайтах нужно просить, чтобы обязательно была индексируемая ссылка на первоисточник.

Часто владельцы сайтов делают различные служебные блоки, посвященные определенному кругу пользователей. Если вы хотите, чтобы информация в этих блоках не была доступна широкой общественности, то также имеет смысл закрыть от индексации такой контент. Причем это относится не только к тексту, но и к фотографиям, видео- и аудиофайлам.

Оптимизаторы иногда прибегают к не совсем честным следующим приемам для повышения видимости сайта в поисковых системах. Они сначала создают текст для пользователей, который закрывают от индексации. А затем располагают на странице уже индексируемую длинную «портянку» текста, которая насыщена нужными ключевыми словами и соответствующими тегами для выделения. Никто делать таких вещей по большому счету не запрещает, однако в последнее время смысл подобных действий начал теряться после того, как поисковые системы стали активно бороться с длинными неудобочитаемыми текстами, созданными специально для роботов, а не для посетителей сайта.

Можно пользоваться различными способами разрешения и запрещения индексации для формирования нужных сниппетов в Яндексе, однако такие методы уже относятся к способам манипулирования выдачей поисковых систем. Поэтому, как правило, результаты подобных действий приносят положительные дивиденды владельцу сравнительно недолго. Лучше направить свои силы на создание качественного уникального контента и не пытаться каким-либо образом обхитрить робота поисковика.

Закрывать от индексации поисковыми системами контент можно с помощью файла robots.txt и с помощью тегов noindex, nofollow. Первый полезен в том случае, когда нужно закрыть от индексации полностью страницы или целые разделы. Это часто бывает полезно для работы со служебной частью сайта или решения проблемы дублирующих страниц. Тегами пользоваться необходимо в том случае, когда нужно закрыть от индексации кусок кода на конкретной странице, который выводит определенный текст, картинки или еще что-либо на экран пользователя. Обязательно уделяйте этому внимание, ведь правильная индексация сайта – это необходимый этап успешной раскрутки любого ресурса.

(Голосов: 1, Рейтинг: 5)

Вы можете узнать подробности о наших услугах, задав интересующий вопрос менеджеру по телефону +7 (495) 104-86-69, или направить заявку на продвижение сайта.

Похожие статьи

Возврат к списку

закрыть ссылку от индексирования поисковиками

Закрыть ссылку от индексирования поисковыми системами очень просто! Для этого нужно использовать специальный параметр тега самой ссылки, который указывает поисковым роботам, что эту ссылку индексировать не нужно, он и позволяет закрыть внешние ссылки от индексации.

Параметр ссылки выглядит следующим образом: rel=»nofollow». Rel — это параметр ссылки, а nofollow — это значение этого параметра, оно буквально говорит поисковым роботам «не следовать» по ссылке. Данный параметр вставляют в тег ссылки <a>.

Закрытая от индексации ссылка должна выглядеть следующим образом:

<a href= «http://seokleo.ru» rel=»nofollow»>Анкор ссылки</a>

Итак, вы теперь знаете, как закрыть ссылки от индексации. Этот параметр позволяет закрыть внешние ссылки от Яндекса и от Google.

Просмотр закрытых ссылок

Если вы хотите узнать, закрыта ли ссылка от индексации поисковиками, то вам нужно посмотреть html-код страницы с размещенной ссылкой, и если в коде у ссылки будет параметр ‘rel’ со значением ‘nofollow’, можете не сомневаться, ссылка закрыта от индексирования и она не передает вес страницы.

Просмотр закрытых ссылок может понадобиться, если вы например хотите разместить ссылку на форуме или в профиле на трастовом сайте для увеличения ссылочной массы своего ресурса и не знаете индексируются ли вообще эти ссылки и передают ли они вес, и соответственно стоит ли тратить время на регистрацию и добавление этой самой ссылки.

Если вы хотите проверить индексируются ли ссылки в профиле — то открывайте любой профиль и смотрите html-код страницы этого профиля, опять таки, если ссылка с атрибутом rel=»nofollow», то она не индексируется, и значит можно не тратить время на регистрацию пользователя и добавление ссылки на свой ресурс в профиль. Так же проверяется индексация ссылок и на других ресурсах, в том числе в подписях на форумах.

Закрыть текст от индексации

Чтобы закрыть текст от индексации, необходимо заключить его в тег <noindex>Текст</noindex>. Текст окруженный этим тегом закрыт от индексирования поисковыми системами Yandex и Rambler, а вот Google и другие поисковики этот тег не распознают, так как он отсутствует в HTML.
Соответственно, если в тексте, заключенном в данный тег, будет ссылка, она так же закроется от индексации и будет проигнорирована этими поисковыми системами.

Зачем закрывать ссылки от индексирования?

Как известно у каждой страницы сайта есть свой статистический вес и чем больше этот вес, тем выше стоит страница в поисковой выдаче по определенному поисковому запросу. Так же известно, что любая страница может передать часть своего веса другой странице с помощью ссылки. То есть если на странице стоит ссылка на другую страницу, то первая передает часть своего веса второй. Такая передача веса необходима между страницами одного сайта, осуществляется она за счет внутренней перелинковки страниц, путем простановки внутренних ссылок. При простановке внутренних ссылок статистический вес распределяется между страницами ресурса и не уходит с сайта.

Но если вы хотите поставить на странице ссылку на другой ресурс, то есть внешнюю ссылку, то часть статистического веса будет передаваться этому другому ресурсу, если не закрыть ссылку от индексирования. Так что если вы хотите ставить ссылки, но при этом не передавать вес страниц, то просто нужно закрыть внешние ссылки от индексирования, используя атрибут rel=»nofollow».

---

Статьи по теме:

Внутренняя перелинковка страниц сайта
Ссылочное продвижение сайта – продвижение ссылками
Правильный ака человекопонятный УРЛ адрес
Как подобрать ключевые слова для сайта?
SEO оптимизация для начинающих и продвижение сайтов самостоятельно

Как прописать метатег noindex на WordPress?

Артем Лебедев

Upper Junior SEO IM

Добрый день, благодарю за вопрос )

Давайте начнем с плагинов. По моему мнению, лучшим плагином для точечного закрытия страниц от индексации на платформе WordPress будет Yoast SEO WordPress Plugin. У данного плагина довольно широкий функциронал, начинающийся с управления и улучшения технических характеристик вашего сайта, таких как ваши метаданные, хлебные крошки и файл Robots.txt, заканчивающийся увеличением показателей скорости загрузки вашего сайта. После установки плагина вам необходимо перейти во вкладку «Возможности» и включить «Дополнительные настройки страницы». Там будут находиться более доступные функциональные
SEO настройки.

Функционал Noindex здесь выглядит следующим образом.

Noindex стоит включать только для тех страниц,
которые вы бы не хотели видеть в индексе — метки, рубрики, либо некоторые типы записей. Также не стоит забывать,
что отрабатывание директивы noindex напрямую зависит от файла Robots.txt. Поисковому роботу
не должен быть заблокирован доступ к странице в файле robots.txt, которую вы хотите закрыть директивой noindex.
Если такая блокировка настроена, поисковый робот не обнаружит директиву noindex, и страница
все равно появится в результатах поиска.
2. Закрыть страницу от индексации по фрагменту URL адреса можно с помощью плагина SEO Ultimate. Здесь, к сожалению, не могу расписать более детальную инструкцию по его применению, так как еще не пересекался с ним в работе, но исходя из рекомендаций и комментариев – нужно начинать с ним знакомство )
3. Закрытие страницы директивой noindex по фрагменту кода можно реализовать двумя способами: через метатег
или через заголовок ответа HTTP. Они работают абсолютно одинаково, поэтому выбор только за вами.
Если вы хотите запретить поисковым роботам индексировать вашу страницу, тогда необходимо добавить
в раздел <head> вашей страниц следующий метатег:
<meta name=”robots” content=”noindex, follow” />
Если вы хотите закрыть от индексации страницу только поисковым роботам Google, необходимо использовать следующий код:
<meta name=”googlebot” content=”noindex, follow” />.

Дата сообщения: 08.01.2021, 15:15

Закрыть ссылки от индексации. Тег noindex и тег nofollow — IT портал

Как закрыть ссылки от индексации? В данной статье мы опишем два варианта для реализации этой задачи. Мы будем использовать теги: nofollow и noindex

Значение и применение nofollow

Изначально nofollow был атрибутом для мета тега robots, и распространял запрет индексации ссылок на уровне всей страницы, например:

<meta name="robots" content="nofollow" />

Сейчас редко кто использует этот атрибут для закрытия всей страницы, зато многие используют значение nofollow для атрибута rel.

Как правильно закрыть ссылку атрибутом rel=“nofollow“:

<a href="site.com" rel="nofollow">Ваша ссылка</a>

На заметку:

Атрибут rel="nofollow" запрещает роботу следовать по ссылке, т.е. разрывает связку донор-акцептор. Если связки нет, то PageRank акцептору не передается. При этом ссылка, на странице донора, прекрасно индексируется поисковыми системами.

Если вспомнить формулу расчета PageRank, то из нее следует, что вес, передаваемый по ссылке, равен весу страницы донора, деленному на все ссылки со страницы. Т.е. вес, который предается по ссылкам с донора, передается и по ссылке с атрибутом nofollow. Только в данном случае перетекает в никуда, вместо того, что бы найти себе полезное применение на сайте.

По поводу Яндекса можно сказать следующее: поисковик рекомендует закрывать ненадежные ссылки (спам ссылки) rel="nofollow", из этого можно сделать вывод, что робот Яндекса учтет данные ему «рекомендации» и перехода по ссылке не будет.

Особенно важно закрывать все внешние ссылки для сайтов, которые находятся еще в песочнице, чтобы не отдавать свой «детский» вес, а наоборот стараться накапливать его.

Значение и применение тега noindex

С помощью тега noindex можно закрывать от индексирования участки текста в контенте, которые являются не уникальными, анкоры ссылок, но никак не сами ссылки.

Немного про понятие валидности тега noindex. Дело в том, что распространенное написания тега noindex не проходит валидность. Вот например:

<noindex>Ваш текст, который нужно закрыть от индексации</noindex>

Так вот, такое написание тега не пройдет валидацию, а Google вообще об этом теге ничего неизвестно.

Тег noindex является парным и использовать его надо только так, как показано в примере ниже:

<!--noindex-->Ваш текст, который нужно закрыть от индексации<!--/noindex-->

Надеемся статья кому то была полезна. Подписывайтесь на наш блог. Не забывайте о помощи сайту.

Похожие материалы:

Как закрыть сайт от индексации с noindex/robots.txt?

Когда вы занимаетесь SEO для сайт, то часто нужно скрыть какую-либо часть сайта или же целую страницу целиком. В этой записи я расскажу о том как это можно сделать.  

Если вам нужно закрыть какую-либо определенную страницу сайта, то можно воспользоваться meta тэгом, который запретить индексацию целой страницы.

Чтобы запретить индексацию страницы для всех ботов, то вы можете воспользоваться HTML кодом ниже.

<meta name="robots" content="noindex">

Если вы нацелены на определенный поисковик (например: Google), то вы можете это сделать как показано ниже.

<meta name="googlebot" content="noindex">

Официального источника можно найти по этой ссылке.

Если вам нужно спрятать из индексации определенную часть страницы вашего сайта, то вы можете воспользоваться <noindex> тэгом.. Как в примере ниже.

<noindex>
     <p>Боты не будут этого считывать</p>
</noindex>

Все что указано внутри noindex остается вне видимости бота. В целом, информация внутри все равно читается им, но остается проигнорирована при поиске какой-либо информации через поисковик.

robots.txt является самым распространенным видом установки ограничения для просмотра контента ботами. Другими словами, данный файл устанавливает инструкции для ботов (что можно смотреть, а что нет).

Идеального варианта этого файла не существует. Для каждого проекта должен иметься свой собственный robots.txt файл, который правильно настроен и скрывает нежелательные папки/разделы сайта.

Имейте ввиду, что не все боты будут следовать этому файлу. Есть множество других плохих и хороших ботов, которые просто путешествуют по вебу, собирают информацию и тд.

Что я точно вам могу сказать: robots.txt не будет проигнорирован известными поисковыми системами.

Некоторые из примеров я использовал с этого источника. Если кому интересно, зайдите и посмотрите (достаточно не плохой ресурс).

Пример 1

Данный пример имеет два свойства.

1. User-agent — которое говорит роботу, что любой тип может посетить страницу
2. Disallow — запрещает индексировать какие-либо страницы на сайте, который установит этот robots.txt

User-agent: *
Disallow: /

А вот этот пример (ниже), разрешить посещать любые страницы сайта.

User-agent: *
Disallow:

Пример 2

Пример ниже запрещает ботам посещать папку cgi-bin и tmp в корне сайта. Вы можете прописывать сколько захотите Disallow, чтобы полностью расписать инструкции для бота.

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/

 Пример 3

Данный пример использует два разных правила.

Первое — это устанавливает правила только для User-agent: Google бота. И разрешает ему анализировать любые страницы сайта.

Второе — это все остальные боты User-agent: *, которые не могут смотреть никакие страницы сайта.

User-agent: Google
Disallow:

User-agent: *
Disallow: /

Чтобы запретить индексаю для определенного файла, можно просто прописать полный путь до файла, от корня сайта. Например, у вас есть файл main.hml, который находится в /src/ папку, то ваш robots будет выглядеть как на примере ниже:

User-agent: *
Disallow: /src/main.html

Нужно ли использовать тег NOINDEX и зачем? — Devaka SEO Блог

23.9К просмотров

В последнее время, анализируя проблемные сайты клиентов, часто сталкиваюсь с тем фактом, что многие из них активно используют тег <noindex> для скрытия части контента от Яндекса. Для тех, кто не знаком с этим тегом, привожу ссылку на документацию. Как там указано, он предназначен для запрета индексирования служебных участков текста.

Стоит заметить, что в документации указан ответ на вопрос “как использовать этот тег”, но совсем не сказано “зачем он введён”. Отчасти, это и является причиной возникновения многих вопросов от вебмастеров.

Если мы поищем в Google ответ на вопрос какая польза от тега noindex или любые рекомендации от сотрудников Яндекса по этому поводу, то ожидаемого ответа на вопросы, зачем он всё-таки был введён и в каких случаях его рекомендуется использовать, мы не получим. Сотрудники Яндекса не берут на себя ответственность в подобных рекомендациях, но при этом и не запрещают использовать noindex в своих целях.

Какие были преимущества у этого тега?

1. Можно было закрыть блок внешних ссылок от индексации (как это делает, например, студия Артемия Лебедева в легендарном смайлике).

Действительно, удобно было закрывать таким способом немодерируемые ссылки, в том числе и в комментариях. Но после введения Яндексом возможности использовать rel=nofollow, как это делают другие крупные поисковые системы, можно смело отказаться от тега noindex, если он использовался только для закрытия внешних ссылок.

2. Можно управлять сниппетом (описанием сайта) в поисковой выдаче.

Так как Яндекс не всегда умеет формировать из контента страницы хорошие сниппеты для своей выдачи, оптимизаторы нашли выход использовать <noindex>, подбирая оптимальные варианты. Кто из вас так делает? Наверняка меньшинство, так как это трудная и долгая работа. Вместо того, чтобы решить проблему на своей стороне (в алгоритмах), Яндекс предлагает решать проблему вебмастерам. Кстати, в Google нет подобного тегу noindex функционала 😉

3. Для Google показывать одно, для Яндекса – другое!

Тегом <noindex> вебмастера пытались оптимизировать контент сайта и для Яндекса (от которого надо было спрятать некоторые участки кода) и для Google, используя совместно другие техники. Не это ли является явным манипулированием поисковыми алгоритмами или подменой контента, против которой так яро борятся яндексоиды? 🙂

4. Подбирать оптимальную плотность ключевых фраз.

Доходит до того, что в тексте оптимизаторы лишние фразы закрывают этим тегом, чтобы Яндекс не счел этот текст спамным. При этом, для посетителей он-таки часто остаётся спамным 🙂 Отсюда и корни большинства бед в SEO, а нужно было лишь дать оптимизаторам этот тег. С другой стороны, Яндекс всегда может узнать по таким маркерам, работал ли с текстом оптимизатор или это нормальный контент.

Кстати, Яндекс не рекомендовал использовать noindex для подбора оптимальной плотности ключевиков, это уже происки оптимизаторов (об этом яндекс и не мог подозревать при введении поддержки тега), зато он активно пессимизирует документы, где часто встречается этот тег.

5. Закрывать счетчики и баннеры.

Экономя на каждой ссылке, вебмастера закрывали в noindex и счетчики посещаемости. Прошло много лет, сейчас Яндекс прекрасно понимает, где что у вас расположено на сайте (в том числе и счетчики). Закрывать их от индексации смысла нет, лучше убрать всё неиспользуемое.

Как мы видим, <noindex> используется лишь оптимизаторами и всё, для чего используется это не попытка сделать ресурс лучше, а попытка управлять поисковым алгоритмом в свою сторону, хотя это и не всегда получается. Также все рекомендации, присутствующие в сети по использованию noindex даны оптимизаторами и ни одной от А.Садовского или И.Сегаловича.

Учитывая всё вышеперечисленное, настоятельно не рекомендуется использовать инструмент серой оптимизации noindex, особенно если он раньше не использовался на сайте и существуют дополнительные проблемы с ресурсом (фильтры, подмена релевантной страницы, и другие).

И ещё… У яндекса нет ни одной причины продолжать поддерживать тег noindex (разве что “не трогать то, что работает”). После ввода поддержки атрибута nofollow для ссылок, сложно понять мотив яндексоидов оставить noindex. Возможно, скоро его поддержка будет прекращена.

Таков мой взгляд на однобокий тег noindex. А что вы думаете по этой теме?

Google отменяет поддержку Robots.txt Noindex

Google официально объявил, что GoogleBot больше не будет подчиняться директиве Robots.txt, связанной с индексированием. Издатели, использующие директиву noindex в robots.txt, должны до 1 сентября 2019 г. удалить ее и начать использовать альтернативу.

Robots.txt Noindex Неофициально

Директива noindex robots.txt не поддерживается, потому что это не официальная директива.

Google уже поддерживал этих роботов.txt, но этого больше не будет. Обратите на это должное внимание и руководствуйтесь соответствующим образом.

Google в основном подчиняется директиве Noindex

StoneTemple опубликовал статью, в которой отмечалось, что Google в основном подчиняется директиве noindex robots.txt.

Реклама

Продолжить чтение ниже

Их вывод на тот момент был:

«В конечном счете, директива NoIndex в Robots.txt довольно эффективна. Это сработало в 11 из 12 протестированных нами случаев.Это может сработать для вашего сайта, и благодаря тому, как он реализован, он дает вам возможность предотвратить сканирование страницы, а также удалить ее из индекса.

Идея весьма полезна. Однако наши тесты не показали 100-процентного успеха, поэтому это не всегда работает ».

Это уже не так. Директива noindex robots.txt больше не поддерживается.

Это официальный твит Google:

«Сегодня мы прощаемся с недокументированными и неподдерживаемыми правилами в роботах.txt

Если вы полагались на эти правила, узнайте о своих возможностях в нашем блоге ».

Реклама

Продолжить чтение ниже

Это соответствующая часть объявления:

«В интересах поддержания здоровой экосистемы и подготовки к возможным будущим выпускам с открытым исходным кодом мы удаляем весь код, который обрабатывает неподдерживаемые и неопубликованные правила (например, noindex) 1 сентября 2019 г. «

Как контролировать сканирование?

В официальном блоге Google перечислены пять способов управления индексированием:

1. Noindex в метатегах robots
2. 404 и 410 коды статуса HTTP
3. Защита паролем
4. Disallow in robots.txt
5. Search Console Инструмент удаления URL-адресов

Прочтите официальное объявление Google здесь:
https://webmasters.googleblog.com/2019/07/a-note-on-unsupported-rules-in-robotstxt.html

Прочтите официальный твит Google здесь
https://twitter.com/googlewmc/status/1145950977067016192

Как мне использовать noindex URL? • Yoast

В некоторых случаях вы хотите, чтобы некоторые сообщения или страницы не отображались в результатах поиска. Например, ваши внутренние страницы результатов поиска или страницы администратора или входа в систему.Вы можете узнать больше о том, почему вы не должны индексировать некоторые сообщения и страницы здесь. Yoast SEO предоставляет несколько вариантов для установки URL-адреса или группы URL-адресов на noindex. Здесь вы можете прочитать, как это сделать для различных типов контента.

Убрать ваши сообщения или страницы из результатов поиска — это легкое дело с Yoast SEO. Вы хотите, чтобы дополнительные технические SEO-материалы выполнялись автоматически в фоновом режиме? Yoast SEO Premium гарантирует, что ваша техническая конфигурация станет красной дорожкой для поисковых систем!

Предварительное предупреждение: установка noindex для страниц, сообщений или вашего сайта может иметь серьезные последствия для вашего рейтинга.Так что убедитесь, что вы знаете, что делаете! Во-первых, тщательно определите, для каких URL вы хотите установить значение noindex.

Вот список типов контента, которые можно установить на noindex с помощью Yoast SEO:

Похожие сообщения

Мы обсудим эти типы и способы их индексирования ниже.

Отдельные сообщения, страницы, средства массовой информации или элементы таксономии

Расширенный раздел в мета-поле Yoast SEO на экране редактирования элемента позволяет администраторам и редакторам устанавливать пользовательскую информацию о роботах, такую ​​как noindex, nofollow и другие расширенные настройки роботов.

Если вы не хотите индексировать отдельное сообщение, установите для параметра «Разрешить поисковым системам показывать это… в результатах поиска?» Значение «Нет».

Чтобы разрешить авторам доступ к этой вкладке, перейдите в раздел SEO-> Общие-> Возможности и установите для параметра «Безопасность: без дополнительных настроек для авторов» значение «Выкл.».

Макет может отличаться, поскольку в приведенном выше примере используется тип сообщения по умолчанию.

Noindex отдельная новостная статья

Подключаемый модуль Yoast News SEO включает возможность указать Google News не индексировать определенную новостную статью.Эта опция находится в разделе «Плагины» мета-поля на вкладке «Новости Google». Узнайте больше об использовании плагина News SEO в этой статье.

Типы сообщений Noindex, категории, теги или другие таксономии

Если вы не хотите индексировать группу элементов, включите эту функцию, выполнив следующие действия. По умолчанию для страниц поиска и страниц 404 будет установлено значение noindex, после .

1. Войдите на свой сайт WordPress.

   Когда вы войдете в систему, вы попадете в «Личный кабинет».

2. Нажмите «SEO».

   Слева вы увидите меню. В этом меню нажмите «SEO».

3. Щелкните «Search Appearance».

   Настройки «SEO» расширятся, предоставляя вам дополнительные возможности. Нажмите «Поиск по внешнему виду».

4. Выберите вкладку, которая представляет типы контента, таксономию или тип архива, которые вы хотите исключить из результатов поиска.

   Здесь мы подробнее расскажем о настройках внешнего вида поиска и различных вкладках.

5. Переключите переключатель «Показать XYZ в результатах поиска?».

   Чтобы проиндексировать контент, установите переключатель в положение «Да». Чтобы не индексировать контент, установите переключатель в положение «Нет».

6. Нажмите «Сохранить изменения».

Noindex подстраницы архивов

Google значительно улучшил разбиение на страницы серий, поэтому эта функция была удалена из Yoast SEO.

Noindex весь сайт

Кроме того, вы можете не индексировать весь сайт, но поисковые системы должны выполнить этот запрос.В этой статье мы объясняем, как запретить индексирование всего сайта.

Noindex индивидуальные страницы авторов

Также можно не индексировать отдельные страницы авторов. Прочтите эту статью о том, как использовать noindex для отдельных страниц авторов, чтобы узнать, как это сделать.

А как насчет тегов nofollow?

Теги Nofollow похожи на теги noindex, как мы описываем в этой статье о метатегах robots. Теги Nofollow говорят поисковым системам не передавать значение по ссылкам на этой странице. Вы можете назначить посту тег nofollow, щелкнув раздел «Дополнительно» в мета-поле Yoast SEO на странице.Там выберите «Нет» для «Следует ли поисковым системам переходить по ссылкам в этом сообщении». При выборе «Нет» для URL будет выведен тег nofollow.

По умолчанию установлено «Да», поэтому по умолчанию поисковые системы переходят по ссылкам в сообщениях и на страницах. Эта функция недоступна для таксономий, таких как категории и теги, и работает только с URL-адресом сообщения / страницы. Он не будет добавлять тег nofollow к встроенным в него ссылкам.

Если вы не уверены, следует ли вам использовать noFollow или нет, обратитесь к этому руководству: На каких страницах мне следует использовать noindex или nofollow?

Похожие сообщения

Информация для разработчиков по метатегам роботов

Как удалить метатег noindex

Я произвольно проверил несколько сообщений и страниц вашего сайта, но не нашел никакого содержания, отмеченного знаком

Это все еще отображается при просмотре исходного кода сообщений или страниц? Если да, не могли бы вы предоставить несколько URL-адресов, которые показывают этот тег robots.

Поддержка плагинов Джерлин

(@jerparx)

Закрыто. Больше никаких проблем.

У меня такие же проблемы, как я получаю это сообщение на всех своих страницах

Я проверил все настройки внутри WordPress, и плагин ничего не должен блокировать robots.

Не знаю, что делать, помогите пожалуйста

Hi davidaviv,

Вы имеете в виду, что вы нашли для всех своих страниц в Google Search Console. Если это так, единственное, что вам нужно, это подождать, пока Google проиндексирует ваши страницы, потому что он показывает результат, который был несколько дней назад. Когда вы вводите свой URL-адрес в поле поиска Google Search Console, чтобы проверить, проиндексирован ли он, вам нужно нажать кнопку, например, «проверить фактический URL-адрес», чтобы увидеть правильный.Или вы можете использовать этот инструмент для этого. URL тестирования: https://www.google.com/webmasters/tools/robots-testing-tool?utm_source=support.google.com/webmasters/&utm_medium=referral&utm_campaign=+6062598&siteUrl=https://www.yecayehome.com. / & pli = 1 & authuser = 1

Я покажу вам, как удалить мета name = ’robots’ content = ’noindex nofollow’ в WordPress, используя замену некоторого кода внутри панели администратора.

войдите в каталог public_html , теперь вы найдете папку с именем wp-includes , дважды щелкните, чтобы открыть эту папку, найдите имя файла general-template.php хотите отредактировать две функции.

Первый код находится внутри файла general-template.php :

  function wp_no_robots () {
if (get_option ('blog_public')) {
echo " \ n";
возвращение;
}

echo " \ n";
}  

Заменить первый код

  function wp_no_robots () {
if (get_option ('blog_public')) {
echo " \ n";
возвращение;
}
echo " \ n";
}  

Найдите второй код в файле general-template.php :

  function wp_sensitive_page_meta () {
?>


 

Заменить второй код ниже:

  function wp_sensitive_page_meta () {
?>


 

Когда это будет завершено, вернитесь к проверке веб-сайта, перейдите в Search Console, повторно отправьте URL-адрес, который вы пробовали ранее.Если вы правильно заменяете все коды, все должно петь другую мелодию.

Для получения полной информации проверьте: https://www.techboto.com/how-to-remove-wordpress-robots-meta-tag-noindex-nofollow.html

API закрытия индекса | Elasticsearch Guide [7.15]

Закрывает индекс.

Для закрытия открытых индексов используется API закрытия индексов.

Закрытый индекс заблокирован для операций чтения / записи и не позволяет все операции, которые позволяют открывать индексы.Невозможно проиндексировать документы или для поиска документов в закрытом индексе. Это позволяет закрытые индексы, чтобы не поддерживать внутренние структуры данных для индексирование или поиск документов, что снижает накладные расходы на кластер.

При открытии или закрытии индекса мастер отвечает за перезапуск осколков индекса, чтобы отразить новое состояние индекса. Затем осколки пройдут обычный процесс восстановления. В данные открытых / закрытых индексов автоматически тиражируются кластер, чтобы обеспечить безопасное хранение достаточного количества копий осколков всегда.

Вы можете открывать и закрывать несколько индексов. Выдается ошибка если запрос явно ссылается на отсутствующий индекс. Такое поведение может быть отключено с помощью параметра ignore_unavailable = true .

Все индексы можно открывать или закрывать сразу, используя _all в качестве имени индекса. или указав шаблоны, которые идентифицируют их все (например, * ).

Определение индексов с помощью подстановочных знаков или _all можно отключить, установив параметр действие.destructive_requires_name в файле конфигурации значение true . Этот параметр также можно изменить через api настроек обновления кластера.

Закрытые индексы занимают значительный объем дискового пространства, что может вызвать проблемы в управляемых средах. Индексы закрытия можно отключить в настройках кластера. API, установив cluster.indices.close.enable на false . По умолчанию , правда .

В следующем примере показано, как закрыть индекс:

 POST / my-index-000001 / _close 

API возвращает следующий ответ:

 {
  "подтверждено": правда,
  "shards_acknowledged": правда,
  "индексы": {
    "my-index-000001": {
      "закрыто": правда
    }
  }
} 

php - WordPress удалить метатег роботов noindex

Как удалить метатег роботов WordPress noindex, nofollow

Мы покажем вам, как удалить мета name = ’robots’ content = ’noindex nofollow’ в WordPress, используя замену некоторого кода внутри панели администратора, без запроса плагина.

Шаг 1. Войдите в свою cPanel

Итак, вы входите в каталог public_html, теперь вы найдете папку с именем wp-includes , дважды щелкните, чтобы открыть эту папку. В то же время существует так много папок и файлов, сделайте вдох, просто нажмите на клавиатуре Ctrl + f и введите general-template.php .

Шаг 2. Отредактируйте файл general-template.php

Найдите этот код в general-template.php

  function wp_no_robots () {
if (get_option ('blog_public')) {
    echo " \ n";
    возвращение;
}

echo " \ n";
  

}

Сначала замените этим кодом:

  function wp_no_robots () {
if (get_option ('blog_public')) {
    echo " \ n";
    возвращение;
}
echo " \ n";
  

}

2 - Найдите этот второй код того же файла general-template.php:

Это

  function wp_sensitive_page_meta () {
?>


 

}

Заменить на

  function wp_sensitive_page_meta () {
?>


 

}

Когда это будет завершено, вернитесь к проверке веб-сайта, перейдите в Search Console, повторно отправьте URL-адрес, который вы пробовали ранее.В отчете о проверке URL не должно быть никаких предупреждений и сообщений об ошибках, по крайней мере, тех, которые связаны с возможностью индексирования и сканирования, и вы сможете «Запросить индексирование».

Я нашел решение, которое сработало на 100% Подробнее см. Здесь

Скрытие страницы от поисковых систем · Справочный центр Shopify

Эта страница была напечатана 26 сентября 2021 года. Чтобы просмотреть текущую версию, посетите https://help.shopify.com/en/manual/promoting-marketing/seo/hide-a-page-from-search-engines.

Поисковые системы, такие как Google, постоянно сканируют Интернет в поисках новых данных. Когда ваш сайт сканируется, файл robots.txt вашего магазина блокирует содержимое страницы, которое в противном случае могло бы снизить эффективность вашей стратегии SEO из-за кражи PageRank.

Если вы внесли изменения или добавили страницу на свой сайт и хотите, чтобы Google повторно сканировал ваши URL-адреса, у вас есть два варианта. Вы можете использовать инструмент проверки URL-адресов или отправить карту сайта в Google.Для получения дополнительной информации см. Попросите Google повторно сканировать ваши URL-адреса.

По умолчанию файл robots.txt вашего магазина сообщает ботам (обычно роботам, индексирующим поисковые системы, или «сканерам»), какие страницы или файлы они должны или не должны запрашивать для просмотра с веб-сайта. Например, страница корзины покупок не должна просматриваться поисковыми системами, потому что она уникальна для отдельных клиентов и бесполезна для индексации поисковой системой.

Во всех магазинах Shopify есть предварительно настроенные и оптимизированные роботов.txt.liquid шаблон. Если вы хотите отредактировать файл robots.txt, обратитесь к разделу «Редактирование файла robots.txt».

Вы можете скрыть страницы, которые не включены в ваш файл robots.txt.liquid , настроив раздел файла макета theme.liquid вашего магазина. Вам нужно добавить код для noindex определенных страниц.

Шагов:

1. От администратора Shopify перейдите в интернет-магазин > Темы .

2. Найдите тему, которую хотите отредактировать, и нажмите Действия > Изменить код .

1. В приложении Shopify нажмите Магазин .

2. В разделе Каналы продаж коснитесь Интернет-магазин .

3. Коснитесь Управление темами .

4. Найдите тему, которую хотите отредактировать, и нажмите Действия > Изменить код .

1. В приложении Shopify нажмите Магазин .

2. В разделе Каналы продаж коснитесь Интернет-магазин .

3. Коснитесь Управление темами .

4. Найдите тему, которую хотите отредактировать, и нажмите Действия > Изменить код .

1. Щелкните файл макета theme.liquid .

2. Чтобы исключить шаблон поиска, вставьте следующий код в раздел :

     {%, если шаблон содержит "поиск"%}
   
   {% endif%}  

3. Чтобы исключить определенную страницу, вставьте следующий код в раздел :

     {%, если дескриптор содержит 'дескриптор-страницы-вы-хотите-исключить'%}
   
   {% endif%}  

   Убедитесь, что вы заменили page-handle-you-want-to-exclude правильным дескриптором страницы.

4. Нажмите Сохранить .

Magento Store Manager

Когда вы запускаете новый проект на сервере разработки или создаете несколько страниц с транзакциями, вам может потребоваться скрыть некоторые из ваших страниц или весь веб-сайт от поисковых систем, чтобы они не индексировались заранее. Лучший способ запретить роботам индексировать ваш контент и не следить за ним - использовать файл robots.txt и метатеги nofollow и noindex в заголовках html страниц. Веб-сайт Magento с открытым исходным кодом или Adobe Commerce позволяет настраивать такие параметры из панели администратора без использования кода.

Что такое файл robots.txt и зачем он вам нужен?

Допустим, некоторые веб-роботы хотят посетить ваш сайт https://store.emagicone.com и проиндексировать или отслеживать его содержимое. Перед началом индексации роботы сначала войдут в ваш файл https://store.emagicone.com/robots.txt и проверит его. Этот файл находится в корне вашего сайта Magento и содержит инструкции для роботов о том, как обрабатывать или не обрабатывать ваш сайт.

Установка Noindex и Nofollow в Magento 2

Есть несколько методов, чтобы запретить роботам индексировать определенный контент магазина.Ниже мы расскажем, как закрыть от индексации весь магазин, страницы, товары и категории.

Метод 1. Установка Noindex / Nofollow для Magento 2 Store

Если вы запустите Magento 2.1.x, перейдите в Stores> Configuration> General (слева)> Design section

Доступ к настройкам файла robots.txt Magento 2 через store admin

Если вы запускаете Magento 2.2.0, 2.2.1 или 2.2.2 store в панели администратора, выберите Content> Design section - Configuration:

Чтобы закрыть магазин из индексации, выберите раздел Content в панели администратора

. найдите там таблицу, содержащую все ваши обзоры магазинов.Нажмите «Редактировать» рядом с конфигурацией магазина:

Редактировать конфигурацию дизайна, чтобы закрыть магазин из индексации.

Откроется окно с настройками «Глобальные». Прокрутите вниз до «Другие настройки» и нажмите «Поисковые роботы», чтобы развернуть этот раздел. Здесь вы увидите поле «Роботы по умолчанию». Щелкните, чтобы увидеть раскрывающийся список:

Чтобы закрыть магазин из индексации, выберите необходимое действие из раскрывающегося списка.

Доступны четыре варианта «Роботы по умолчанию»:

• ИНДЕКС, СЛЕДОВАТЬ - позволяет веб-роботам индексировать ваш сайт и отслеживать изменения;
• NOINDEX, FOLLOW - запрещает роботам индексировать ваш сайт, но позволяет отслеживать его изменения;
• INDEX, NOFOLLOW - указывает роботам индексировать ваш сайт, но не проверять его на наличие изменений в дальнейшем.
• NOINDEX, NOFOLLOW - запрещает роботам ни индексировать, ни отслеживать ваш сайт.

Вы можете выбрать опцию в соответствии с вашими целями или использовать поле «Редактировать настраиваемую инструкцию файла robots.txt», если вам нужно заблокировать доступ к некоторым конкретным папкам или URL-адресам.

Введите в это поле следующие директивы для роботов в зависимости от ваших потребностей:

Чтобы заблокировать всех роботов из определенных папок:

User-agent: *

Disallow: / имя папки

Чтобы заблокировать определенных роботов из определенные папки:

User-agent: имя робота

Disallow: / имя папки

Чтобы заблокировать доступ некоторых ботов к одной папке, но разрешить доступ к другой:

User-agent: имя робота

Disallow : / имя папки Разрешить: / имя папки

Метод 2.Установка Noindex / Nofollow для определенных страниц Magento 2

Есть еще один способ заблокировать роботам обработку ваших веб-страниц.

В панели администратора слева выберите раздел «Контент». В разделе «Элементы» выберите «Страницы». Вы найдете таблицу, содержащую все страницы вашего магазина. Нажмите «Выбрать» справа и выберите опцию «Изменить» из раскрывающегося списка:

Редактировать страницу, чтобы закрыть ее от индексации.

Разверните раздел «Дизайн» и найдите поле «Макет обновления XML».Чтобы предотвратить индексацию и отслеживание этой страницы, вставьте этот код в поле:

Вставьте код и сохраните страницу, чтобы закрыть ее от индексации

Метод 3: Установка Noindex / Nofollow для определенных категорий и продуктов Magento 2

Вышеуказанное Указанный код также можно использовать для настройки разрешений для некоторых страниц вашей категории или продукта, будь то в 2.1.x или в 2.2.

Чтобы заблокировать страницу продукта выберите «Товары» в разделе «Каталог» на панели администратора.Нажмите «Редактировать» в правой части поля продукта:

Измените продукт, чтобы закрыть его из индексации

Прокрутите вниз и найдите раздел «Дизайн». Разверните его и введите фрагмент кода в поле «XML для обновления макета». Нажмите «Сохранить»:

Вставьте код, чтобы закрыть продукт из индексации.

Чтобы заблокировать страницу категорий выберите «Категории» в разделе «Каталог» и найдите нужную категорию в списке справа. Найдите раздел «Дизайн» и введите указанный выше код в поле «XML обновления макета»:

Вставьте код и сохраните категорию, чтобы закрыть ее от индексации

Заключение: нужно ли блокировать доступ к некоторым из моих ссылок?

Однозначно да.Владелец интернет-магазина должен иметь возможность управлять доступом к некоторым папкам или URL-адресам своего сайта, запрещая или разрешая веб-роботам индексировать их или следовать им. Помимо ограничения доступа для неизвестных поисковых роботов, вы можете значительно улучшить свое SEO, применив эти ограничения.