Яндекс перестал учитывать ссылки с rel=nofollow — Devaka SEO Блог

16.5К просмотров

С недавнего времени Яндекс перестал учитывать ссылки, имеющие атрибут rel=nofollow, по аналогии западных поисковиков. Это заметили некоторые оптимизаторы после последних апдейтов. Также у себя в помощи для вебмастеров сотрудники Яндекса опубликовали информацию про внешние ссылки, отображающиеся в панели.

В сервисе отображаются все найденные роботом ссылки на ваш сайт. Причины, по которым некоторые ссылки могут не показываться:

• страница не переиндексирована – ее нет в результатах поиска Яндекса;
• ссылка содержит атрибут rel=“nofollow”;
• сылка является ссылкой с изображения;
• ссылка не ссылается непосредственно на ваш сайт, а делает это через промежуточную страницу с редиректом
• ссылка появилась на странице недавно и эту страницу робот еще не успел переиндексировать.

По идее, если ссылки не отображаются, то они не учитываются при подсчете ссылочных весов.

Докажем то, что яндекс учитывает атрибут rel=nofollow у ссылок на эксперименте, который проводил пол года назад Данил (teerex.intome.ru). На его экспериментальной странице присутствуют ссылки в трех вариантах, ведущие на сайт avtokresla74.ru.

1. Ссылка с атрибутом rel=nofollow и анкором кракозербера.

Как видно, акцептора в первом случае в выдаче нет, только донор.
(Upd: Ситуация в индексе поменялась сразу же после публикации этого поста, читайте комментарии).

2. Ссылка с атрибутом rel=nofollow и тегом noindex, анкор кукакозоид.

Понятно, здесь будет аналогично первому случаю. Даже если бы ссылка была без атрибута nofollow, всё равно она бы не попала в индекс из-за закрытости в noindex.

3. Обычная контрольная ссылка со страницы эксперимента, анкор грандешлазге.

Контрольная ссылка нужна для того, чтобы понять, что обычные ссылки на странице все же работают. Это видно на скриншоте, они действительно работают.

Выводы.

1. Атрибут rel=nofollow Яндекс понимает и ссылки с ним не учитывает, вес по ним не передается.

2. Википедия стала бесполезной в плане источника обратных ссылок.

3. Спам в комментариях на блогах стал бесполезен для тех, кто продвигает сайты подобным образом.

4. Закладочники и другие сервисы, использующие nofollow потеряют интерес среди оптимизаторов.

5. В Рунете станут популярными dofollow блоги.

6. Грядет массовое понижения тИЦ в Рунете и, соответственно, повышение цен на ссылки в биржах вроде сапы.

7. Ждём в биржах и seo сервисах обновлений по учёту нововведений в Яндексе.

Какие у вас наблюдения?

Внешние ссылки — NOFOLLOW или SPONSORED? Требования Gooogle / Яндекс | Урок #190

Длительность: 16:19

Внешние ссылки — NOFOLLOW или SPONSORED? Требования Gooogle / Яндекс | Урок #190

SEO

&nbsp

В новом аудиоподкасте №190 Николай Шмичков рассказал про внешние ссылки — NOFOLLOW или SPONSORED? Требования Gooogle / Яндекс.

Текстовая версия выступления:

«Ссылки — это основной фактор ранжирования в поисковых системах, в частности в Гугл, в меньшей степени в Яндекс, но это не исключает, что он является важным.

Именно благодаря ссылкам, поисковой робот ходит по вашим страницам и определяет, куда ему идти дальше, какие ссылки являются полезными и по каким ссылкам нужно переходить.

Ну иногда хочется поисковому роботу сказать стоп и не нужно идти дальше.

Каким образом сказать поисковому роботу, что это ссылка нужна, но по ней не нужно переходить, её сканировать и учитывать в ранжировании.

Сегодня мы расскажем про исходящие ссылки, как их нужно правильно маркировать и, что нужно делать и какие ссылки являются полезными исходящими, а какие лучше закрыть.

И сегодня на канале Сеоквик я, Николай Шмичков расскажу вам, как делать внешние исходящие ссылки и сейчас мы начнем конечно же с Яндекса.

Как видим, Яндекс конкретно говорит, что ссылки — это важнейшая составляющая интернета.

Вроде бы казалось это не фактор ранжирования собственно, и он не находится в верху.

Ну по факту, в потенциальных советах он находится где-то в серединке, но он находится в логичном месте.

Ссылки являются действительно важным фактором ранжирования.

И по поводу ссылок я бы хотел сказать, что у Яндекса есть четкое разграничение видов ссылок, он умеет ранжировать и прямым текстом говорит, как он смотрит на какие ссылки.

По поводу партнерских ссылок он чётко говорит, что ц вас могут быть партнерские ссылки, на Вас могут ссылаться.

Если ставить ссылки на ваш сайт, проследить за тем, чтобы их текст содержал адекватное описание вашего сайта, а не просто URL.

Поэтому безанкоры на главную, ни в коем случае не ставим.

Яндекс прямым текстом говорит, это является нарушением и нельзя использовать «тут», «здесь», «там» — это тоже, Яндекс говорит прямо, что так делать нельзя.

Использовать в качестве анкора название вашей компании, название бренда и тому подобное для главной страницы, для партнерских ссылок — это нормально.

И можно сделать кликабельным непосредственно логотип, ссылкой на ваш сайт, что тоже является нормой, по мнению Яндекса.

Второй момент – ссылки, которые использует интернет-сми.

Если онлайн-сми использует информацию с вашего ресурса, то конечно лучше, чтобы они брали h2 ключевую фразу в вашей статьи.

Самый оптимальный вариант продвижения — это брать действительно h2 вашего ресурса.

Как проверить h2 в любой страничке.

Это легко — вы просто берете любую страничку, например, вот мы возьмём вот эту статью, она очень неплохая статейка, как раз на эту тему, как Google использует партнерские ссылки и под этим ссылочки h2.

И вот мы видим h2 непосредственно статьи при помощи простейшего скрипта.

Скрипт простой — в телеграме расскажу, кто меня слушает на подкасте, само собой сходите в Telegram текстовая версия скрипта будет там.

Поэтому этот скрипт очень простой, позволяет использовать подсветку h2 и вот используйте его в качестве анкора.

Вот, допустим, ваша статья использовать SPONSORED для партнерских ссылок.

Чем короче Н1, тем лучше, то есть в это понятно — для продвижения это полезно, но оптимальный вариант по мнению Яндекс, использовать короткую ключевую фразу.

Справочники отраслевые каталоги.

Само собой, есть ограничения, на которые можно разместить ссылку, найти эти каталоги легко, я рассказывал в своих прошлых видео, как это делается.

Простейший инструментарий, простейшие утилиты, которые позволяют это делать буквально за пару секунд.

В обычном каталоге ссылочка размещается в виде URL — это нормальное явление.

То есть когда они размещают ссылочку урла и он к ним относятся именно так.

То есть, не путайте ссылочку справочника и так называемые отдельные ссылочки, которые оставляют пользователи.

Обратите внимание, Яндекс говорит обязательно закрывать ссылочки, которые оставляют пользователи, атрибутом nofollow — тот самый атрибут, что запрещает индексировать контент страницы.

То есть Яндекс прямым текстом говорит: Вы можете делать незакрытые nofollow ссылочки непосредственно на партнерские, Вы можете делать незакрытые ссылочки из СМИ, но ссылочки, которые оставляют пользователи на немодерируемых участках сайта.

Ну и само собой, платные ссылки Яндекс ценит.

Если Яндекс вдруг заподозрит, что ссылочка у вас не естественная, а куплена — у него для этого есть несколько алгоритмов, которые позволяют выявить купленную ссылку или естественную.

Это обычно проверка тематичности контента, который разместили на площадке, либо проверка самого контента внутри, он может быть тематичным, но абзац какой-то может быть не тематичным, либо иногда просто вставлена нетематичная ссылка на контенте по другой тематике.

Банальный тест на тематичность позволяет это определить, поэтому любите покупать ссылочки, покупайте на своих тематических ресурсах, не ходите в те отрасли, где точно Вам нет смысла покупать доноры, иначе фильтр вас ждет.

Очень быстрый и, кстати, очень тяжёлый — из него вылезти нереально.

И многие спрашивают, как проверить в Яндексе, какие ссылочки на вас ставятся.

На самом деле, это очень просто.

Зайдите просто в веб мастер Яндекса, выберите раздел внешние ссылочки и вуаля, вы будете видеть, какие ссылки за ограниченный период времени на вас поставлены.

Можно посмотреть, какие нерабочие, какие сайты на вас ссылаются и на какие страницы ссылочки появляются.

Для удобства можно сортировать их по созданию, когда появилась первая ссылка, когда последняя.

И вот можно увидеть, какие сайты ссылаются с каким иксом.

ИКС, как мы знаем, что это индекс качества сайта Яндекса, его можно посмотреть для любого сайта, в частности, например его можно посмотреть в разделе качество сайта.

Нажимаем показатели качества и смотрим свой ИКС и видим, как он собственно на фоне других конкурентов смотрится.

Конкурентов надо добавлять ручками.

Вот добавляем всех здесь и смотрим, какие знаки у какого сайта уже есть, на каком они месте.

Как мы видим, можно посмотреть серьезных конкурентов и сравнить с собой непосредственно.

Перейдём к Google.

В Google всё менее прозрачно и более запутано.

Во-первых, для того чтобы посмотреть внешние ссылки, приходится использовать не очень удобный инструментарий.

Он называется раздел ссылки и здесь вот мы видим страницы, на которой чаще всего ссылаются.

Мы можем посмотреть страницы, на которые есть ссылки, но юмор в том, что мы не видим, какие страницы ссылаются, а всего лишь домены.

И это не есть удобно, я считаю, что Google здесь уже отстаёт от Яндекса, уже начал отставать.

Хотя он внедрил новый инструментарий, что довольно неудобно.

Можно сразу себя смотреть, проверять, на какую ссылочки идут, чтобы распределять вес.

Многие подумают, как это так, у тебя на главную ссылок меньше.

Да, это сколаршип — на неё ссылок до чертиков ссылок, на неё ссылки ставятся с каждым днем, продолжают некоторые цитировать это и она нарастает.

Но она передает вес на главную, за счёт этого растет главная страница, на которой чаще всего ссылаются внутренние ссылки — это ваша перелинковка.

В этом разделе можно посмотреть внутреннюю перелинковку страницы, которые ссылаются чаще всего на вас можно посмотреть, какие домены на вас ссылаются.

Да, у нас домен Сеоквик — это фактически русская версия Сеоквик.ком.юа – логично, что ссылки друг на друга перекидываются.

Можно посмотреть, какие сайты на вас ссылаются.

У них есть такая маленькая проблема, что у некоторых сайтов очень много ссылок внутри из-за особенностей cms — это проблемы не наши, это проблемы их сайтов.

Можно посмотреть какие анкоры больше всего ставятся на наш сайт, можно с легкостью увидеть в этом разделе, но раздел запутанный и сложный и проверить, какая ссылка конкретно на вас поставилась довольно неудобно.

Она выглядит, как гамбургер, который разобрали по запчастям, а не всё в цельном виде.

Что Google говорит по поводу внешних ссылок.

У Google очень пространное понимание, какие ссылки должны быть.

С одной стороны, они говорят, что ссылка может быть вполне себе nofollow и прямым текстом приводят в пример Википедию.

То есть атрибут rel ставится только если вам нужно закрыть ссылку, то есть rel nofollow ставится в том случае, если ссылку нужно закрыть, но как они говорят, что если вам нужно чтобы был nofollow для Яндекса, тут они выделяют его отдельно.

Если вам не подходят описанные выше атрибуты.

Вот сейчас вот мы расскажем.

Google ввел новые атрибуты – rel sponsored спонсорская ссылка, та самая, которая вот вроде бы как партнерская, купленная, которую нужно закрыть по идее.

То есть, например, если написать обзор на serpstat и сделаю ссылочку на serpstat, я должен по мнению Гугла её закрывать.

Или допустим, если у меня будет размещаться какой-то печатный цех Возрождение на моём сайте, я должен закрыть rel sponsored.

И все ссылочки, которые генерируют у меня дискасс, ну которая пропускает дискасс комментарии, либо у меня будет на сайте любой там форум прикручен, где пользователи будут оставлять комменты, все ссылочки автоматом должны закрываться атрибутом rel UGC или user-generated Content.

Соответственно, генерированый контент пользователями, нужно закрывать простейшим алгоритмом.

То есть, это защита от спама в комментариях, если вам нужно поощрять комментарии, то атрибут можно в ручном режиме удалять, собственно, о чём они намекают.

Вот в прошлом, они рекомендовали для спонсорских ссылок использовать атрибут nofollow.

Ну собственно, если же вам нужно, чтобы роботы переходили по ссылкам на вашем сайте, связывали ссылки, используйте значения nofollow.

Ну то есть Google прямым текстом намекает – nofollow робот переходит, и об этом они уже заявляли.

Гугл проходится по ссылкам nofollow и их индексирует, что есть фактически противоположным системе с Яндексом.

Яндекс nofollow ссылки просто не проходит, он их не видит, он считает, что она у вас есть, но он не обращает внимание.

Google по nofollow ссылочкам ходит, и фактически для закрытия nofollow у вас только два варианта это UGC и Sponsored, соответственно.

Если вы закрываете nofollow, то в Гугле эта ссылка считается как бы внешней.

Хочу сказать, что Google не сильно банит, если вы будете ссылаться на любой другой внешний ресурс и это факт.

У нас есть страницы, на которых может быть по 20 по 30 исходящих ссылок незакрытых никаким атрибутом.

Страница, например, заработок в интернете, с которой просто огромное количество исходящих ссылок — это можно с легкостью проверить.

Итак, берем заработок-в-интернете, вбиваем заработок в интернете без вложений, смотрим нашу статью — простейшая статья и по этой статье можно посмотреть, какие у нас здесь ссылочки.

Давайте проверим, мы посмотрим, какие у нас здесь ссылочки.

Мы посмотрим непосредственно Links on page, и вы увидите огромное количество исходящих ссылок, которые у нас есть на ресурсе — 140 ссылок, посмотрим где они у нас.

Ну и конечно же, вот они, и они у нас noreferrer, стоит nofollow — закрытые ссылки в подвале, само собой.

Здесь их огромное количество, но при этом, страничка занимает топовые позиции и как вы видите, ей вообще абсолютно всё равно.

Если вы делаете внешние ссылки в Гугле, ему всё равно будете вы ставить nofollow или dofollow, абсолютно всё равно.

Но если будете спонсоред или user-generated Content — эти ссылочки Google видеть не будет.

Посмотрите, эффективность сайта можно увидеть, что страница заработок-в-интернете даёт стабильно за 3 месяца 1600 кликов.

То есть она постоянно растет.

Резюмируем.

В Яндексе закрываем всё, что не нужно nofollow, и для Google нужно дублировать, ставить user-generated Content.

Единственный момент — нужно дублировать текст, вставить, что она user-generated Content, либо она спонсоред.

Это получается нужно будет делать двойной тег для коммерческих ссылок.

Как это сделать, пока все еще не в недоумении, те, кто продвигаются на Россию, само собой оставляют nofollow везде и всюду, не боятся никаких санкций Гугла.

Потому что санкции Яндекса гораздо страшнее.

Те, кто продвигается на Америку, однозначно сразу не смотрят на Yandex, сразу себе ставят только два вида тегов вместо nofollow — user-generated, либо SPONSORED.

Надеюсь, вам было всё очень просто и понятно.

Если непонятно, конечно же жду вас своей группе в телеграмме, не забываем заходить, задавать вопросы, подписываться.

Заходим на Инстаграм, я буду публиковать кейсы, буду публиковать скриншоты, где мы будем рассуждать по поводу причины роста, падения того или иного сайта, а также вы можете присылать свои сайты.

Мы будем также их разбирать.

И не забываем присоединяться на вебинары, где мы будем разбирать сайты.

Выборочно выбирать несколько урлов из приславших себя и конечно же, разбирать всё до мелочей, как говорится по полочкам.

Итак, до новых встреч.»

всегда ли он работает? ~ Блог Алексея Трудова

Получил любопытный комментарий к статье об использовании Twitter для ускорения индексации:

а ссылки в твиттах разве не закрыты от индексации тегом nofollow? Смысл тогда в твиттах остается только в аудитории самого твиттера и внутренних хештегах

Довольно часто сталкиваюсь с похожим мнением насчет nofollow. Дескать, достаточно использовать этот атрибут – и но пасаран, поисковые роботы наталкиваются на забор, ссылка не будет учитываться в ранжировании. Так ли это?

Для начала немного матчасти, потом перейдем к более интересным вопросам.

Что такое rel nofollow и зачем он нужен?

Цитирую справку Google:

Значение nofollow запрещает поисковой системе переходить по ссылкам на данной странице или по конкретной ссылке.

Пример закрытой от робота ссылки:

 <a href="signin.php" rel="nofollow">Войти</a>

Как Google обрабатывает ссылки с запрещенным переходом?
Как правило, переход не производится. Это означает, что по этим ссылкам Google не передает ни PageRank, ни текст ссылки.

Гугл рекомендует использовать nofollow для закрытия ссылок на ненадежный контент (если вы не готовы поручиться за его качество), платных ссылок, а также для управления индексацией (например, чтобы не тратить ресурсы робота на сканирование технических страниц).

Пока все укладывается в концепцию “непреодолимого забора”. Однако в тексте справки не зря сделана оговорка “как правило”. У правила есть исключения.

Google может учитывать ссылки из соцсетей, невзирая на nofollow

Вот видео с ответом Мэтта Каттса на соответствующий вопрос:

С момента публикации видео прошло довольно много времени, однако нам важен сам факт официального признания такой возможности.

Учитывается ли rel nofollow Яндексом?

Здесь уже интереснее.

С одной стороны Яндекс сообщает, что:

Атрибут работает аналогично мета-тегу со значением nofollow, но распространяется только на ссылку, для которой указан.

С другой – из справки по Яндекс.Вебмастеру упоминание о nofollow с некоторых пор исчезло. Сравните:

Скриншот из Вебархива

и

Современный вариант справки

А теперь пора отвлечься от заявлений поисковых систем и перейти к практике.

Что говорят наблюдения?

Влияние на переход робота и индексацию

Примерно полгода назад я опубликовал статью Как проходит индексация нового сайта: наблюдаем за поведением роботов. Это изложение моего опыта по тщательному отслеживанию и протоколированию влияния внешних факторов на активность поисковых роботов.

Нам здесь важно, что в ходе этого исследования удалось достоверно установить связь между публикацией ссылки в Twitter и заходом на страницу-акцептор робота Яндекса. Для Google наблюдались похожие эффекты, но Googlebot стимулировался Твиттером значительно хуже, поэтому однозначный вывод сделать нельзя.

Учет анкоров в выдаче Яндекса

Используя оператор inlink для поиска по анкор-листу, легко убедиться в том, что анкоры ссылок с nofollow учитываются Яндексом. Например, на этом блоге все внешние ссылки имеют атрибут nofollow. Строго по рекомендации Google – я же не могу поручиться за контент внешних сайтов. Закрыл все скопом, чтобы ссылаться куда хочу, не заморачиваясь качеством акцептора в глазах поисковика.

Делать вручную исключение даже для своего проекта лень. Зато у нас есть удобный объект для теста.

Например, из статьи с исследованием влияния title я сослался на свой сервис анализа сайта https://bez-bubna.com/ так:

[Из этого, однако, не следует, что теперь надо срочно впихивать в тайтлы максимум ключей. Хотя я, как основатель сервиса, который помогает находить варианты для для увеличения охвата запросов — был бы не особо против. Но честность обязывает напомнить: каждому проекту сложнее визитки на 5 страниц нужен собственный подход, требующий приложения непустой оптимизаторской головы. В том числе и в плане проработки title.]

Попробуем найти страницу по анкору. Для этого используем конструкцию, предложенную Сергеем Людкевичем:

url:https://bez-bubna.com/info/kak-stroyatsya-otchetyi/4-detalnyie-rekomendatsii-po-dorabotke-vazhnyih-stranits/ << inlink:(“находить варианты для для увеличения охвата запросов”)

Что видим?

Страница нашлась, ссылки в nofollow передают анкорный вес для Яндекса. В Яндекс.Вебмастере эта ссылка (как и все остальные с моего блога) тоже отображается.

Кстати, я наблюдал и реальные переходы из поиска по ключам, соответствующим анкорам ссылок в nofollow (в тексте страницы запрос отсутствовал).

Итоги

• В использовании nofollow есть ряд нюансов, поисковые роботы далеко не всегда воспринимают его как запрет.
• В случае крупных сайтов, таких как Твиттер, ссылка, даже отдающаяся через редирект и закрытая с помощью nofollow может учитываться поисковыми системами. Этому есть в том числе официальные подтверждения.
• Яндекс учитывает анкоры ссылок с рассматриваемым атрибутом. Применяются ли при этом какие-либо “штрафы” к передаваемому весу, пока сказать сложно, тут требуются дополнительные исследования.

Зачем скрывать внутренние технические ссылки атрибутом rel=nofollow?

У каждого сайта есть свой краулинговый бюджет — лимит на обход страниц на сайте поисковым роботом за определенный промежуток времени.

Чтобы робот не тратил свои ресурсы на обход ненужных технических и мусорных страниц, можно их закрыть тремя способами:

1. Закрыть url таких страниц в robots.txt

Страницы, закрытые таким путем, выпадают из обхода.

Минусы метода:

• Google может игнорировать директивы из этого файла и индексировать содержимое;
• Яндекс и Гугл используют страницы в обходе, если на них стоят внутренние или внешние ссылки.

2. Закрыть внутренние ссылки атрибутом rel=»nofollow»

Атрибут nofollow позволяет поисковым системам указать, что переходить по ссылке не нужно.

Сами поисковые системы Яндекс и Google рекомендуют такой способ.

Минусы метода:

• Закрыть абсолютно все ссылки, ведущие на страницу невозможно, т.к. она может быть уже проиндексирована, либо на неё уже ссылаются внешние dofollow-ссылки.

3. Закрыть страницы мета-тегом «noindex»

Страницы, содержащие такой тег, перестанут индексироваться.

Минусы метода:

• Не всегда и не всё можно закрыть данным мета-тегом;
• Ссылки не закрытые в robots.txt, либо атрибутом rel=nofollow.

Комбинация robots.txt + rel=»nofollow» + meta «noindex»

Такой подход позволяет убрать из обхода страницы ненужные сайта.

Пример

К примеру, страница интернет-магазина с параметрами сортировки.

1. Если её не закрыть в robots.txt, страницы проиндексируются и создаются дубликаты с похожим содержимым (конкуренция с разделом, к которому относиться сортировка).
2. Если не закрыть внутренние ссылки на такую сортировку с помощью атрибута rel=nofollow, то робот будет использовать их в обходе, невзирая даже на запреты в robots.txt.
3. Если страница закрыта перечисленными двумя способами, но кто-то поставил внешнюю индексируемую ссылку с другого сайта, то страница может индексироваться поисковым ботом Google.

Что происходит после закрытия внутренних ссылок в rel=nofollow?

Если в отчете вебмастера Яндекс («Индексирование» => «Страницы в поиске» => «Исключенные») присутствует ошибка: «Запрет в robots.txt (страница)», то после внедрения данной рекомендации их количество должно значительно уменьшиться.

Скриншот на примере одного нашего клиента, которому выполнялась данная работа:

Было заблокированных в robots.txt: 1 958 599 стр. После внедрения атрибута nofollow стало: 1 083 страницы.

Такая методика позволяет значительно увеличить скорость обхода и индексирования на любом сайте, особенно это чувствуется на сайтах с большим количеством страниц.

Мы занимаемся разработкой и доработкой действующий сайтов любой сложности.

Вы можете оставить заявку для получения дополнительной информации по вашему сайту.

Ссылки с атрибутом rel=»nofollow» и их влияние на выдачу Google и Яндекс

Опубликовано: 23.10.2013г.

Методы защиты поисковых систем от ссылочного спама при учете ранжирования сайтов постоянно совершенствуются, какие то факторы становятся более весомыми, какие то наоборот теряют свою актуальность.

Но один из самых старых и наиболее важный фактор качества ссылки остается неизменным — это атрибут rel, а точнее его значение nofollow, который дает указанием поисковым системам Яндекс и Google не учитывать такие ссылки в алгоритмах ранжирования.

Немного об атрибуте rel

Несмотря на то, что атрибут rel имеет множество значений, он до сих пор не является валидным для многих браузеров. Однако, готовящаяся новая спецификация HTML 5, де-факто стандарт ближайшего будущего для веб-разработчиков предусматривает большую вариацию значений данного атрибута.

Остановимся на наиболее распространенных значениях трибута rel:

• archives — ссылка на архив сайта
• author — ссылка на страницу об авторе на том же домене
• bookmark — постоянная ссылка на раздел или запись
• first — ссылка на первую страницу
• help — ссылка на документ со справкой
• index — ссылка на содержание
• last — ссылка на последнюю страницу
• license — ссылка на страницу с лицензионным соглашением или авторскими правами
• me — ссылка на страницу автора на другом домене
• next — ссылка на следующую страницу или раздел
• nofollow — не передавать по ссылке ТИЦ и PR
• noreferrer — не передавать по ссылке HTTP-заголовки
• prefetch — указывает, что надо заранее кэшировать указанный ресурс
• prev — ссылка на предыдущую страницу или раздел
• search — cсылка на поиск.
• up — cсылка на родительскую страницу.

Полную информацию о значениях атрибута rel в оригинале можно прочитать здесь.

Влияние rel=»nofollow» на формулу ранжирования в Яндексе

Справочная служба Яндекс Вебмастера однозначно определяет, что ссылка имеющая данный атрибут с таким значением не будет учитываться как ссылка на сайт.

В сервисе отображаются все найденные роботом ссылки на ваш сайт. Причины, по которым некоторые ссылки могут не показываться:
…
— ссылка содержит атрибут rel=»nofollow»;
…

При расчете ТИЦ и позиций сайта, Яндекс учитывает только те ссылки, которые присутствуют в панели Яндекс Вебмастера, т.е ссылки «закрытые» в nofollow будут обнаружены поисковым роботом, но не будут учтены в алгоритмах ранжирования Яндексом.

Влияние rel=»nofollow» на формулу ранжирования в Google

Google солидарен с Яндексом в вопросах оценки атрибута rel= «nofollow»:

Как правило, переход не производится. Это означает, что по этим ссылкам Google не передает ни PageRank, ни текст ссылки. Фактически благодаря атрибуту nofollow целевые ссылки выпадают из нашей общей диаграммы Сети.

Исходя из вышесказанного, поисковый робот Google вообще игнорирует такие ссылки, т.е. ссылка «закрытая» в nofollow воспринимается Google как простой текст.

rel=»nofollow» как пессимизирующий фактор в Яндекс

Поскольку Яндекс не часто балует SEO специалистов ответами на вопросы, касающихся факторов ранжирования, то на данный момент нет информации о вреде большого количества внешних ссылок для сайта с атрибутом rel=»nofollow».

Впрочем, тот факт, что робот Яндекса такие ссылки обнаруживает, говорит о том, что в перспективе возможно использование данной метрики для оценки того, использовал ли данный сайт такие запрещенные методы раскрутки, как:

• прогон по каталогам — на сегодня практически все бесплатные каталоги сайтов, где есть возможность оставить ссылку на сайт, закрывают исходящие ссылки в nofollow,
• спам на форумах и в комментариях блогов — наиболее популярная CMS для блогов WordPress и другие имеют функцию автоматического добавления атрибута rel=»nofollow» для всех публикуемых ссылок,
• спам через профили соцсетей и информационных порталов — на крупных сайтах, получить ссылку на свой сайт можно только путем платной рекламы и не стоит питать иллюзий на этот счет. Да, по данным ссылкам будут переходы пользователей, но поисковики такие ссылки, закрытые в nofollow, точно не оценят положительно.

rel=»nofollow» как пессимизирующий фактор в Google

Что касается Google, то в недавней публикации для вебмастеров, видео которой приведено чуть ниже, говориться как раз о том, что наличие некоторого количества внешних ссылок «закрытых» в nofollow не может повредить сайту, но чрезмерное их количество является подтверждением использования владельцами запрещенных методов и вкупе с другими обнаруженными нарушениями может привести к пессимизации сайта, вплоть до полного исключения из поиска.

Смотрим видео,

Резюме

1. Атрибут rel=»nofollow» полезный инструмент, который позволяет закрыть лишние ссылки на собственном сайте и не позволяющий спамерам влиять на результаты поиска.
2. Чрезмерное увлечение запрещенными методами раскрутки может привести к исключению сайта из поиска в Google, при наличии других существенных нарушений правил поисковой системы со стороны владельца сайта.

Nofollow и его применение при продвижении сайтов. Как Google и Яндекс учитывает rel=»nofollow».

Что такое nofollow?

Атрибут nofollow позволяет указывать поисковым роботам на ссылки, по которым не стоит переходить при индексации сайта и не учитывать при расчете релевантности.

Первоначально атрибут nofollow существовал только в метатеге, и использовался для того, чтобы запретить индексацию абсолютно всех внешних ссылок на странице. Пример подобного использования:

В дальнейшем все чаще и чаще стала возникать необходимость запретить индексировать отдельные ссылки на странице. Для того чтобы позволить вебмастерам более детально управлять индексацией ссылок на сайте, было принято решение о создании значения nofollow для ссылочного атрибута rel. Пример использования атрибута rel=»nofollow» для конкретной ссылки:

Nofollow и поисковые системы

Представители Google стоят у истоков появления данного атрибута, поэтому именно эта поисковая система стала первой учитывать rel=»nofollow» при расчете показателя Page Rank. Это значительно снизило влияние спамных ссылок на результаты ранжирования, что улучшило качество сайтов в выдачи.

Поисковая система Яндекс начала учитывать атрибут nofollow только в марте 2010 года. До этого момента абсолютно все ссылки учитывались алгоритмами и передавали вес при расчете релевантности. В отличие от ссылок в теге noindex поисковая система Яндекс индексирует текст ссылок, имеющий атрибут nofollow, но не переходит по ней и в настоящий момент не учитывает их ни в основном ранжировании, ни при расчете тематического индекса цитирования (тИЦ).

Когда использовать атрибут nofollow?

В каких же случаях возникает необходимость использовать в ссылках атрибут rel=»nofollow»? Мы рекомендуем применять nofollow в следующих ситуациях:

Закрытие от индексации. Очень часто на сайте существуют страницы, которые не несут никакой пользы для поисковых машин, например, страницы авторизации на сайте. Чтобы роботы поисковиков лишний раз не пытались проиндексировать подобные страницы, ссылки на них можно поставить с использование атрибута rel=»nofollow». Надо понимать, что порой использование nofollow недостаточно для того, чтобы страница не попала в поиск, т.к. страница все равно может появиться в поиске, если, например, на нее ссылаются с другого сайта или она есть в файле sitemap.xml. Лучше дублировать закрытие ненужных страниц при помощи директив файла robots.txt.

Сомнительное содержание. Если вы не уверены в качестве сайтов, на которые стоят ссылки с вашего ресурса, то лучше закрывать их при помощи атрибута nofollow. Часто с такой проблемой сталкиваются хозяева форумов, блогов и других площадок, где часть контента создается посетителями (комментарии, новые темы и т.п.). Из-за невозможности вручную проверить все ресурсы, на которые они ссылаются, очень часто подобные площадки становятся плацдармом для размещения спама, целью которого является передача авторитетности ресурсам с сомнительным (а зачастую запрещенным) содержанием.

Платные ссылки. Если вы размещаете на своем сайте рекламу других компаний, то рекомендуется закрывать платные ссылки от индексации при помощи атрибута nofollow. Иногда наличие платных ссылок на вашем сайте может привезти к санкциям со стороны поисковых систем и привезти к значительному снижению позиций. Вы можете ознакомиться с отношение Google к платным ссылкам и отношением Яндекса к платным ссылкам.

Перелинковка. Если на вашем сайте реализованная внутренняя перелинковка, то иногда возникает необходимо закрыть часть внутренних ссылок в nofollow во избежание потери статического веса в каком-либо звене.

Атрибут nofollow – хороший инструмент, который при грамотном использовании поможет при оптимизации и продвижении сайта. Используйте его, когда надо избежать потери веса и запретить переходы поисковых роботов по ссылкам.

Что такое атрибут nofollow? Rel=nofollow и Яндекс

  Ноуфоллоу!

В данной заметке напишу о таком «популярном» атрибуте ссылок (тегов «a href=…»), как rel=nofollow. Кратко я упомянул о нём в статье «Как закрыть ссылку от индексации«.

Вообще, на самом деле атрибутом является rel, а nofollow — это лишь одно из его значений. Также как, например, rel=canonical, author и другие. Но так уж повелось, что просто говорят «атрибут nofollow» и всё.

С английского «no follow» буквально переводится как «не следовать». Фактически, это указание поисковым роботам (появилось в 2005 году) не следовать (т.е. не переходить) по адресу, указанному после href= в HTML-теге ссылки. Например, «a href=’http://yandex.ru’ rel=’nofollow’» сайт Яндекса»/a» — указание роботу не заходить на сайт Яндекса.

Смысл атрибута rel=nofollow

Смысл здесь простой: показать поисковикам, что сайт, на который вы ставите ссылку, не пользуется вашим доверием. Звучит несколько абстрактно, но суть в том, что если ресурс, на который вы ссылаетесь, не так хорош, как ваш, то вашему ресурсу от этого плохо.

«Плохо» — это означает то, что продвигать свой сайт в поисковиках вам будет не очень просто и весело.

К примеру, на многих CMS ссылки в комментариях закрыты от индексации с помощью rel=nofollow (по умолчанию) — ведь сайтовладелец не может предугадать, ссылку на сайт какого «качества» оставит комментатор.

Кроме того, это один из способов защиты от спама. Ведь ссылка с проставленным атрибутом nofollow не передает ссылочный вес и не влияет на ссылочное ранжирование. Поэтому-то на всех биржах по продаже ссылок (как вечных, так и с месячной оплатой) покупаются ссылки без этого атрибута. И поэтому же можно приписывать ноуфолоу к внутренним ссылкам на сайте — для манипуляций с ссылочным весом.

Например, всем известная Wikipedia в своё время позволяла оставлять авторам прямые ссылки (не закрытые от индексации) на любой сайт. Т.к. у Википедии очень трастовый сайт, то её начали спамить — для наращивания ссылочной массы — и качество статей на ней ухудшилось. Вот и пришлось закрыть ссылки, добавив к ним атрибуты rel nofollow.

Точно ли поисковые роботы не переходят по ссылкам с nofollow?

В сети можно встретить разговоры о том, что на самом деле роботы поисковиков «бегают» по таким ссылкам. На самом деле  если и бегают, то плохого от этого ничего нет — ведь для них есть указание не воспринимать подобные ссылки. Так что можно не беспокоиться и не придумывать редиректы и т.п для всех внешних ссылок с сайта. Лучше посмотреть видео из первоисточника.

Как Google относится к сайтам, где все внешние ссылки закрыты атрибутом nofollow:

В общем, нормально относится и вес по ссылкам не передаётся, влияния на ранжирование они не оказывают.

Nofollow в Яндекс

Yandex стал учитывать этот атрибут относительно недавно и раньше вебмастерам, при закрытии ссылок, приходилось принимать во внимание как «предпочтения» Гугла, так и Яндекса. Но теперь можно закрывать ссылки универсальным способом — через rel=nofollow.

Вообще, все актуальные на данный момент поисковые системы — Google, Яндекс, Bing.com ну и Mail.ru — правильно воспринимают атрибут nofollow и можно не «подстраиваться» под каждую из них в отдельности.

Стоит отметить, что в последнее время идёт некая стандартизация поисковых механизмов. Конечно, в «глубине души» поисковики очень разные, и выдачи по каким-нибудь ключевым запросам могут совсем уж сильно различаться. Но это как у автомобилей — и BMW и Toyota ездят на бензине, например, стандартной марки АИ-95, а не каждый на своём собственном.

Loading…

SEO — Akinix

Дэнни Салливан и Гэри из Google: Почти 15 лет назад атрибут nofollow был введен как средство борьбы со спамом в комментариях. Он также быстро стал одним из рекомендованных Google методов для отметки рекламных или рекламных ссылок. Интернет эволюционировал с тех пор, как nofollow был представлен в 2005 году, и настало время для развития nofollow. Сегодня мы объявляем о двух новых атрибутах ссылок, которые предоставляют веб-мастерам дополнительные способы определять в Google Поиске характер конкретных ссылок.Они, наряду с nofollow, кратко описаны ниже: rel = «спонсируемый» Используйте атрибут sponsored для идентификации ссылок на вашем сайте, которые были созданы в рамках рекламных, спонсорских или других соглашений о компенсации. rel = «ugc» UGC означает «Пользовательский контент», а значение атрибута ugc рекомендуется для ссылок в пользовательском контенте, например, в комментариях и сообщениях на форуме. rel = «nofollow» Используйте этот атрибут для случаев, когда вы хотите указать ссылку на страницу, но не хотите подразумевать какое-либо одобрение, включая передачу рейтинга другой странице.Когда был введен nofollow, Google не считал любую ссылку, помеченную таким образом, как сигнал для использования в наших алгоритмах поиска. Теперь это изменилось. Все атрибуты ссылок — спонсируемые, пользовательский контент и nofollow — рассматриваются как подсказки о том, какие ссылки следует учитывать или исключать из поиска. Мы будем использовать эти подсказки — наряду с другими сигналами — как способ лучше понять, как правильно анализировать и использовать ссылки в наших системах. Почему бы полностью не игнорировать такие ссылки, как это было с nofollow? Ссылки содержат ценную информацию, которая может помочь нам улучшить поиск, например, как слова в ссылках описывают контент, на который они указывают.Просмотр всех ссылок, с которыми мы сталкиваемся, также может помочь нам лучше понять неестественные шаблоны ссылок. Переходя к модели подсказок, мы больше не теряем эту важную информацию, но при этом позволяем владельцам сайтов указывать, что некоторым ссылкам не следует придавать значение одобрения первой стороны. Мы знаем, что эти новые атрибуты будут вызывать вопросы, поэтому вот ответы на часто задаваемые вопросы, которые, как мы надеемся, охватывают большинство из них. Мне нужно изменить мои существующие nofollow? Нет. Если вы используете nofollow сейчас, чтобы заблокировать спонсорские ссылки или чтобы показать, что вы не ручаетесь за страницу, на которую ссылаетесь, эта поддержка будет по-прежнему поддерживаться.Нет никакой необходимости изменять какие-либо ссылки nofollow, которые у вас уже есть. Могу ли я использовать в ссылке более одного значения rel? Да, вы можете использовать более одного значения rel для ссылки. Например, rel = «ugc sponsored» — вполне допустимый атрибут, который указывает на то, что ссылка пришла из пользовательского контента и спонсируется. Также допустимо использовать nofollow с новыми атрибутами, такими как rel = «nofollow ugc», если вы хотите обеспечить обратную совместимость со службами, которые не поддерживают новые атрибуты. Если я использую nofollow для рекламы или рекламных ссылок, нужно ли мне их менять? Нет.Вы можете продолжать использовать nofollow как метод пометки таких ссылок, чтобы избежать возможных штрафов за схему ссылок. Вам не нужно изменять существующую разметку. Если у вас есть системы, которые добавляют это к новым ссылкам, они могут продолжать делать это. Однако мы рекомендуем перейти на rel = ”sponsored”, если это удобно. Мне по-прежнему нужно отмечать рекламные или рекламные ссылки? да. Если вы хотите избежать возможного действия схемы ссылок, используйте rel = «sponsored» или rel = «nofollow», чтобы пометить эти ссылки. Мы предпочитаем использовать «спонсируемый», но любой из них подходит и будет рассматриваться для этой цели одинаково.Что произойдет, если я использую неправильный атрибут в ссылке? Нет неправильных атрибутов, кроме рекламных ссылок. Если вы отметите ссылку UGC или ссылку без рекламы как «спонсируемую», мы увидим эту подсказку, но влияние — если оно вообще есть — будет заключаться в том, что мы не можем засчитывать ссылку как кредит для другого страница. В этом отношении он ничем не отличается от статус-кво многих UGC и нерекламных ссылок, уже отмеченных как nofollow. Это проблема обратного пути. Любая ссылка, которая явно является рекламной или спонсируемой, должна использовать слова «спонсируемая» или «nofollow», как описано выше.Предпочтительно использование «спонсируемого», но допустимо «nofollow». Почему я должен использовать какие-либо из этих новых атрибутов? Использование новых атрибутов позволяет нам лучше обрабатывать ссылки для анализа Интернета. Это может включать ваш собственный контент, если люди, которые ссылаются на вас, используют эти атрибуты. Разве переход на «подсказку» не поощряет спам в ссылках в комментариях и пользовательском контенте? Многие сайты, которые позволяют третьим сторонам вносить свой вклад в контент, уже сдерживают ссылочный спам различными способами, включая инструменты модерации, которые могут быть интегрированы во многие платформы для ведения блогов и проверку людьми.Атрибуты ссылки «ugc» и «nofollow» продолжат служить дополнительным сдерживающим фактором. В большинстве случаев переход к модели подсказок не меняет характера того, как мы обрабатываем такие ссылки. Обычно мы будем относиться к ним так же, как и к nofollow раньше, и не будем учитывать их при ранжировании. Мы по-прежнему продолжим тщательно оценивать, как использовать ссылки в Поиске, как мы всегда делали это и как нам приходилось делать в ситуациях, когда не было указано авторство. Когда эти атрибуты и изменения вступают в силу? Все атрибуты ссылок, спонсируемые, ugc и nofollow, теперь работают сегодня как подсказки, которые мы можем использовать для целей ранжирования.Для целей сканирования и индексирования с 1 марта 2020 года nofollow станет подсказкой. Те, кто использует nofollow исключительно для блокировки индексации страницы (что никогда не рекомендовалось), должны использовать один из гораздо более надежных механизмов, перечисленных в нашем разделе «Узнайте, как» чтобы заблокировать URL-адреса со страницы справки Google.

изменений роботов Google, Интернет и закон • joost.blog

Несколько дней назад Google объявил, что они изменят способ работы rel = "nofollow" для них .Они начнут рассматривать nofollow как «подсказку» вместо «директивы». Это означает, что они говорят: «О, ты не хочешь, чтобы мы заходили в эту комнату? хорошо »на« о, ты не хочешь, чтобы мы вошли в эту комнату? Об этом мы и посмотрим ». По сути, они очень быстро превратились из дружелюбного соседа в надоедливого родителя.

Теперь rel = "nofollow" — это то, что вы прикрепляете к ссылкам на своем сайте. Так что я мог nofollow по одной ссылке и не nofollow по другой. Также существует директива мета-роботов , которая используется следующим образом:

Это исторически предписывало бы Google не показывать эту страницу в своем индексе и не переходить по ее ссылкам.Прошлой ночью Гэри Илес написал в Твиттере:

.

1. Нет мета-роботов ugc и спонсируемых, они ничего не сделают, если вы это добавите.
2. Мета-роботы nofollow теперь являются подсказкой, как и rel-nofollow.
3. Я обновлю документы сегодня вечером, чтобы прямо сказать об этом.

— Гэри 鯨 理 ／ 경리 Illyes (@methode) 12 сентября 2019 г.

Гэри пишет в Твиттере о rel nofollow и meta nofollow. В этом контексте важен №2: «мета-роботы nofollow — это намек сейчас»

Когда Гэри говорит, что «мета-роботы nofollow сейчас являются намеком», я немного нервничаю.Потому что, если nofollow в элементе meta robots — это подсказка , что такое noindex ? Хотят ли они теперь рассматривать это как намек? или как директива? Оказывается, noindex остается директивой:

Если вы используете say noindex в метатеге, мы не будем индексировать страницу. Мы продолжаем уважать эту команду.

Если вы укажете nofollow в метатеге, это заставит нас видеть ссылки на странице как ссылки nofollow — и мы будем рассматривать это применение к * ссылкам * как подсказку.

— Дэнни Салливан (@dannysullivan) 11 сентября 2019 г.

Но, даже если теперь Google скажет, что « noindex останется директивой», не приведет ли это к многолетним обсуждениям? По моему опыту, даже многие опытные SEO-специалисты не всегда понимают разницу между директивами и подсказками и думают, что что-то исключили, хотя они этого не сделали. Это изменение только ухудшит ситуацию.

Google в одностороннем порядке вносит изменения

Больше всего меня беспокоит то, что Google вносит эти изменения в одностороннем порядке.Bing, Yandex, Baidu: все поддерживают rel = "nofollow" и другие поисковые системы, вероятно, тоже. То же самое и с мета-роботами nofollow . Я не думаю, что это хорошая идея, когда Google сам решает, что он меняет «законы» Интернета.

Google был первым, кто представил rel = "nofollow" , что дает им примерно прав на изменение этого «стандарта». Тем не менее, мета-роботов nofollow существует с 1996 года. На самом деле, эта часть страницы мета-роботов заставила меня усмехнуться:

роботы могут игнорировать ваш тег .В частности, вредоносные роботы, которые сканируют Интернет на предмет уязвимостей безопасности, и сборщики адресов электронной почты, используемые спамерами, не будут обращать на это внимания.

Взято со страниц Роботов

Похоже, теперь я должен рассматривать вредоносное ПО для роботов Googlebot

Последствия для реального мира

Давайте посмотрим на последствия для реального мира: ссылка в комментарии на сайте WordPress раньше автоматически добавляла rel = "nofollow" . Теперь нам нужно изменить rel = "nofollow" на rel = "nofollow ugc" .Мы не можем исключить nofollow , потому что другие поисковые системы не поддерживают часть ugc , но Google, с его доминированием на рынке, будет убеждать нас изменить это ugc .

Теперь первый ответ Google на это будет: «Вам не нужно ничего менять, если вы не хотите, мы даже сказали об этом в нашем посте». И они сделали:

Нет никакой необходимости изменять какие-либо ссылки nofollow, которые у вас уже есть.

Дэнни Салливан из Google в своем сообщении в блоге об изменениях в nofollow

Я прочитал это и усмехнулся.Очевидно, Google нужно прочитать об убийстве Томаса Беккета. Из-за доминирования Google на рынке люди будут делать все, чтобы получить их пользу. Они могут вносить такие изменения, и веб- последует за ним. Настоящий вопрос здесь: разве у нас не должно быть законодательства, которое запрещает им вносить эти изменения в одностороннем порядке?

На самом деле, я бы сказал, что пора сделать еще один шаг: в Интернете должны быть настоящие стандарты для этого. Стандарты, которые желательно преобразовать в закон в Европейском Союзе, США и Китае.Но, возможно, я слишком много мечтаю. По крайней мере, они должны быть стандартами. Стандарты, которых будут придерживаться все сканеры, не связанные с вредоносным ПО, включая , включая Google .

WP Избранное

Этот плагин преобразует все неактивные URL-адреса в активные URL-адреса в виде ссылок. Это означает, что только все неактивные URL-адреса будут преобразованы в активные URL-адреса. Вы также можете настроить нежелательные домены, которые не будут преобразовываться в ссылки и отображаться как обычный текст.

Пример 1

Это основное правило, когда вы не меняете никаких настроек, все неактивные URL-адреса будут преобразованы в ссылки с целевым атрибутом по умолчанию _blank: target = ”_ blank”.

Когда обнаруживается, что URL-адрес не начинается с http: // или https: //, плагин автоматически добавит http: // к URL-адресу в атрибуте href.

  google.com - лучшая поисковая система,
за которым следуют yahoo.com и
bing.com и
http://yandex.com.
  

будет:

   google.com  - лучшая поисковая система,
за которым следует  yahoo.com  и
 bing.com  и
 http://yandex.com .
  

Пример 2

Вы можете установить настройки по умолчанию для атрибута rel и target для URL-адреса, который будет преобразован. Кроме того, вы также можете указать свой URL-адрес с конкретным доменом, который не нужно преобразовывать в ссылку.

Допустим, вы внесли следующие корректировки:

• Атрибут Rel — nofollow
• Целевой атрибут — _self

• Заблокированные домены: yahoo.com и yandex.com

  google.com — лучшая поисковая система, за ней идут
  yahoo.com,
  bing.com и
  http://yandex.com.

будет:

   google.com  - лучшая поисковая система,
за которым следуют yahoo.com и
 bing.com  и
http://yandex.com.
  

Директивы для роботов на уровне URL — DeepCrawl

В предыдущем руководстве мы рассказали вам, что такое robots.txt и как его использовать. Теперь мы рассмотрим несколько различных способов применения директив для роботов на уровне страницы, чтобы инструктировать роботов поисковых систем с правилами о том, как они должны обрабатывать страницы на вашем сайте.

Что такое директивы роботов на уровне URL?

Директивы для роботов — это разделы кода, которые дают поисковым роботам инструкции о том, как следует сканировать или индексировать содержимое страницы. Мета-теги роботов позволяют детально контролировать, как определенные страницы индексируются и отображаются на страницах результатов поисковой системы.

Где они существуют?

Директивы роботов могут существовать либо в заголовке ответа HTTP , либо в заголовке HTML . Если они включены в страницу, они должны быть расположены в разделе , чтобы их могли прочитать и понять поисковые системы.

X-Robots-Tags помещаются в заголовок HTTP-ответа и полезны для управления индексированием не-HTML-контента, такого как файлы PDF, видео или текстовые документы, где невозможно добавить директивы роботов в HTML. голова.

Вот несколько соображений относительно X-Robots-Tags :

• Стоит отметить, что внедрение X-Robots-Tags не остановит расходование бюджета сканирования, поскольку для доступа к странице для поиска директивы по-прежнему требуются боты поисковых систем, в отличие от файла robots.txt.
• Обслуживание нескольких X-Robots-Tags в заголовке ответа HTTP сформирует более сложные инструкции для ботов, например noarchive X-Robots-Tag можно комбинировать с unavailable_after X-Robots-Tag.
• При возникновении конфликта между директивами боты поисковых систем будут придерживаться консервативного подхода и применять самые строгие директивы, например, noindex и метаиндекс x-robots означают, что страница не будет индексироваться.

Как они подаются?

Поисковым системам необходимо просканировать страницу, чтобы увидеть эти директивы. Они могут быть отслежены и поняты только в том случае, если сканеры имеют доступ к странице, поэтому добавление тега noindex и запрет страницы в файле robots.txt будет означать, что поисковые системы не увидят метатег noindex.

Вы также можете создавать комбинированные директивы для роботов, разделяя их запятыми. Например, вы можете использовать следующую комбинацию, чтобы указать сканерам не индексировать страницу, а переходить по всем ссылкам на странице:

• В метатеге HTML:
• В заголовке HTTP: X-Robots-Tag: noindex , следовать

Как вы устанавливаете инструкции для определенных пользовательских агентов?

Вы можете обратиться к определенным пользовательским агентам и указать им, как индексировать определенную страницу, включив другой атрибут name = «» .Например, вы можете указать Bing не индексировать страницу с помощью метатега:

.

Если вы хотите обратиться к разным пользовательским агентам и предоставить им разные инструкции, вы можете использовать несколько директив robots в отдельных метатегах.

Noindex

В этом разделе руководства мы объясним, что такое тег noindex и как его следует использовать для SEO.

Что делает noindex?

Noindex указывает поисковым системам сканировать страницу, но не включать ее в свои индексы.Это эффективно предотвращает появление страницы на страницах результатов поисковой системы (SERP). Это полезно для предотвращения индексации нерелевантных, ненужных страниц, что может привести к раздуванию индекса.

Google по-прежнему будет сканировать страницы noindex, но реже, чем индексируемые страницы, поэтому это может помочь улучшить использование вашего краулингового бюджета.

Noindex дает прямые инструкции о том, как обрабатывать страницу, в отличие от «Индекса», который ничего не делает, поскольку это состояние по умолчанию для поисковых систем.

Как выглядит noindex?

Вот как метатег noindex отображается в заголовке HTML:

(…)

Вот как noindex X-Robots-Tag отображается в заголовке HTTP:

HTTP / 1.1 200 OK
Дата: Пт, 21 июля 2017 г. 21:00:00 GMT
(…)
X-Robots-Tag: noindex

Почему вы можете использовать noindex?

Существует ряд различных причин, по которым вы можете захотеть использовать тег noindex для определенных страниц вашего сайта, в том числе:

• Предотвращение индексации низкокачественных или тонких страниц , которые не предоставляют пользователям полезного содержания.
• Предотвращение включения контента, который еще не готов, в поисковую выдачу.
• Прекращение индексации ненужных страниц внутреннего поискового запроса .
• Убедиться, что страниц с разбивкой на страницы не показываются пользователям. Если у вас возникли проблемы с разбивкой на страницы, которые получают органический трафик и создают неудобства для пользователей, возможно, стоит использовать «noindex, follow» на страницах 2 и далее, чтобы гарантировать, что авторитетность страницы проходит через серию страниц, но сами страницы этого не делают. т шоу.
• За исключением маркетинговых страниц, не предназначенных для обычного поиска. из результатов выдачи, таких как специальные целевые страницы электронной почты или кампании PPC.

Когда не следует использовать noindex?

Noindex может быть полезным решением, помогающим уменьшить раздувание индекса, но это не ответ на все вопросы. Вот несколько примеров, когда не следует использовать для noindex:

• Для страниц многогранной навигации — Поисковые системы по-прежнему будут израсходовать бюджет сканирования, посещая эти страницы.Неиндексировать все страницы в большом разделе сайта — плохая практика, поскольку эти страницы все равно нужно сканировать.
• Для канонизированных страниц — Ссылка не может быть отнесена к основной версии, если вы не индексируете канонизированную страницу. Это означает, что существующие сигналы и авторитет, созданные на странице, будут потеряны и не будут переданы. Если канонический тег игнорируется Google, они могут в конечном итоге выбрать версию noindex страницы в качестве канонической, а затем подчиниться директиве noindex.
• Для изображений — изображения, которые появляются на неиндексированной странице, могут быть проиндексированы, поскольку тег изображения рассматривается скорее как ссылка, чем директива. Вместо этого Noindex можно реализовать в HTTP-заголовке файла изображения, или вы можете использовать « noimageindex », о котором мы поговорим позже в этом руководстве.

Nofollow

Теперь давайте посмотрим на тег nofollow, для чего он используется и как правильно его использовать.

Как работает nofollow?

Nofollow предписывает поисковому роботу не переходить по каким-либо ссылкам на странице или по определенной ссылке (в зависимости от реализации), что означает, что на целевой URL-адрес не будет передаваться равенство ссылок.Чтобы ограничить сканирование и повысить эффективность роботов, вы можете использовать nofollow, чтобы запретить сканирование URL-адресов, на которые вы не хотите передавать капитал.

Использование «follow» ничего не даст, так как это атрибут по умолчанию для поисковых систем, поэтому он не является обязательным. Nofollow — это команда, которая идет вразрез со значением по умолчанию и дает инструкцию.

Важно отметить, что цели ссылок nofollow по-прежнему будут сканироваться, если они связаны с другим местом без тега nofollow, поэтому вам необходимо убедиться, что он используется постоянно.Кроме того, если на странице есть две ссылки на одну и ту же цель, но одна из них не используется, Google просто просканирует эту ссылку.

Google соблюдает директиву nofollow и не передает PageRank по этим ссылкам. Bing также отвечает на nofollow , однако для Google и Bing страница, на которую не распространяется nofollow, может по-прежнему отображаться в их индексах, если на нее есть внутренняя или внешняя ссылка без nofollow. Nofollow также работает с Baidu , и вес ссылки не будет учитываться в этой директиве. Яндекс не поддерживает nofollow и рекомендует использовать вместо него noindex.

Как реализовать nofollow?

Если вы хотите реализовать nofollow на уровне страницы , это предотвратит сканирование всех ссылок на этой странице, включая ссылки , канонические и относительные альтернативы. В этом случае вы должны включить этот фрагмент кода в раздел :

(…)

При реализации nofollow на уровне отдельной ссылки , вы должны включить этот фрагмент кода, где вы разместите ссылку в HTML:

здесь

Самое строгое правило побеждает с nofollow, и применяется самая строгая директива, так что это означает, что мета nofollow уровня страницы, например, переопределит следующий уровень ссылки.

Почему вы можете использовать nofollow?

Есть разные причины, по которым вы можете использовать nofollow для определенных страниц или ссылок на вашем сайте. Вот несколько примеров использования nofollow:

• Платные ссылки — предотвращение передачи ссылок на платные ссылки в блогах, например, от передачи ссылочного веса, что соответствует передовой практике Google в отношении обработки неорганических ссылок.
• Партнерские ссылки — Подобно платным ссылкам, если поисковые системы считают, что вы добавляете ссылки только для получения денег, которые не приносят реальной выгоды для пользователя, ваш сайт может быть оштрафован, если вы не добавите nofollow к своим ссылкам.
• UGC (пользовательский контент) — убедитесь, что ваш сайт не «ручается» за некачественный контент, над которым у вас нет достаточного контроля.
• Фасетная навигация. Эффективность поискового робота для крупных веб-сайтов электронной коммерции можно значительно повысить, отказавшись от ссылок на бесполезные аспекты.
• Встраивает — Контент, внедренный с других веб-сайтов, может быть запрещен, если вы не хотите, чтобы вас считали поддерживающим его.
• Сфокусируйте поискового робота — направьте его на URL-адреса, которые вы действительно хотите посетить.
• Ссылки на страницы noindex — отказ от них позволит сэкономить краулинговый бюджет, поскольку по этим ссылкам будут переходить на страницы, которые в любом случае не будут проиндексированы.

Директивы о других роботах

Существует ряд других директив, которые вы можете использовать для связи с поисковыми системами относительно того, как обрабатывать страницы на вашем сайте.Вот несколько примеров и то, как работает каждый из них.

Нет

Эта директива эквивалентна « noindex, nofollow. ”По сути, он дает указание поисковым системам игнорировать страницу.

Noarchive

Эта директива предписывает поисковым системам не показывать кешированные ссылки в результатах поиска. Его также можно использовать, чтобы не дать конкурентам очистить ваш контент, что особенно полезно на сайтах электронной коммерции, где цены часто обновляются.

Важно отметить, что эта директива не позволяет пользователям просматривать кешированную версию страницы, когда ваш сайт не работает или недоступен.

Носниппет

Эта директива предписывает поисковым системам не показывать фрагмент этой страницы в результатах поиска. Nosnippet полезен, если вы хотите иметь больший контроль над тем, что показывать пользователям о содержании сайта, что может привести к увеличению CTR в зависимости от поискового запроса.

Notranslate

Эта директива предписывает поисковым системам не предлагать перевод страницы на страницах результатов. Это может быть полезно, поскольку вы можете не захотеть, чтобы контент на вашей странице переводился, потому что иногда автоматический перевод не является точным.

Вы также можете указать разделы вашей страницы, которые не нужно переводить, используя класс:

<…>

Noimageindex

Эта директива предписывает поисковым системам не индексировать изображения на странице.Это полезно, если вы не хотите, чтобы другие публиковали ваши изображения как свои собственные, особенно если они защищены авторским правом. Однако, если изображения связаны с другими страницами сайта, поисковые системы все равно будут их индексировать, поэтому тег x-robots может быть лучшим вариантом.

Недоступно после

Эта директива предписывает поисковым системам не показывать страницу в результатах поиска после указанной даты или времени.Это полезно для страниц, актуальных для определенного периода времени, таких как страницы регистрации на мероприятие или рекламные целевые страницы (например, Черная пятница). Контент будет деиндексирован после завершения мероприятия, и вам больше не нужно, чтобы эта страница отображалась.

Для страниц с ограниченным полезным временным окном использование « unavailable_after » более удобно, чем установка noindex на страницу позже.

Лапша

Эта директива предписывает поисковым системам не использовать метаданные из проекта Open Directory для заголовков или фрагментов, показываемых для этой страницы.Однако недавно он обесценился, и DMOZ перестает существовать.

Автор

Рэйчел Костелло

Рэйчел Костелло — технический менеджер по поисковой оптимизации и контенту DeepCrawl. Чаще всего она пишет и говорит обо всем, что касается SEO.

NoFollow — Онлайн-справка: IgorWare

Установка

Чтобы установить расширение, просто перейдите на страницу загрузки, выберите свой браузер из списка. и установите расширение из магазина расширений.Ваш браузер сообщит вам, когда расширение будет установлено.

Опции

Общий

Состояние по умолчанию

Определяет поведение расширения по умолчанию, вы можете переопределить это в списке исключений веб-сайта.

Проверить альтернативные метатеги роботов

При поиске метатега robots также ищите googlebot (Google), bingbot (Bing), slurp (Yahoo), msnbot (Bing), и метатеги teoma (Ask).
ПРИМЕЧАНИЕ. Параметр влияет только на выделение с помощью стилей CSS, но НЕ на функцию информационного окна.

Информационное окно

Показать информационное окно

Вы можете выбрать один из трех вариантов:

• Никогда — если вы хотите полностью отключить функцию информационного окна
• Всегда — всегда отображается информационное окно
• Условный — информационное окно отображается только при обнаружении хотя бы одного из метатегов (noindex, nofollow)

Положение информационного окна

Выберите место, где вы хотите, чтобы информационное окно отображалось на веб-страницах.

Проверить наличие мета-тега роботов с контентом NoFollow

Проверяет наличие метатега robots с ключевым словом nofollow.

Проверить наличие мета-тега роботов с содержанием NoIndex

Проверяет наличие метатега robots с ключевым словом noindex.

Запомнить свернутое состояние

Если этот параметр отмечен, свернутое состояние будет запоминаться во всех сеансах браузера и будет синхронизироваться на всех вкладках браузера.

Стили CSS

Ссылка

NoFollow link

Стиль для ссылок с атрибутом rel = "nofollow" (или UGC, или SPONSORED). Не может быть пустым!

Ссылка на изображение NoFollow

Ссылки на изображения с атрибутом rel = "nofollow" (или UGC, или SPONSORED). Снимите флажок, если не хотите, чтобы это отображалось.

Ссылка DoFollow

Термин «DoFollow» означает ссылку, не имеющую атрибута rel = «nofollow» (или UGC или SPONSORED) i.е. нормальная ссылка.

HTML-тег NoIndex

Российская поисковая система Яндекс представила новый тег , который предотвращает индексацию контента между тегами.

Не индексировать этот контент.

Все ссылки на страницах с метатегом NoFollow

Стиль контура для всех ссылок на веб-странице, на которой есть метатег robots с содержанием nofollow. Снимите флажок, если не хотите, чтобы это отображалось.

ПРИМЕЧАНИЕ. Оба параметра — nofollow и noindex — можно установить одновременно. Это означает, что если вы используете те же свойства стиля (например, контур) для В обоих вариантах вы сможете увидеть только тот стиль, который установлен для параметра «Все ссылки на страницах с метатегом NoIndex» ниже.

Все ссылки на страницах с метатегом NoIndex

Стиль контура для всех ссылок на веб-странице, которая имеет метатег robots с содержимым noindex. Снимите флажок, если не хотите, чтобы это отображалось.

ПРИМЕЧАНИЕ. Оба параметра — nofollow и noindex — можно установить одновременно.Это означает, что если вы используете те же свойства стиля (например, контур) для в обоих вариантах вы сможете увидеть только тот стиль, который установлен для этого параметра.

Внешние ссылки

Обрисовывает внешние ссылки. Внешняя ссылка считается всем, что не находится на chema и домене, на котором вы находитесь в данный момент, поэтому, если вы находитесь на https://www.example.com , внешние ссылки будут http://www.example.com и https: //something.example.com .

ПРИМЕЧАНИЕ. Внешняя ссылка и все вышеперечисленные параметры могут быть доступны одновременно. Это означает, что если вы используете тот же стиль свойства (например, контур) для двух параметров, они будут переопределять друг друга.
По умолчанию:

• ссылка nofollow будет иметь точечную границу и красный цвет,
• внешняя ссылка будет иметь двойную сплошную рамку и синий цвет,
• , и если ссылка является одновременно nofollow и внешней, она будет иметь сочетание двух указанных выше: двойная сплошная граница и красный цвет

Список исключений веб-сайтов

Список исключений веб-сайта, отменяет настройку по умолчанию на вкладке Общие.
Вам необходимо ввести такие доменные имена: www.example.com .

Как использовать расширение NoFollow?

• После установки расширения просто откройте веб-страницу, и если есть какие-либо ссылки nofollow, они будут выделены.
• Если расширение мешает вам на каком-либо веб-сайте, вы можете просто временно отключить его в меню расширений и выбрать «Временное отключение».
• Чтобы настроить расширение, перейдите к параметрам расширения (щелкните левой кнопкой мыши кнопку расширения на панели инструментов браузера, выберите параметры)
• ПРИМЕЧАНИЕ : При добавлении веб-сайтов в список исключений вам необходимо вводить только доменные имена (например: www.example.com ), не используйте префикс http (s) или имена страниц.

robots.txt, Google meta-

/,. . :

, robots.txt:

User-agent: Яндекс
Запретить: /

.

Пользовательский агент: *
Запретить: /

(, Google).

robots.txt ().

Пользовательский агент: *
Запретить: / папка /

-, Разрешить запрет:

Пользовательский агент: *
нижний: /folder/file.php
Запретить: / папка /

.

User-agent: Яндекс
Запретить: /folder/file.php

,? #

«», URL. ,.

.

jpg, png gif robots.txt:

Пользовательский агент: *
Запретить: *.jpg
Disallow: * .png
Запрещено: * .gif

« robots.txt. ,. Запретить. -.

CDN- #

SEO CDN. , rel = «canonical», CDN (, nnmmkk.r.cdn.skyparkcdn.ru) robots.txt. rel = «canonical» -, /.

() #

(), robots.txt. ():

• Яндекс — -.
• Googlebot — — Google.
• Slurp Yahoo !.
• MSNBot — MSN (Bing).
• SputnikBot.

robots.txt #

:

• «Crawl-delay:». . : Задержка сканирования: 0,5

• «Clean-param:» GET-, (UTM-ref-). : Clean-param: utm /catalog/books.php

• «Карта сайта:» XML-,,. ( Google). : Карта сайта: https: // pixelplus.