Rel nofollow noindex google: Noindex, nofollow для Google — как и когда использовать с пользой для SEO продвижения | Дропшиппинг

Содержание

Noindex, nofollow для Google — как и когда использовать с пользой для SEO продвижения

Noindex – это директива для поисковых систем, которая запрещает отображать страницу либо часть текста в результатах поиска. Давайте рассмотрим подробнее – где и в каких случаях используется эта директива?

Mетатег “robots” со значением “noindex”

Чтобы не допустить определенную страницу к индексированию поисковыми системами используется метатег robots с добавлением значения “noindex”.

В разделе <head> страницы размещается следующая конструкция:<head> <meta name="robots" content="noindex" /> … </head>

Данный метатег распространяется на всех роботов поисковых систем. Но иногда может использоваться только для определенных роботов, в зависимости от целей. Например, можно запретить индексацию только лишь определенной поисковой системе, указав в значении для атрибута “name” название робота (например – Googlebot, для Google):

<meta name="googlebot" content="noindex" />

Пример: Вы не хотите, чтобы ваши изображения были найдены через поиск по изображениям и использованы кем-то в личных целях.
Решение: Можно запретить индексацию страницы с данными изображениями только в поиске по изображениям, используя робот Googlebot-Image:

<meta name="googlebot-image" content="noindex" />

Таким образом, страница появится в результатах обычного поиска, но её содержимое не будет индексироваться для поиска по изображениям.

Тег <noindex> – для закрытия от индексации части контента

Для того, чтобы закрыть от индексации часть текста используется тег <noindex>, который может быть помещен в любые элементы html-кода страницы:

<noindex>текст, который будет запрещен к индексированию</noindex>

Однако, данный тег будет восприниматься только поисковиком Яндекс, так как он не является стандартизированным и был введен только этой поисковой системой.

Если мы разместим текст внутрь тега, то он не будет индексироваться при сканировании роботом Яндекс и при этом будет попадать в индекс всех остальных поисковиков.

Валидность

Так как тег <noindex> не является стандартизированным, то могут возникать ошибки валидации. Чтобы код оставался валидным, рекомендуется использование тега в таком виде:

текст, который будет запрещен к индексированию

Варианты использования meta robots noindex

Мета-тег “Robots” содержит директивы, разделенные запятыми:

Index/Noindex задает правило индексации страницы;
Follow/Nofollow разрешает или запрещает переходить по ссылкам со страницы. Значения по умолчанию – Index и Follow.

Существуют следующие варианты использования метатега:

<meta name=“robots” content=“index,follow”>	Разрешено индексировать страницу и переходить по ссылкам на ней.
<meta name=“robots” content=“noindex,follow”>	Запрещено индексировать страницу, но можно переходить по ссылкам на ней.
<meta name=“robots” content=“index,nofollow”>	Разрешено индексировать страницу, но нельзя переходить по ссылкам на странице.
<meta name=“robots” content=“noindex,nofollow”>	Запрещено индексировать страницу и переходить по ссылкам на ней.

Как показывает практика (см. эксперимент С. Кокшарова), Google обычно корректно воспринимает данные правила. Что касается Яндекс, то он может не всегда следовать правилу “noindex, nofollow” и переходит по ссылкам, чтобы проверить их качество (под такими директивами иногда прячутся недобросовестные сайты).

Отличия meta robots noindex от noindex в robots.txt

Есть 2 способа скрыть страницу от индексирования:

Закрыть страницу в robots.txt с помощью Disallow.
Добавить на страницу в <head> метатег: <meta name="robots" content="noindex" />

Основные отличия:

В robots. txt можно закрыть от индекса не только страницу, а и папку, тип файла, служебные страницы сайта, результаты поиска по сайту и т.д. – то есть можно работать массово с группами страниц.
<meta name=”robots” content=”noindex, follow”> позволяет закрывать страницы точечно, а также передавать ссылочный вес.

Если необходимо закрыть определенную страницу, лучше все-же воспользоваться метатегом чтобы не перегружать robots.txt лишними строками. Кроме того, выше вероятность того, что правило сработает (по сравнению с robots.txt).

Помните, что robots.txt – это всего лишь рекомендации, то есть поисковые системы могут игнорировать его — индексировать и сканировать запрещенные URL. Поэтому, если вы хотите скрыть URL с гарантией, лучше это сделать через метатег. А если уж наверняка – то можно, например, закрыть директории паролем.

Распространенные ошибки

Страница закрыта через метатег, но все равно находится в поиске
Возможные причины:

Страница закрыта также robots. txt и робот не заходит на неё, соответственно не может прочитать директиву в метатеге noindex.
Робот еще не успел посетить страницу (на сайте много страниц).

Решение: Чтобы закрыть страницу через метатег, необходимо, чтобы она была открыта в robots.txt. Если на сайте много страниц, а страницу нужно срочно закрыть – лучше воспользоваться панелью вебмастера.

Внедрение одновременно noindex и rel canonical на страницах (например, пагинации)
Это частая ошибка вебмастеров, ведь эти два тега противоречат друг другу. Google дает четкий ответ по этому поводу тут: https://www.seroundtable.com/noindex-canonical-google-18274.html .

Решение для страниц пагинации:

canonical не использовать,
на страницах пагинации прописать: <meta name=”robots” content=”noindex, follow” />, а также link rel=”prev” и link rel=”next”.

На сайте есть не закрытые метатегом служебные страницы – версии страниц «для печати», а также служебные/шаблонные страницы, которые создаются динамически. Это частая проблема, так как в индекс могут попасть сотни ненужных страниц. В дальнейшем эти «мусорные» страницы могут ранжироваться в поиске вытесняя полезные продвигаемые страницы. Закрытие через robots.txt может не решить проблему.

Решение: Google советует закрыть такого рода страницы через метатег <meta name="robots" content="noindex, nofollow" />.

Атрибут rel-nofollow

Значение rel=”nofollow” запрещает поисковой системе переходить по конкретной ссылке.
Пример использования: <a href="test.com" rel="nofollow">Ссылка</a>

Google утверждает: «…Как правило, переход не производится. Это означает, что по этим ссылкам Google не передает ни PageRank, ни текст ссылки…»

Однако, «как правило» предполагает, что бывают исключения. Также, например, ссылки с nofollow могут быть проиндексированы, если на страницу ссылаются другие сайты без использования nofollow, либо страница есть в Sitemap.

Как и где использовать

Рекомендуется использовать rel=”nofollow”:

для закрытия ссылок на некачественный контент или контент, которому вы не доверяете,
для закрытия неуникального контента,
для закрытия платных ссылок,
для корректной индексации (например, чтобы скрыть технические страницы и не тратить ресурсы робота на их сканирование).

Помимо этих случаев, многие оптимизаторы используют rel=”nofollow”, когда хотят, чтобы внешняя ссылка не передавала вес.

Передает ли nofollow вес

По словам Google, rel=”nofollow” не передает ссылочный вес. Однако, есть свидетельства, что Google учитывает ссылки социальных сетей Facebook, Twitter не смотря на nofollow.

Что касается Яндекс, то с 2010 года он не учитывает ссылки с nofollow и, соответственно ссылка не передает вес.

Это официальная версия Яндекс. Однако, есть подтверждения экспериментов, что Яндекс учитывает анкоры таких ссылок.
Как бы там ни было, ваш ссылочный профиль должен быть разнообразным и рекомендуется разбавлять анкор-лист ссылками с rel=”nofollow”.

Распространенные ошибки

Использование rel=”nofollow” для внутренней перелинковки.
Google так делать не советует (https://www.searchengines.ru/mett_katts_ne_nofollow_int_links.html )

Использовать rel nofollow на каждый язык языковой версии чтобы «сегментировать» их, не передавая вес друг-другу.
Не нужно с помощью rel nofollow пытаться манипулировать весом. Если сайт целостный, все равно в рамках внутренней перелинковки вес будет переходить. Как уже говорилось выше – Google не приветствует rel nofollow для внутренней перелинковки. Но не забудьте об использовании hreflang.

Использовать rel nofollow для ссылок на страницы фильтра.
Рекомендуется не использовать атрибут nofollow, а реализовать фильтры с помощью JS или закрывать страницы метатегом noindex, nofollow.

Надеемся, что данная статья ответила на основные вопросы по использованию тегов noindex, nofollow. Желаем успешного продвижения!

Google изменил подходы к обработке nofollow и ввел два дополнительных атрибута. Что важно знать

Google официально заявил о введении глобальных новшеств, связанных с обработкой и учетом ссылок. Поисковик меняет правила обработки атрибута rel=”nofollow” и вводит две новых метки — rel=”sponsored” и rel=”ugc”. Цель нововведений — помочь поисковикам более точно определять характер ссылок и эффективнее бороться с манипуляциями в SEO. В чем суть новых правил? Какие изменения на сайте нужно сделать уже сейчас? Как менять стратегии линкбилдинга? Во всем этом разобрались наши специалисты.

Атрибут nofollow: что было и стало?

С 2005 года Google использует важный ссылочный атрибут nofollow. Он был введен как средство борьбы с линк-спамом в комментариях, а позже стал одним из основополагающих компонентов линкбилдинга. Nofollow запрещал поисковым роботам переходить по одной или всем ссылкам на странице. Таким образом статический ссылочный вес гарантированно не перераспределялся между сайтом-донором и реципиентом.

Метатегом nofollow закрывали ссылки в комментариях, которые могли вести на некачественные ресурсы и вредить поисковой репутации сайта-донора. По мере ужесточения требований к линкбилдингу nofollow стали использовать, размещая на своем сайте партнерские и рекламные ссылки. Атрибут играл важную роль и для внутренней оптимизации: с его помощью закрывали страницы, нежелательные для индексации. О том, зачем и как это делать — можно почитать здесь. Таким образом, раньше атрибут nofollow выполнял две функции: запрещал поисковым краулерам сканировать ссылки и передавать по ним статический вес.

Что произошло после анонсированных нововведений? Может показаться, что ничего особенного. Атрибут rel=”nofollow” продолжает поддерживаться поисковиками и его нужно использовать для того же, что и раньше. Но теперь nofollow — это не жесткая директива краулерам, а скорее рекомендация.

Вам также может быть интересно:
Как работают ссылки в Google: от базовых принципов к неочевидным факторам ранжирования

Отныне статический и анкорный вес может передаваться через «закрытые» ссылки. Решение делать это или нет принимает поисковая система, основываясь на логике своего алгоритма. Это значит что ссылки, закрытые атрибутом rel=”nofollow”, могут учитываться при ранжировании страниц.

С 1 марта 2020 года краулеры Google также будут переходить по nofollow-ссылками и индексировать страницы, «закрытые» этим атрибутом. Чтобы заблокировать документ от индексирования, нужно будет использовать другие более надежные механизмы: закрытие в robots.txt, добавление метки noindex или помещать данные в защищенный паролем каталог сервера.

Ссылочные атрибуты sponsored и ugc

В дополнение к измененным правилам обработки nofollow Google ввел два совершенно новых атрибута — rel=”sponsored” и rel=”ugc”. Вместе с первым они образуют общую связку метатегов, цель которых — помочь поисковой системе еще точнее определять характер ссылок, лучше ранжировать сайты и противодействовать SEO-манипуляциям.

Атрибут rel=”sponsored”. Предназначен для разметки коммерческих ссылок, размещенных на сайте на платной основе. Эти метки рекомендуют проставлять не только в ссылках с откровенно коммерческим характером, но и всех других линках, за размещение которых владелец сайта получил деньги.

Атрибут rel=”ugc”. Название метки происходит от User Generated Content («Контент, сгенерированный пользователем»), что доходчиво говорит о ее назначении. Этим атрибутом рекомендуют маркировать ссылки, оставленные пользователями в комментариях и ветках форумов. Так владелец проекта предупреждает поисковых роботов, что не несет ответственности за линки, которые могут потенциально навредить его сайту.

Для всех других ссылок, по которым не желательна передача статического веса, используют старый rel=”nofollow”. Важно понимать, что все три атрибута расцениваются поисковыми краулерами исключительно как рекомендация.

FAQ по новым ссылочным атрибутам

Нововведение Google сразу вызвало много вопросов. На основные из них разработчик представил официальные комментарии.

Нужно ли менять уже имеющиеся nofollow?

Нет, это делать не обязательно. Если вы используете nofollow для закрытия сомнительных ссылок, система поймет, что вы не хотите делиться весом с сайтами, в которых не уверены. Также необязательно менять уже проставленные nofollow, которыми вы закрывали рекламные и партнерские линки. Но в будущем Google настоятельно рекомендует переходить на использование rel=”sponsored” и rel=”ugc” для маркировки соответствующих типов линков.

Можно ли прописывать сразу два значения?

Да, несколько атрибутов можно комбинировать. Например, метка rel=”ugc sponsored” будет указывать краулерам, что ссылка размещена в комментариях за деньги. Также допустимо сочетать nofollow с новыми метками. Так, если вы не хотите, чтобы спонсорская ссылка передавала вес, необходимо сделать метку rel=”sponsored nofollow”.

Что будет, если ссылку отметить некорректным атрибутом?

Проплаченные ссылки можно отмечать rel=”sponsored” (этот вариант предпочтительнее), rel=”nofollow” или их комбинацией. Использование rel=”ugc” на купленных ссылках может расцениваться как манипуляция и привести к санкциям.

Когда это начнет работать?

Новые атрибуты уже распознаются краулерами и обрабатываются по измененным правилам. С марта следующего года закрытые при помощи rel=”nofollow” страницы будут сканироваться и попадать в индекс.

Подводя итог

Google по-новому обрабатывает и учитывает ссылки. Введено два новых атрибута для разметки исходящих линков:

rel=”sponsored” – для обозначения ссылок, размещенных за деньги;
rel=”ugc” – для ссылок, которые оставляют пользователи на сайте.

Старый атрибут rel=”nofollow” сохранен, но Google изменил его функциональный статус. Теперь ссылки, закрытые метатегом nofollow, могут передавать ссылочный вес. В скором времени они также будут сканироваться и попадать в индекс. По новым правилам rel=”nofollow” рекомендуют использовать только для закрытия ссылок, которые не подпадают под категорию sponsored и ugc (user generated content).

Что это за теги Nofollow и Noindex, в чем разница и как правильно прописывать

Выясняем, как работают тег noindex и атрибут nofollow. Подробно рассмотрим сценарии использования и узнаем, как прописывать теги для роботов в зависимости от поставленных задач.

Теги и атрибуты

Их еще называют дескрипторами. Это элементы разметки, с помощью которых объектам в текстовом документе придаются определенные свойства. Эти свойства зависят от языка разметки и поставленных задач. Сделать шрифт жирным, превратить кусок текста в гиперссылку или задать ей специфичные визуальные характеристики…

Но есть теги, которые выполняют несколько иные функции. В их числе nofollow и noindex. В любых своих проявлениях они никак внешне не влияют на текст и ссылки. Посетитель сайта не заметит, если часть страницы обведут в тег или пометят атрибутом nofollow. Текст будет выглядеть без изменений.

Изменения произойдут на технической стороне. Отличия заметит поисковой робот, анализирующий и индексирующий веб-страницы.

Что такое noindex

«Ноиндекс» – тег и атрибут HTML-страницы. Можно пометить им страницу целиком, придав ей определенные свойства, либо выбрать отдельный участок кода и применить атрибут к нему.

Функция noindex заключается в «сокрытии» контента от поисковых роботов, машин, анализирующих и индексирующих веб-сайты. Они собирают базу данных для поисковых служб и предоставляют пользователям релевантные результаты поиска.

Если какая-то часть контента на странице помечена тегом noindex, то робот ее проигнорирует и в поиске она учтена не будет, что прямо повлияет на SEO-продвижение ресурса, на котором были произведены соответствующие изменения.

На самом деле, робот, конечно же, посмотрит все, что есть на сайте. Просто не будет заносить это в индексную базу.

Какой контент помечается этим тегом?

Любой. В зависимости от помеченной информации и поискового робота тег будет восприниматься по-разному.

Обычно в noindex заворачивают четыре типа текстового контента:

Информацию с низкой уникальностью, чтобы избежать проблем с антиплагиатом.
Коды счетчиков (типа метрики и других аналитических систем), ненужные поисковику.
Контактные данные, номера и ссылки, которые не стоило бы показывать в поисковой выдаче.
Постоянно меняющийся текст, индексация которого не принесет никакой пользы.

Как использовать тег?

Тег можно вставить в <head> страницы как мету (атрибутом), увеличив область его действия на всю страницу.

С таким кодом индексация страницы разрешается:


<meta name="robots" content="index"/>

А с таким индексация запрещается:


<meta name="robots" content="noindex"/>

Такое правило можно указать для конкретного робота. Например, поискового бота Google:


<meta name="googlebot" content="noindex"/>

Еще один способ — встраивание тегов в текст и оборачивание в него ссылок.


<noindex>кусок текста, который хотелось бы скрыть от индексации поисковиками</noindex>

Правда, такая разметка может нагородить ошибок из-за того, что многие поисковики не понимают тег <noindex> и считают его наличие в тексте ошибкой. Поэтому приходится исползать его вариацию <!–noindex–>. В таком виде роботы, понимающие тег, считывают его без проблем и задают нужные свойства, а непонимающие попросту игнорируют.

Независимо от типа скрываемого контента, принцип остается тем же. Поэтому, если нужно скрыть от индексации код счетчика, ничего специфичного делать не придется. Так же оборачиваем его в <noindex> и все.

Что такое nofollow

Атрибут, вставляющийся перед ссылками и запрещающий по ним переходить.

Вес страницы — это своего рода уровень авторитетности сайтов, один из факторов, учитываемых при ранжировании страниц в поисковых запросах. Чтобы не передавать вес страницы другим сайтам по размещенным на них ссылкам, данные ссылки оборачивают в тег nofollow.

Какой контент помечается этим атрибутом?

Ссылки. Но не все ссылки, а те, что могут как-то негативно повлиять на вес ресурса. Это касается автоматических ссылок, появляющихся в тех или иных участках сайта. Атрибут nofollow стоило бы приписывать любым внешним ссылкам, за которые вы не можете ручаться. Добавленные на ресурс другими пользователями через секцию комментариев или в графу профиля БИО.

Как прописывать тег?

С таким тегом индексирование страницы разрешается, но запрещается переход по всем ссылкам:


<meta name="robots" content="nofollow"/>

Как и в случае с <noindex>, правило можно задать для конкретного поискового робота:


<meta name="googlebot" content="nofollow"/>

Если мы говорим о конкретных ссылках, то переход на них можно запретить прямо внутри разметки.


<a href=“page.html” rel=“nofollow”>Гиперссылка</a>

Преимущества тега noindex и атрибута nofollow

Некоторые полезные свойства тегов мы уже обсудили выше, но на эту тему можно сказать больше.

Теги помогают сделать информацию на сайте более релевантной за счет вычленения из нее неуникального и разного рода утилитарного контента, который никак не связан с данными для посетителей. Не только пропадает текст, понижающий общую уникальность, но и увеличивается плотность вхождения ключевых слов.
Тегами можно спрятать информацию из сквозных блоков, которые часто воспринимаются роботами как дубликаты данных.
Я уже упомянул выше, что за тегом <noindex> частенько прячут контактную информацию, но не пояснил зачем. Дело в поисковых сниппетах Яндекса и Google, в которые ненароком могут попасть номера телефонов и адреса, указанные на другом сайте или закрепленные за другой компанией в Яндекс.Справочнике.
Атрибут nofollow может прятать платные ссылки. Рекламные статьи, заметки и обзоры, размещенные на странице. Поисковикам запрещают переход по ним, чтобы избежать санкций со стороны Google или Яндекса.
Еще nofollow нужен для распределения приоритетов сканирования. Чтобы в него не попадали всякие формы регистрации и прочие технические страницы. Сканирование этой информации никакой пользы не принесет.

Выше мы использовали <noindex> и nofollow в качестве мета-атрибутов, чтобы задать свойства всей странице целиком. Посмотрим, как разрешить для роботов весь контент и все ссылки:


<meta name="robots" content="index, follow"/>

А это полный запрет на контент и ссылки:


<meta name="robots" content="noindex, nofollow"/>

Данный тег спрячет от ботов страницу целиком, но то же самое можно сделать, указав соответствующую ссылку в графе Disallow файла robots.txt, который отвечает за «исключение» страниц из индексации.

Но способы отличаются тем, что мета-тег разрешает поисковикам заходить на сайт и анализировать его содержимое. А вот если ссылка указана в robots.txt, то бот не сможет на нее зайти и провести индексирование.

Во избежание неадекватного поведения ботов, на уже проиндексированных страницах лучше использовать мета-теги, а в robots.txt заносите новые ссылки, неизвестные для Google и Яндекс.

Итоги

Теперь вы знаете, какие задачи выполняют теги noindex и nofollow. С помощью них можно строго задать поведение поисковых ботов Google и Яндекс в отношении вашего сайта и тем самым улучшить показатели SEO.

Атрибут rel | htmlbook.ru

Internet Explorer	Chrome	Opera	Safari	Firefox	Android	iOS
		10.50+		4.0+

Спецификация

HTML:

3.2

4.01

5.0

XHTML:

1.0

1.1

Описание

Атрибут rel определяет отношения между текущим документом и документом, на который ведет ссылка, заданная атрибутом href. Несмотря на то, что браузеры в большинстве своем не поддерживают атрибут rel, на сайтах часто можно встретить код rel=»nofollow», предназначенный для поисковых систем Google и Яндекс. Ссылки, помеченные таким образом, не передают PageRank и ТИЦ.

Синтаксис

<a rel="строка">...</a>

Обязательный атрибут

Нет.

Значения

Некоторые возможные значения перечислены ниже.

answer: Ответ на вопрос.
chapter: Раздел или глава текущего документа.
co-worker: Ссылка на страницу коллеги по работе.
colleague: Ссылка на страницу коллеги (не по работе).
contact: Ссылка на страницу с контактной информацией.
details: Ссылка на страницу с подробностями.
edit: Редактируемая версия текущего документа.
friend: Ссылка на страницу друга.
question: Вопрос.

Весь список значений можно посмотреть по адресу http://wiki.whatwg.org/wiki/RelExtensions

В HTML5 поддерживается следующие значения.

archives: Ссылка на архив сайта.
author: Ссылка на страницу об авторе на том же домене.
bookmark: Постоянная ссылка на раздел или запись.
first: Ссылка на первую страницу.
help: Ссылка на документ со справкой.
index: Ссылка на содержание.
last: Ссылка на последнюю страницу.
license: Ссылка на страницу с лицензионным соглашением или авторскими правами.
me: Ссылка на страницу автора на другом домене.
next: Ссылка на следующую страницу или раздел.
nofollow: Не передавать по ссылке ТИЦ и PR.
noreferrer: Не передавать по ссылке HTTP-заголовки.
prefetch: Указывает, что надо заранее кэшировать указанный ресурс.
prev: Ссылка на предыдущую страницу или раздел.
search: Ссылка на поиск.
sidebar: Добавить ссылку в избранное браузера.
tag: Указывает, что метка (тег) имеет отношение к текущему документу.
up: Ссылка на родительскую страницу.

Значение по умолчанию

Нет.

Пример 1

HTML 4.01IECrOpSaFx

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" 
  "http://www.w3.org/TR/html4/strict.dtd">
<html>
 <head>
  <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
  <title>Тег А, атрибут rel</title>
 </head>
 <body>
  <p><a href="http://ya.ru" rel="nofollow">Наш ответ Яндексу</a></p>
 </body>
</html>

Пример 2

HTML5IECrOpSaFx

<!DOCTYPE html>
<html>
 <head>
  <meta charset="utf-8">
  <title>Добавить в избранное</title>
 </head>
 <body>
  <p><a href="http://htmlbook.ru" rel="sidebar">Добавить в избранное</a></p>
 </body>
</html>

Браузеры

Firefox поддерживает значение prefetch и sidebar. Opera поддерживает значение sidebar.

Использование nofollow и noindex для внутренней перелинковки страниц — Devaka SEO Блог

49.2К просмотров

Из-за возникновения в последнее время у владельцев сайтов вопросов, связанных с использованием тега noindex и атрибута ссылки nofollow при перелинковке страниц, следует разобраться в этих вещах немного подробнее.

Внутренней перелинковкой сайта можно назвать манипуляцию ссылками на его страницах, которыми, в плане веса, мы можем “сделать акцент” на определенные разделы своего ресурса. При перелинковке часто возникают такие случаи, когда ссылку необходимо показать пользователю, но от робота скрыть, либо указать ему как-то, чтобы он её не учитывал. Таким образом, мы смогли бы сделать акцент на наиболее важных ссылках.

Ранее, для решения этой задачи, при продвижении в Google использовали атрибут ссылки rel=nofollow, а для Яндекса тег <noindex>. Но со временем мир меняется и Google поменял алгоритм при пересчете весов страниц, а Яндекс стал учитывать атрибут nofollow (по аналогии с Google). Помимо этого, ссылки в noindex все же учитываются и могут появляться в панели для вебмастеров, не учитывается лишь их текст.

Если схематически представить работу noindex и nofollow, то это будет выглядеть примерно так:

Ведра здесь отображают страницы,
дырки в ведре – наличие ссылки на странице,
струйки – перетекание веса от страницы-донора к странице-акцептору,
цифры обозначают примерный вес страниц.

Если раньше nofollow в Google и noindex в Яндексе (для ссылок) убирали “дырки в ведре” и акцептор не получал веса из этого “ведра”, то сейчас “дырки” остаются и передвигается лишь “ведро-акцептор”, чтобы в него не попала “струйка” веса 🙂

Другими словами, использование noindex и nofollow не закрывает дыр вашего сайта и из-за них другие страницы получат меньше веса, чем могли бы. Поэтому, для решения поставленной в начале статьи задачи необходимо убирать ненужные ссылки со страниц совсем.

Отсюда возникает ряд вопросов, своими ответами на которые делюсь ниже.

Стоит ли использовать noindex и/или nofollow для внутренней перелинковки?
Не рекомендую! Для внутренней перелинковки они вам не помогут, лучше, в данном случае, от них отказаться (прямым текстом).

Откуда информация по noindex для Яндекса?
Вебмастерам Платон из службы поддержки отвечает, что <noindex> исключит из индексирования часть текста, но ссылки при этом будут проиндексированы. Это же подтверждается наличием подобных ссылок в панели для вебмастеров. Подробнее в Яндекс.Помощи…

Зачем введены эти новшества в перерасчете веса поисковиками?
Возможно для того, чтобы корректно расчитывать веса страниц.

Как закрыть ссылку от поисковика другим способом?
Для яндекса пока работает JavaScript, но это ненадолго. Google поймёт любую ссылку, даже во Flash 🙂 Не старайтесь скрывать что-то от кого-то, просто делайте грамотную навигацию, юзабельную и без излишеств.

Как закрыть часть текстового контента от Google?
Noindex для гугла не работает, официальных тегов для этого Google не предоставляет. Контент, который необходимо закрыть, можете попробовать загружать аджаксом (ajax).

А вы используете nofollow или noindex для внутренних ссылок?

что это за атрибут – закрытая ссылка

Nofollow – это тег, используемый веб-мастерами при размещении ссылок на сторонние сайты. Атрибут нужен для того, чтобы сетевой ресурс не упал в поисковой выдаче, не превратился в бесплатный инструмент для наращивания ссылочной массы, не был заблокирован поисковиками. Несмотря на то, что ссылки nofollow не индексируются ПС, они важны в продвижении. Мнения экспертов по поводу пользы от использования атрибута rel=»nofollow» расходятся. Многие думают, что он не повлияет на ранжирование сайта и поэтому его использование бессмысленно. В этой статье вы узнаете, чем полезны закрытые от индексации гиперссылки.

Определение nofollow

В коде HTML nofollow – один из многих значений, которые может принимать атрибут rel. Он расположен после адреса ссылки в исходном коде. Пример: <a href=»https://liiiiiiink.ru» rel=»nofollow»>текст ссылки, анкор</a>. В переводе атрибута на русский язык получается формулировка «не следовать». Решив вписать атрибут rel со значением «не следовать», специалист дает указание роботу не производить индексацию активной ссылки (link).

Для чего нужно запрещать индексацию ссылок

Ссылки на некачественные/нетематические ресурсы могут негативно сказаться на ранжировании сайта.
Необходимость создания естественного ссылочного профиля.
Сохранение/перераспределение веса страниц/разделов.
Необходимость исключить из индексации разделы/страницы, не предназначенные для попадания в выдачу ПС, например страницы входа на сайт либо с формой регистрации.
Множество ссылок, которые ведут на сторонние веб-сайты, может привести к блокировке ресурса или выпадению из индекса части страниц.
Защита от ссылок, которые оставляют пользователи в комментариях.

Как проверить наличие закрытых от индексации ссылок

В поисках площадок, которые подходят для наращивания ссылочной массы, специалисту нужно точно и быстро определять способ их установки: с тегом nofollow либо без него. Это можно сделать с помощью различных инструментов.

Открываем в Google Chrome нужную страницу.
Щелкаем по правой кнопке мыши и открываем контекстное меню.
Выбираем «Просмотр кода страницы».
Проверяем код на наличие тега rel с nofollow.

В процессе выбора площадки для размещения обратной ссылки крайне важно определять атрибут rel=»nofollow», а также другие теги со схожими функциями. Например, dofollow, noindex, redirect, nofollow noopener и пр. Ссылки с тегами и атрибутами, которые имеют перечисленные значения, не дают пользы в плане продвижения сайта в ПС и наращивания ссылочной массы.

Ищем с помощью дополнения:

Заходим в магазин Google Chrome.
Находим дополнение RDS Bar либо любое аналогичное.
Устанавливаем нужное расширение.
В настройках дополнения включаем подсветку ссылок, которые закрыты для индексации с помощью соответствующих атрибутов и тегов.

После этого на всех веб-страницах, открываемых в поисковике, в автоматическом порядке будут зачеркиваться все ссылки, которые зарыты для индексации.

Обработка значения nofollow атрибута rel поисковиком Google

Google информирует, что робот не переходит по таким ссылкам. При добавлении к ссылке атрибута с указанным значением она не будет попадать в Google. Но нужно учитывать, что закрытые так от индексации страницы все же появятся в индексе, если их адреса находятся в карте сайта либо на них ведут открытые ссылки с иных веб-ресурсов. В тексте справки можно увидеть фразу «как правило», которая использовалась в предложении о переходе по закрытым от индексации ссылкам. Это означает, что ПС сама принимает решение на счет того, переходить или нет, индексировать или нет. Учитывая это, а также то, что другие поисковики не реагируют на nofollow, можно сделать вывод относительного того, что закрытые так ссылки могут быть полезными наравне с открытыми.

Как ссылки используют в бизнесе

Прибыль напрямую связана с посещаемостью сайта. Если по ссылкам переходят заинтересованные посетители, большого значения не имеет, открыты ли они или закрыты от индексации. Ведь главную функцию они выполняют. Такие ссылки:

повышают популярность продукции, узнаваемость бренда, востребованность конкретной услуги. Если ссылка приводит на страницу с интересным, полезным контентом и по ней идут целевые посетители, то рано или поздно она может оказать положительное влияние и на поисковое продвижение. Возрастающий целевой трафик ПС оценит по достоинству и будет учитывать в ранжировании;
увеличивают продажи. Если предлагаемый продукт соответствует всем заявленным характеристикам, отвечает стандартам качества, имеет демократичную стоимость, то заинтересованные пользователи, которые перешли на веб-сайт по закрытым ссылкам, скорее всего оформят заказ;
приводят к появлению новых ссылок. Всем известно, что соц. сети – огромный источник потребителей и все их ссылки закрыты от индексации. Т. е. для повышения SEO-показателей их нет смысла размещать. Но они привлекут внимание посетителей, которые могут поделиться с друзьями интересной информацией на других веб-ресурсах.

Какие площадки надо использовать для размещения ссылок

Размещать ссылки рекомендуется на тех площадках, которые способны приводить целевой трафик на продвигаемый веб-ресурс. Если ссылка увеличивает количество потенциальных потребителей, то она является полезной, вне зависимости от того, закрыта она либо открыта для индексации. К числу полезных ресурсов стоит отнести следующие:

соц. сети. Не смотря на то, что их ссылки не индексируются, их очень часто оставляют в комментариях и/или заметках. Если опубликованные данные привлекают внимание, то трафик по закрытой ссылке будет обеспечен;
видеохостинговые ресурсы. Например, ссылки пользователей YouTube не учитываются поисковиком Google, но они могут стать хорошим источником трафика с неплохими поведенческими факторами;
форумы. Обычно их ссылки закрывают с помощью noindex или nofollow. Если ПС не учитывают эти ссылки, то огромная аудитория популярных ресурсов видит их, переходит по ним и создает постоянный целевой трафик.

Каким образом можно повысить эффективность закрытых ссылок

Чтобы пользователи интересовались контентом и переходили по ссылкам, перед установкой ссылок и публикацией материалов нужно внимательно проверять и тестировать наиболее важные элементы статьи / околоссылочного текста. Лиды и заголовки должны замотивировать посетителей, чтобы они переходили на веб-сайт. Сам контент должен быть максимально полезным, интересным и релевантным теме. Для получения максимальной отдачи от ссылки нужно:

подбирать как площадку, так и место установки;
проверять релевантность контента;
определять цель каждой ссылки;
оптимизировать посадочные страницы.

Ссылки, которые закрыты от индексации, могут оказаться намного полезнее, чем индексируемые. Все дело в том, где была установлена ссылка и куда она приводит посетителя. Для ссылок nofollow это является основным фактором, который определяет ее полезность. Увеличение массы индексируемых ссылок нужно преимущественно для поднятия показателей ресурса, а неиндексируемых – только для привлечения ЦА. Т. е. открытые ссылки могут косвенно влиять на посещаемость сайта, а закрытые – напрямую.

В процессе ранжирования ПС учитывают массу факторов, и делают это по-разному. Google, Яндекс и другие поисковые системы берут во внимание все ссылки, размещенные на страницах сайта, вне зависимости от того, какие дополнительные атрибуты у них есть. Они только учитывают желание специалиста не допустить индексацию. Итоговое решение всегда за поисковыми системами.

что означает и что такое nofollow-ссылка

Атрибут nofollow – это тег в HTML-коде, служащий для запрета индексации исходящих ссылок на сайте. Он используется SEO-оптимизаторами и веб-мастерами для контроля гиперссылок, ведущих на внешние площадки. Это продиктовано тем, что алгоритмы поисковых систем негативно относятся к сайтам, на которых присутствует большое количество бэклинков. Обнаружение ссылочного спама ведет к неизбежной пессимизации позиций веб-ресурса в поисковой выдаче, а в запущенных случаях – к полному выходу сайта из индекса.

Сегодня существуют разные мнения насчет актуальности запрета индексации ссылок. Поэтому важно разобраться, что такое rel nofollow и чем использование этого тега может помочь в поисковой оптимизации сайтов.

Общее понятие об атрибуте nofollow

В системе гипертекстовой разметки HTML тег nofollow является одной из вариаций применения атрибута rel. В коде страницы его можно обнаружить после URL-адреса, на который ведет гиперссылка. К примеру, [a href=»http://sayt.com/"" rel=»nofollow»]анкор[/a].

В буквальном переводе с английского языка «nofollow» значит «не следовать». То есть это команда для алгоритмов поисковых систем не переходить по ссылке, а значит, и не учитывать ее в индексации. Теперь понятно, что nofollow-ссылка – это линк, который не видит робот поисковой системы.

С какой целью запрещают индексацию гиперссылок

Можно выделить следующие самые распространенные причины, из-за которых оптимизаторы используют атрибут rel nofollow:

дисбаланс между входящими и исходящими ссылками является причиной для понижения позиций сайта в поисковой выдаче или для его полной блокировки;
необходимость скрыть от индексирования служебные или дублирующиеся страницы;
даже небольшое количество линков на «мусорные» или нерелевантные ресурсы может испортить результаты ранжирования;
использование атрибута позволяет защититься от ссылочного спама в комментариях;
регулирование естественности ссылочного профиля;
необходимость во внутреннем перераспределении ссылочной массы.

Как узнать об использовании скрытых от индексации ссылок на внешних ресурсах

Иногда может возникать необходимость понять, как гиперссылки вставляются на сайт сторонним веб-мастером. Обычно это требуется тогда, когда чужой сайт рассматривается в качестве площадки-донора для размещения бэклинка. Чтобы определить, используется ли атрибут rel=»nofollow», нужно просто провести несколько манипуляций в браузере. Опишем процедуру на примере Google Chrome, но в других браузерах процесс несильно отличается.

Курсором выделяется необходимая ссылка.
Клик правой кнопкой по выделенной зоне откроет контекстное меню.
Нужно выбрать «Посмотреть код элемента».
Проверяется наличие rel=»nofollow» в коде ссылки.

Если на сайт вставляются только неиндексируемые ссылки, то они не повлияют на продвижение внешнего ресурса, поэтому их размещение не имеет смысла. Также не стоит публиковать ссылки на сайтах, где в их код вставляются следующие атрибуты: nofollow noopener, noindex, dofollow и redirect. Если наличие этих значений необходимо проверять регулярно, то стоит использовать специальные дополнения для браузеров, которые автоматизируют вышеописанный процесс. К примеру, можно бесплатно установить RDS Bar.

Как алгоритмы Google «понимают» атрибут rel nofollow

В официальной документации для веб-мастеров можно найти прямую трактовку того, что использование nofollow значит полный запрет перехода по ссылке для роботов. То есть применение этого атрибута полностью исключает гиперссылку из индексации, то есть она не учитывается при ранжировании обоих сайтов.

Однако если таким способом закрывать страницы, то они могут попасть в индекс. Это объясняется тем, что на них могут вести бэклинки без ограничений, которые находятся на других площадках или на самом сайте.

Также нужно учитывать, что в технической документации присутствует оборот «как правило». То есть можно предположить, что поисковая система все-таки может учитывать закрытые от индексации ссылки при ранжировании. Многие оптимизаторы считают, что nofollow-бэклинки всегда учитываются алгоритмами, но в силу снижения значения ссылочных факторов их роль сильно сужена. Однако это не значит, что закрытые ссылки нельзя использовать для продвижения.

Значение nofollow-ссылок для монетизации

Если говорить глобально, то раскрутка любого сайта нацелена прежде всего на привлечение трафика, так как прибыльность во многом привязана к посещаемости ресурса. Следовательно, даже если ссылка на внешней площадке закрыта от индексации, то по ней все равно могут переходить пользователи. Правильная стратегия посева nofollow-ссылок способна дать следующие результаты:

активизация продаж. Дополнительный трафик можно конвертировать в конверсионные действия. Нужно понимать, что сама ссылка не продает, а только приводит пользователей. Поэтому сначала нужно сформировать привлекательное предложение. Важно размещать ссылки на площадках концентрации целевой аудитории;
улучшение позиций в выдаче. Да, nofollow-ссылки не учитываются при ранжировании. Но они могут привести целевой трафик, который поможет улучшить поведенческие факторы, а это не останется незамеченным со стороны поисковых систем;
вирусный эффект. Если закрытая ссылка будет вести на действительно интересный контент или выгодное предложение, то пользователи начнут делиться ей в социальных сетях. Это позволит получить активный источник естественного трафика, что тоже поможет в продвижении.

Какие сайты выбрать для посева nofollow-ссылок

Для размещения заведомо закрытых ссылок нужно использовать популярные сайты. В отличие от методов ссылочного продвижения здесь не так важен сам факт публикации бэклинка, сколько объем потенциального трафика. Важно не просто оставить ссылку, а сопроводить ее привлекательным описанием, которое будет стимулировать кликать по ней. Для этого стоит изучить приемы крауд-маркетинга. Хорошими площадками для публикации закрытых ссылок являются следующие ресурсы:

Youtube и другие крупные видеохостинги. Здесь ссылки в комментариях не учитываются, но они могут привести целевую аудиторию на сайт, чем выполнят свою положительную функцию;
блоги и форумы. В интернете легко найти тематические места общения людей, которые могут стать потенциальными клиентами. Нужно просто написать интересный комментарий и предложить ознакомиться с контентом по ссылке;
социальные сети. На этих ресурсах наблюдается самая большая активность пользователей. Ссылки не индексируются, но при удачном размещении они могут дать взрывной прирост качественного трафика.

Способы улучшения результативности использования nofollow-ссылок

Сегодня многие пользователи устали от засилья бесполезных ссылок на разных площадках. Важно позаботиться о том, чтобы ваш бэклинк не разочаровал посетителя. К примеру, нельзя оставлять ссылку с комментарием о том, что она приведет в магазин с самыми дешевыми велосипедами, если ценовая политика не отличается доступностью. В таком случае конверсия точно не увеличится, а пользовательские факторы и репутация бренда значительно ухудшатся.

При продвижении закрытыми ссылками важно найти свою аудиторию. Нужно понимать, что не весь трафик полезен. Если привлечь нецелевых пользователей, которым совершенно не интересен контент или предложение, то они сразу покинут сайт. Поэтому перед публикацией ссылок важно качественно оптимизировать посадочную страницу.

Подведем итоги

Сегодня нет достоверной информации о том, действительно ли nofollow-ссылки не учитываются при индексации. Одно можно сказать точно: они не вредят ранжированию. Но даже если закрытые линки не имеют значения с точки зрения SEO, то они могут стать отличным источником целевого трафика. Существует множество возможностей бесплатного размещения таких бэклинков на ресурсах с массовой посещаемостью. Поэтому не стоит терять перспективную возможность привлечения заинтересованных пользователей на веб-ресурс.

Индексирование поиска блоков

с помощью noindex

Вы можете запретить отображение страницы в поиске Google, указав noindex метатег в HTML-коде страницы или путем возврата заголовка noindex в HTTP отклик. Когда робот Googlebot в следующий раз просканирует эту страницу и увидит тег или заголовок, он сбросит эта страница полностью из результатов поиска Google, независимо от того, ссылаются ли на нее другие сайты.

Важно : Чтобы директива noindex вступила в силу, страница не должен блокировать роботами.txt, иначе должно быть доступный для краулера. Если страница заблокирована robots.txt или сканер не может получить доступ к странице, он никогда не увидит noindex , и страница по-прежнему может отображаться в результатах поиска, например если на него ссылаются другие страницы.

Использование noindex полезно, если у вас нет root-доступа к вашему серверу, так как он позволяет вам контролировать доступ к вашему сайту на постраничной основе.

Реализация

noindex

Есть два способа реализовать noindex : как метатег и как HTTP-ответ. заголовок. У них такой же эффект; выберите способ, который удобнее для вашего сайта.

тег

Чтобы большинство поисковых роботов поисковых систем не проиндексировали страницу вашего сайта, поместите следующий метатег в раздел вашей страницы:

Чтобы запретить только веб-сканерам Google индексировать страницу:

Вы должны знать, что некоторые поисковые роботы могут интерпретировать noindex иначе.В результате возможно, что ваша страница по-прежнему появляются в результатах других поисковых систем.

Узнайте больше о метатеге noindex .

Вместо метатега вы также можете вернуть заголовок X-Robots-Tag со значением либо noindex , либо none в вашем ответе. Вот пример HTTP-ответ с X-Robots-Tag , инструктирующий сканеры не индексировать страницу:

HTTP / 1.1 200 ОК
  (…)
   X-Robots-Tag: noindex
   (…)

Узнайте больше о заголовке ответа noindex .

Помогите нам определить ваши метатеги

Нам необходимо просканировать вашу страницу, чтобы увидеть метатеги и заголовки HTTP. Если страница все еще появляется в результатах, вероятно, потому, что мы не сканировали страницу с тех пор, как вы добавили тег. Вы можете запросить у Google повторное сканирование страницы с помощью Инструмент проверки URL.Другая причина также может заключаться в том, что файл robots.txt блокирует URL-адрес из сети Google. сканеры, поэтому они не могут видеть тег. Чтобы разблокировать свою страницу от Google, вы должны отредактировать свой файл robots.txt. Вы можете редактировать и тестировать свой robots.txt, используя Тестер robots.txt инструмент.

Google меняет способ реагирования на теги NoFollow

Что для вас означает отсутствие индексации? А что делать дальше на NoIndex и NoFollow?

На этой неделе Google объявил, что они изменят свою реакцию на популярные теги rel = ”nofollow”.Эти теги без индексации, которые когда-то считались важной частью SEO, помогли сигнализировать Google, когда вы не хотите, чтобы ваш сайт особо поддерживал другой домен, на который вы ссылаетесь. Сокращение количества спама в комментариях, когда люди могут ссылаться на свои собственные сайты из раздела комментариев популярных веб-сайтов, было важной мотивацией для первоначальной разработки тега без индексации rel = ”nofollow”.

Теперь Google объявил об изменениях в том, как они будут рассматривать эти теги без индексации, а также объявил о введении двух новых тегов, на которые, как мы считаем, нашему сообществу следует обратить внимание.Вот что вам нужно знать об этих последних изменениях Google без индексации.

Что изменится в том, как Google использует ссылки «nofollow»?

Google сказал, что теперь они будут рассматривать теги rel = ”nofollow” как подсказку или предложение. Изменение индексации без изменений запланировано на 1 марта 2020 г.

Вместо того, чтобы полностью игнорировать ссылки, помеченные этим тегом no index, nofollow, гигант поисковых систем теперь будет собирать некоторые полезные данные по ссылке, но учитывать тег при индексировании страниц.Они надеются, что эта система по-прежнему позволит брендам свободно ссылаться на другие сайты, не беспокоясь о непреднамеренном подтверждении, но также упростит поисковой системе получение более полной картины того, как соединяется цифровая экосистема без индексации.

Какие новые безиндексные теги рекомендует Google? Представляем rel = «ugc» и rel = «sponsored»

Теперь, в дополнение к тегу без индексации rel = ”nofollow”, Google также представил два новых тега, которые можно использовать для передачи Google дополнительной информации о содержании на вашем сайте.

Если контент исходит из комментариев посетителей, сообщений на форуме или других материалов, созданных непосредственно пользователем, вы захотите пометить его как rel = ”ugc” , что означает «контент, созданный пользователем».

Если контент поступает из рекламы или других видов спонсорства или платного контента, то правильным тегом будет rel = «спонсируемый» .

Идея этих двух новых тегов состоит в том, чтобы сделать тип контента без индексации, который в прошлом был бы помечен как «nofollow», более понятным для Google.Поисковая система надеется, что эта дополнительная информация поможет им лучше понять, как веб-сайты связаны друг с другом, и что это поможет им раскрыть информацию о контексте материалов, размещенных на вашем домене.

Что мне делать с существующими тегами rel = ”nofollow” и как это повлияет на мой сайт?

Google специально проинструктировал владельцев сайтов не беспокоиться об их существующих тегах без индексации rel = ”nofollow”, поскольку эти теги по-прежнему будут работать как подсказка или подсказка для пауков поисковых систем.Это означает, что вам не нужно беспокоиться о том, чтобы вернуться и отредактировать уже опубликованные страницы с новыми тегами без индекса.

Однако поисковая система рекомендует, чтобы люди начали использовать теги rel = «sponsored» или rel = «ugc» как часть будущего рабочего процесса.

Google также сообщает, что они не ожидают больших скачков в рейтинге из-за этих изменений, особенно потому, что они по-прежнему будут учитывать теги rel = ”nofollow”.

Что может быть интересно, однако, это посмотреть, влияют ли изменения в том, как Google интерпретирует тег «nofollow», на ссылки, поступающие с крупных сайтов, которые обычно «nofollow», как правило, на все исходящие ссылки, такие как Википедия.Если в будущем Google начнет распознавать больше этих ссылок, то количество сайтов с обратными ссылками с этих крупных сайтов может увеличиться.

Решение Google изменить отношение к тегам rel = «nofollow», скорее всего, не окажет немедленного влияния на веб-сайты и их рейтинг. На данный момент мы рекомендуем нашему сообществу сделать все возможное, чтобы внедрить новые предложения Google без тегов индексации. Хотя поисковая система указала, что бренды не должны начинать использовать индексные теги «по своему усмотрению», соответствие последним изменениям в рекомендациях и политике Google, как правило, создает для брендов наибольшие шансы на успех.

Узнайте больше о том, как адаптироваться к изменениям алгоритмов Google с помощью BrightEdge.

Что это такое и как их использовать?

Три слова, приведенные выше, могут звучать как SEO gobbledegook, но это слова, которые стоит знать, поскольку понимание того, как их использовать, означает, что вы можете управлять роботом Googlebot. Это весело.

Итак, начнем с основ: есть три способа контролировать, какие части вашего сайта будут сканироваться поисковыми системами:

Noindex: указывает поисковым системам не включать ваши страницы в результаты поиска.
Disallow: запрещает сканирование ваших страниц.
Nofollow: говорит им не переходить по ссылкам на вашей странице.

Что такое метатег Noindex?

Тег noindex указывает поисковым системам не включать страницу в результаты поиска.

Самый распространенный метод запрета индексации страницы — это добавить тег в заголовок HTML или в заголовки ответов. Чтобы поисковые системы могли видеть эту информацию, страница не должна быть заблокирована (запрещена) в файле robots.txt файл. Если страница заблокирована с помощью вашего файла robots.txt, Google никогда не увидит тег noindex, и страница может по-прежнему отображаться в результатах поиска.

Чтобы поисковые системы не индексировали вашу страницу, просто добавьте следующее в раздел :

Вторая часть тега содержимого здесь указывает, что необходимо переходить по всем ссылкам на этой странице, которые мы обсудим ниже.

В качестве альтернативы тег noindex можно использовать в теге X-Robots-Tag в заголовке HTTP:

X-Robots-Tag: noindex

Дополнительную информацию см. В сообщении разработчиков Google о спецификациях метатега Robots и HTTP-заголовка X-Robots-Tag.

Как я могу использовать Noindex в файле Robots.txt?

Тег noindex в файле robots.txt также указывает поисковым системам не включать страницу в результаты поиска, но это более быстрый и простой способ не индексировать сразу много страниц, особенно если у вас есть доступ к вашему robots.txt. файл. Например, вы не можете индексировать любые URL-адреса в определенной папке.

Вот пример директивы noindex, которую можно поместить в файл robots.txt:

Noindex: / robots-txt-noindexed-page /

Однако Google не рекомендует использовать этот метод: Джон Мюллер заявил, что «не следует полагаться на него».

Что такое запретительная директива?

Запрещение страницы означает, что вы даете поисковым системам указание не сканировать ее, что необходимо сделать в файле robots.txt вашего сайта. Это полезно, если у вас много страниц или файлов, которые бесполезны для читателей или поискового трафика, поскольку это означает, что поисковые системы не будут тратить время на сканирование этих страниц.

Чтобы добавить запрет, просто добавьте в файл robots.txt следующую строку:

Запретить: / your-page-url /

Если на странице есть внешние ссылки или канонические теги, указывающие на нее, ее все равно можно проиндексировать и ранжировать, поэтому важно сочетать запрет с тегом noindex, как описано ниже.

Предупреждение: запрещая страницу, вы фактически удаляете ее со своего сайта.

Запрещенные страницы не могут передавать PageRank куда-либо еще — поэтому любые ссылки на этих страницах фактически бесполезны с точки зрения SEO — а запрещение страниц, которые должны быть включены, может иметь катастрофические последствия для вашего трафика, поэтому будьте особенно осторожны при написании запрещающих директив.

Как я могу объединить Noindex и Disallow?

Noindex (страница) + Disallow: Disallow не может сочетаться с noindex на странице, потому что страница заблокирована, и поэтому поисковые системы не будут сканировать ее, чтобы знать, что они не должны оставлять страницу вне индекс.

Noindex (robots.txt) + Disallow : предотвращает появление страниц в индексе, а также предотвращает сканирование страниц. Однако помните, что через эту страницу не может пройти PageRank.

Чтобы объединить запрет с индексом noindex в файле robots.txt, просто добавьте обе директивы в файл robots.txt:

Запретить: / example-page-1/

Запретить: / example-page-2/

Noindex: / example-page-1/

Noindex: / example-page-2/

Что такое тег Nofollow?

Тег nofollow в ссылке указывает поисковым системам не использовать ссылку для определения важности связанных страниц (PageRank) или обнаружения дополнительных URL-адресов на том же сайте.

Обычно nofollows использует ссылки в комментариях и другом контенте, который вы не контролируете, платные ссылки, встраиваемые элементы, такие как виджеты или инфографику, ссылки в гостевых сообщениях или что-нибудь не по теме, на которое вы все еще хотите ссылаться.

Исторически сложилось так, что оптимизаторы поисковых систем также избирательно исключали переход по ссылкам, чтобы направлять внутренний PageRank на более важные страницы.

Теги Nofollow могут быть добавлены в одном из двух мест:

страницы (чтобы nofollow все ссылки на этой странице):
Код ссылки (для nofollow отдельной ссылки): пример страницы

nofollow не предотвратит полное сканирование связанной страницы; он просто предотвращает сканирование по этой конкретной ссылке. Наши и другие тесты показали, что Google не будет сканировать URL-адрес, который он находит в ссылке nofollowed.

Google заявляет, что если другой сайт ссылается на ту же страницу без использования тега nofollow или страница отображается в файле Sitemap, эта страница может по-прежнему отображаться в результатах поиска. Точно так же, если это URL, о котором уже знают поисковые системы, добавление ссылки nofollow не удалит его из индекса.

В сентябре 2019 года Google объявил об обновлении своей директивы nofollow и представил два новых атрибута ссылки, а именно:

rel = «sponsored» — Атрибут sponsored следует использовать для идентификации ссылок, предназначенных для рекламных целей, при наличии соглашений о спонсорстве и компенсации.
rel = «ugc» — В качестве атрибута для пользовательского контента это значение рекомендуется для ссылок на сайтах с пользовательским контентом, например для сообщений на форумах и комментариев в блогах.

Кроме того, все ссылки, помеченные как nofollow, sponsored или ugc, теперь обрабатываются как подсказки относительно того, какие ссылки следует учитывать при поиске и сканировании, а не просто как сигнал, как раньше использовалось для nofollow. Вы можете узнать больше об этом обновлении в нашем посте, который также охватывает их влияние и мнения экспертов.

Что такое Noindex Nofollow?

Как упоминалось выше, добавление тега nofollow к странице не препятствует ее полному сканированию.Поэтому, чтобы предотвратить индексирование, вам также нужно не индексировать страницу. Это позволит Google сканировать страницу, но она не будет отображаться в индексе. Страницы, которые вы, вероятно, захотите включить в noindex; страницы администратора / входа, внутренние результаты поиска и страницы регистрации. Чтобы Google полностью прекратил сканирование страницы, вам также следует запретить это (см. Выше).

Другие директивы: Canonical Tags, Pagination и Hreflang

Есть и другие способы сообщить Google и другим поисковым системам, как обрабатывать URL-адреса:

Канонические теги сообщают поисковым системам, какую страницу из группы похожих страниц следует проиндексировать.Канонизированные (т. Е. Вторичные страницы, которые направляют поисковые системы к первичной версии) не включаются в индекс. Если у вас есть отдельные мобильные и настольные сайты, вы должны канонизировать свои мобильные URL-адреса на свои настольные.
Разбивка на страницы группирует несколько страниц вместе, чтобы поисковые системы знали, что они являются частью набора. Поисковые системы должны отдавать приоритет первой странице каждого набора при ранжировании страниц, но все страницы в наборе останутся в индексе.
Hreflang сообщает поисковым системам, какие международные версии одного и того же контента предназначены для какого региона, чтобы они могли определить приоритетность правильной версии для каждой аудитории.Все эти версии останутся в индексе.

Сколько времени вам следует потратить на сокращение краулингового бюджета?

Вы можете услышать много разговоров на форумах SEO о том, насколько важны для SEO эффективность сканирования и бюджет сканирования, и, хотя обычной практикой является запрещение и noindex большие группы страниц, которые не имеют никакой пользы для поисковых систем или читателей (например, back -end кода, который используется только для работы сайта или некоторых типов дублированного контента), решение о том, скрывать ли много отдельных страниц, вероятно, не лучший вариант использования времени и усилий.

Google любит индексировать как можно больше URL-адресов, поэтому, если нет особой причины скрыть страницу от поисковых систем, обычно можно оставить решение на усмотрение Google. В любом случае, даже если вы скроете страницы от поисковых систем, Google все равно будет проверять, изменились ли эти URL-адреса. Это особенно актуально, если есть ссылки, указывающие на эту страницу; даже если Google забыл об URL-адресе, он может снова обнаружить его в следующий раз, когда на него будет найдена ссылка.

Тестирование с помощью Search Console, DeepCrawl и Robotto

Тестовые роботы.txt с помощью Search Console

Тестер robots.txt в Search Console (в разделе «Сканирование») — популярный и в значительной степени эффективный способ проверить новую версию вашего файла на наличие ошибок до того, как он будет опубликован, или проверить конкретный URL, чтобы убедиться, что он заблокирован:

Однако этот инструмент не работает точно так же, как Google, с некоторыми небольшими различиями в конфликтующих правилах разрешения / запрета, которые имеют одинаковую длину.

Инструмент тестирования robots.txt сообщает, что это разрешено, однако Google сказал: «Если результат не определен, robots.txt могут разрешить или запретить сканирование. По этой причине не рекомендуется полагаться на то, что какой-либо из результатов будет использоваться повсеместно ».

Подробнее читайте в этом обсуждении на справочном форуме в Центре веб-мастеров.

Найти все неиндексируемые страницы с помощью DeepCrawl

Запустите универсальное сканирование без каких-либо ограничений (но с применением условий robots.txt), чтобы DeepCrawl мог вернуть все ваши URL-адреса и показать вам все индексируемые / неиндексируемые страницы.

Если у вас есть параметры URL, которые были заблокированы для робота Google с помощью Search Console, вы можете имитировать эту настройку для сканирования, используя поле «Удалить параметры» в разделе Расширенные настройки> Перезапись URL .

Затем вы можете использовать следующие отчеты, чтобы убедиться, что сайт настроен так, как вы ожидали при первом сканировании, а затем объединить их со встроенными журналами изменений при последующих сканированиях.

Индексация> Страницы Noindex

В этом отчете будут показаны все страницы, содержащие тег noindex в метаинформации, HTTP-заголовке или файле robots.txt файл.

Индексация> Запрещенные страницы

Этот отчет содержит все URL-адреса, сканирование которых невозможно из-за запрещающего правила в файле robots.txt. На панели управления вашего отчета есть цифры для обоих этих отчетов:

Используйте наши интуитивно понятные отчеты в каждом из наших отчетов, чтобы проверять определенные папки и выявлять шаблоны в URL-адресах, которые в противном случае вы могли бы пропустить:

Протестируйте новый файл robots.txt с помощью DeepCrawl

Используйте роботов DeepCrawl.txt Функция перезаписи в расширенных настройках для замены живого файла на пользовательский.

Затем при следующем запуске сканирования вы можете использовать тестовую версию вместо активной.

В отчетах о добавленных и удаленных запрещенных URL-адресах будет показано, какие именно URL-адреса были затронуты измененным файлом robots.txt, что упростит оценку.

Для получения дополнительной информации прочтите наше руководство по управлению изменениями robots.txt с помощью DeepCrawl.

Хотите еще такого?

Мы надеемся, что этот пост был полезен для вас, когда вы узнали больше о noindex, nofollow и disallow для управления сканированием вашего сайта.

Вы можете узнать больше об этих темах в нашей Технической библиотеке SEO или, если вы хотите узнать, как проводить технический SEO-аудит, прочитайте наше руководство.

Кроме того, если вы заинтересованы в том, чтобы быть в курсе последних обновлений Google и рекомендациями по передовому опыту, почему бы не заглянуть в наши электронные письма?

Loop Me In!

Автор

Сэм Марсден

Сэм Марсден — менеджер по поисковой оптимизации и контенту DeepCrawl.Сэм регулярно выступает на маркетинговых конференциях, таких как SMX и BrightonSEO, и является автором отраслевых публикаций, таких как Search Engine Journal и State of Digital.

Теги

Управление роботами

Что вам нужно знать

Поскольку Google рассматривает атрибут «NoFollow» как подсказку для индексации и сканирования с 1 марта, это хорошее время, чтобы поближе взглянуть на ссылки nofollow, как внутренние, так и внешние, и обсудить преимущества, которые они предоставляют, и различные способы их использования.

В SEMrushchat на прошлой неделе мы обсуждали ссылки nofollow и ссылки перехода (некоторые называют их ссылками dofollow). Стало совершенно очевидно, что в сообществе царит неразбериха по ряду вопросов, связанных с nofollow, поэтому мы решили разбить основы и дать советы по созданию ссылок, которые должен знать каждый оптимизатор и разработчик ссылок.

Что такое ссылки Nofollow?

Google представил опцию rel = «nofollow» в 2005 году для блоггеров, которые боролись с людьми, использующими спам в комментариях, чтобы попытаться построить ссылки в надежде на ранжирование по определенным ключевым словам, таким как «приглашения на свадьбу».»С тех пор Google предлагает использовать атрибуты платных ссылок (практика, за которую Google может оштрафовать вас).

Атрибут nofollow предписывает поисковым системам не переходить по исходящей ссылке, которая помечается тегами, что, по сути, означает, что веб-сайт не поддерживает ссылку.

Как выглядит ссылка Follow и Nofollow

Nofollow используется в HTML вашего исходного кода. Многие CMS предоставляют параметр nofollow при создании ссылок, но если вам нужно закодировать их вручную, у нас есть для вас несколько примеров.

Вот как выглядит следующая ссылка:

Текст привязки идет сюда

Вот как выглядит ссылка nofollow:

Текст привязки

Параметры ссылки Nofollow для Google

В сентябре 2019 года Google анонсировал два новых атрибута ссылки, которые предлагали веб-мастерам дополнительные способы помочь Google определить характер различных ссылок.

Google предлагает использовать атрибут sponsored для идентификации ссылок на вашем сайте, которые были созданы в рамках рекламных, спонсорских или других соглашений о компенсации — это предпочтительный метод, который они запрашивают, если ссылки каким-либо образом оплачиваются.

Рекламный атрибут выглядит следующим образом:

Текст привязки

rel = «ugc»

Google рекомендует помечать ссылки пользовательского контента (UGC), такие как комментарии и сообщения на форуме, как UGC.Однако они добавили, что если вы хотите распознавать и вознаграждать надежных участников, которые неизменно вносят качественный вклад, вы можете удалить этот атрибут из ссылок.

Атрибут UGC («пользовательский контент») выглядит следующим образом:

Текст привязки

Google предлагает использовать rel = «nofollow» следующим образом: «Используйте значение nofollow, когда другие значения не применимы, и вы бы предпочли, чтобы Google не связывал ваш сайт с вашим сайтом и не сканировал с него связанную страницу.(Для ссылок на вашем собственном сайте используйте robots.txt, как описано ниже.) «

Естественные и неестественные входящие и исходящие ссылки

Google оценивает ссылки, поступающие на каждый веб-сайт, чтобы определить, выглядят ли ссылки естественными, т. Е. обычный ссылочный профиль со ссылками с соответствующих веб-сайтов, которые включают в себя ссылки для перехода и nofollow, а также то, что кажется нормальным количеством ссылок. Для чего-либо неестественного следует использовать тег nofollow.

Неестественные ссылки

Если Google видит то, что кажется неестественное количество ссылок, ссылок, которые выглядят платными, или ссылок, которые выглядят так, как будто они были получены для игры в систему.Примеры ссылок, за которые могут быть наложены штрафные санкции или ручные меры:

Покупка или продажа ссылок
Обмен ссылками
Гостевые посты с якорными текстовыми ссылками, содержащими ключевые слова
Автоматизированный линкбилдинг
Каталоги Dofollow
Пресс-релизы

Недавно Google также ввел ручные меры для исходящих ссылок в гостевых сообщениях. Следует отметить, что один издатель, получивший уведомление о мерах вручную от Google, сказал, что на их сайте не было указано, что они принимают гостевые сообщения, а в исходящих ссылках использовался фирменный якорный текст.Узнайте, как разнообразить якорный текст, чтобы он выглядел более естественным в этом посте.

Google отслеживает входящие и исходящие ссылки с вашего веб-сайта. Nofollow использовался для предотвращения ручных действий, но недавно Google заявил: «С 1 марта 2020 года nofollow станет подсказкой для целей сканирования и индексирования». Об этом следует помнить; эти подсказки могут помочь или навредить вам.

В недавнем SEMrushchat, AJ Ghergich объяснил: «Google перерос первоначальную цель rel =» nofollow «, и эти обновления являются способом подтверждения / решения этой проблемы.rel = «ugc» приятно иметь блоггерам и издателям, и мы планируем реализовать его на нескольких клиентах. В настоящее время мы не занимаемся размещением платных ссылок / контента, поэтому на данный момент у нас нет потребности в «спонсируемых». Тем не менее, я ожидаю, что более крупные издатели, такие как Forbes, примут его ».

Мы связались с AJ и попросили его совета по использованию новых атрибутов:

« Большое изменение здесь заключается в том, что rel = «nofollow» раньше был общий список по умолчанию. Теперь вы должны использовать его только тогда, когда теги UGC или Sponsored не применяются.Это должно быть довольно редко.

Используйте rel = ugc в разделе комментариев в своем блоге или в сообщениях на форуме.
Используйте rel = ”sponsored” для рекламных материалов, платных гостевых постов или размещения ссылок.
Используйте rel = «nofollow», если вы не можете поручиться за контент, который не совсем подходит для UGC или спонсируемого. «

NoFollow vs. NoIndex: в чем разница?

Мы заметили путаницу по поводу как запретить Google индексировать страницу, поэтому мы хотим убедиться, что наше сообщество знает разницу между nofollow и noindex и какие параметры у них есть.

Как указано выше, nofollow можно использовать для отдельных ссылок. Nofollow также можно добавить в страницы, который сообщает поисковым системам, что все ссылки на этой странице запрещены:

Если вы используете это в надежде, что Google не будет сканировать страницы вашего собственного сайта с помощью этой директивы, знайте, что в прошлом это было бы сигналом для Google не сканировать страницу по определенной ссылке, но это не мешает Google сканировать страницу другим способом.И если Google теперь рассматривает nofollow как «подсказку», то эта стратегия вам не подойдет.

Если вы не хотите, чтобы Google сканировал или индексировал страницу вашего сайта, вам придется использовать тег noindex.

Метатег Noindex

Тег «noindex» сообщает поисковым системам, что вы не хотите, чтобы страница включалась в результаты поиска. Google сообщает: «Когда робот Googlebot в следующий раз просканирует эту страницу и увидит тег или заголовок, он полностью исключит эту страницу из результатов поиска Google, независимо от того, ссылаются ли на нее другие сайты.«

» Они также заявляют: «Чтобы директива noindex действовала, страница не должна блокироваться файлом robots.txt. Если страница заблокирована файлом robots.txt, сканер никогда не увидит директиву noindex, и страница все равно может отображаться в результатах поиска, например, если на нее ссылаются другие страницы ».

Вы можете добавить тег noindex в раздел заголовка в HTML для конкретной страницы, например:

Или вы можете добавить его с помощью HTTP-заголовка X-robots-tag:

X-Robots-Tag: noindex

С помощью X-robots-tag вы не можете проиндексировать всю страницу или отдельные элементы страницы.

Избегайте использования Nofollow, чтобы помешать Google индексировать страницу

В прошлом люди использовали nofollow, чтобы попытаться предотвратить сканирование и индексирование страницы Google, но это не самая эффективная стратегия; noindex — это то, что вам нужно.

Никогда не был поклонником использования rel = «nofollow» для управления сканированием. Однако многие сайты электронной коммерции используют его как быстрое «исправление» для фасетной навигации. Если вы это сделаете, вам нужно будет внимательно следить за поведением сканирования Google.

Обычно я излишне осторожен, и если я действительно не хочу, чтобы страница просматривалась, я использую одновременно «nofollow» и «noindex».Очевидно, бывают случаи, когда в этом нет необходимости, но мне нравится пытаться прикрыть свои базы.

Сканирование, индексирование и рейтинг

Наблюдая за #semrushchat и понимая, что многие специалисты по поисковой оптимизации не понимают разницы между индексированием сканирования и ранжированием.

Мы наблюдали ту же путаницу, поэтому снова попросили AJ Ghergich разъяснить нам. Вот что он сказал:

«Очень легко объединить сканирование, индексирование и ранжирование. Важно помнить, что это три разных процесса.

Сканирование — Google переходит по ссылкам для обнаружения нового или обновленного содержания в Интернете.
Индексирование — Google анализирует и сохраняет всю информацию и контент, которые он сканирует.
Рейтинг — Google просматривает в своем индексе контент и информацию, которые лучше всего соответствуют поисковому запросу пользователя.

На первый взгляд очень простой, но может быстро усложниться. Например, Google заявляет…

«Страницы заблокированы в robots.txt не будет сканироваться, но все же может быть проиндексирован, если на него ссылается другая страница. (Google может определить содержание страницы по ссылке, указывающей на нее, и проиндексировать страницу без анализа ее содержимого.) ‘»

Использует ли Google в настоящее время rel =» nofollow «в качестве подсказки?

Барри Шварц спросил Джона Мюллер и Гэри Иллис, каких изменений нам следует ожидать 28 февраля.

Мы спросили наше сообщество в чате, заметили ли они какие-либо изменения на своих веб-сайтах, и большинство полагало, что любые изменения, которые они видели с 1 марта, были в результате их усилий по поисковой оптимизации или недавних изменений алгоритмов.Мы не знаем, использовал ли Google их все время в качестве подсказок или произойдут какие-то серьезные изменения, которые можно будет измерить. Что мы действительно знаем, так это то, что они хотят, чтобы мы использовали атрибуты nofollow в качестве передовых методов.

Мы наблюдали небольшие изменения в видимости сайта для ряда наших клиентов, но трудно определить, является ли это результатом изменения Google в том, как они обрабатывают nofollow. Мы действительно видели, что большинство изменений произошло в результате подтвержденных обновлений основного алгоритма.

Вы были бы маргариткой, если бы так сделали.:) Одна из немногих вещей, в которые я верю от агентов прессы GOOG: существует более 200 сигналов ранжирования. Так что, если использование этого дало эффект, мы все обречены.

AJ Ghergich заявил в нашем чате, что «Вставка корреляции не является здесь предложением об исключении причинно-следственной связи». Мы попросили его прояснить этот момент для тех, кто не слышал об этом раньше, и он сказал: «Мы видели рост рейтингов по всем направлениям и во многих категориях. Однако невозможно сопоставить изменения Nofollow с этими рейтингами, потому что так играют роль многие другие факторы.«

Что касается воздействия, которое мы можем увидеть, — сказал AJ, — Google сказал, что теперь он рассматривает эти подсказки и« другие сигналы как способ лучше понять, как правильно анализировать и использовать ссылки в наших системах ». Google расширил это, заявив, что одной из причин этого изменения было то, что эти ссылки предоставляют ценную информацию — например, как текст привязки описывает контент, на который они ссылаются — и что, глядя на все ссылки, которые они находят, они могут начать распознавать «неестественное шаблоны связывания.

Кроме того, Google также заявил, что «переход к модели подсказок не изменит характер нашего отношения к таким ссылкам. Как правило, мы будем относиться к ним так же, как и раньше с Nofollow, и не будем рассматривать их для целей ранжирования ». Итак, эти подсказки открывают дополнительные возможности для обучения Google, но мы можем не сразу увидеть большого эффекта от этого ».

Как мне проверить наличие ссылок nofollow?

Если вы хотите узнать, используются ли теги nofollow на странице вы можете сделать это вручную — от страницы к странице.Для начала просто перейдите на страницу, щелкните правой кнопкой мыши и выберите «просмотреть источник страницы»:

Затем нажмите control / command F и найдите nofollow. Нажимая на стрелки, вы можете увидеть все nofollow на странице.

SEO Quake Extension

Это расширение позволит вам быстро увидеть все внешние ссылки, включая отслеживание и nofollow.

SEMrush Domain Analytics

Если вы хотите увидеть разделение между Follow и nofollow для вашего сайта или сайта конкурента, вы можете использовать SEMrush Domain Analytics.

Подходят ли ссылки nofollow для построения ссылок?

Многие люди считают, что построение ссылок имеет значение только в том случае, если вы получаете ссылку для подписки. Хотя качественные ссылки для перехода могут быть полезны для SEO, получение ссылок nofollow дает очевидные преимущества. Вот лишь несколько:

Увеличенный трафик — Хотя многие крупные сайты используют nofollow все исходящие ссылки на своих сайтах, они способны отправлять огромные объемы трафика.

Основной способ присвоения ценности ссылкам NoFollow — это количество и качество реферального трафика, который они доставляют вашему клиенту. Полная остановка.

Известность бренда — Упоминание на качественных сайтах, релевантных вашей аудитории, отлично способствует узнаваемости бренда.
Построение доверия — Ссылки на качественных сайтах могут укрепить доверие у вашей целевой аудитории. Еще один бонус: чем больше потребителей видят ваш бренд, тем больше они начинают доверять.
Доверие может привести к переходу по ссылкам — Один сайт my nofollow — ссылка на ваш сайт, но их читатели могут оценить вашу информацию и поставить на вас ссылку для перехода.
Естественный профиль обратных ссылок — Если вы создаете ссылки, вы не можете получить слишком много ссылок для перехода за один раз, потому что это выглядит неестественно. Чтобы выглядеть естественно, вам нужно иметь и nofollow, и следовать.
Избегайте штрафа за исходящие ссылки — Если вы не переходите по ссылкам, вам не нужно беспокоиться о том, что Google вручную установит на вашем сайте меры для ссылок.
Качественный трафик — Трафик хороший, но всем нужен трафик, который ведет к продажам, поэтому, если ссылка nofollow ведет к вашим лидам и продажам, это очень ценная ссылка.

Привлекают ли ваши ссылки nofollow квалифицированный трафик? Если да, то это хорошие ссылки.

Как использовать SEMrush для поиска проблем с ссылками Nofollow

Если вы не знаете, как nofollow используется или не используется на вашем сайте, инструмент SEMrush Site Audit предоставит вам ценную информацию, которая вам нужна.Давайте посмотрим на пример. Ниже вы увидите, что на этом сайте есть 10 внутренних ссылок, использующих nofollow; это может не быть проблемой, если вы ссылаетесь на страницу входа в систему, но в данном случае это были ссылки на их главную страницу блога. Это нужно исправить (как и неработающие внутренние ссылки).

1158 исходящих ссылок nofollow были выполнены правильно.

Аналитика обратных ссылок

Я упомянул инструмент Domain Analytics, который включает нашу программу проверки обратных ссылок выше, но я хотел указать, что вы можете видеть и экспортировать все свои nofollow ссылки, а также отфильтровывать спонсируемые и пользовательские ссылки а также, чтобы быстро увидеть, как ваш сайт управляет исходящими ссылками.

Ресурсы для создания ссылок:

Google Now видит ссылки NoFollow как подсказки!

Еще в сентябре 2019 года Google объявил, что они «развивают» атрибут ссылки nofollow и способ его интерпретации и использования при передаче ссылочного веса с одной страницы на другую через ссылки.

Напомним, что эта «эволюция» состояла из 3 частей:

Введение атрибута ссылки rel = «sponsored» .Этот атрибут определяет ссылки, которые вы размещаете на своем сайте в рамках рекламных, партнерских или других соглашений, в которых один человек платит другому за ссылку.
Введение атрибута ссылки rel = «ugc» . «UGC» означает «пользовательский контент». Пользовательский контент относится к таким вещам, как комментарии в блогах, сообщения на форуме или другие способы, которыми веб-сайт может позволить своим пользователям создавать контент, содержащий ссылки. Атрибут ссылки nofollow был первоначально создан как способ борьбы со старой техникой построения ссылок на спам в комментариях блога.
Переосмысление атрибута rel = «nofollow» как подсказки, а не директивы. Когда Google видит атрибут nofollow, он игнорирует ссылку для целей индексации. Это означает, что Google не будет посещать связанную страницу.

Однако, начиная с 1 марта, последний пункт списка изменится. Атрибут nofollow по-прежнему будет способом владельцев веб-сайтов сказать Google, чтобы он не переходил по ссылке, но Google увидит это только как предложение — или «намек», как говорит Google, — а не то, что они должны сделать .

Фактически, Google будет использовать все типы rel = в качестве подсказок.

Что сделает это изменение?

В каком-то смысле это обновление, скорее всего, не сильно изменит для большинства людей. Google смог использовать ссылки nofollow при ранжировании страниц в результатах поиска и делает это некоторое время. Поэтому, если на вашем веб-сайте есть обратные ссылки, указывающие на ваш веб-сайт, которые используют атрибут nofollow, не ожидайте внезапного увеличения количества ссылок на ваших страницах.

Это подтверждено Гэри Иллисом:

Да
— Гэри «鯨理／ 경리» Illyes (@methode) 28 февраля 2020 г.

И Джон Мюллер:

Я не удивлюсь, если это не окажет видимого эффекта на большинстве сайтов.
— 🍌 John 🍌 (@JohnMu) 28 февраля 2020 г.

Гэри и Джон — известные гуглеры.

Что делать с обновлением NoFollow

Вам необходимо вносить какие-либо изменения или обновления на свой сайт только в том случае, если вы полагались исключительно на внутренние ссылки nofollow, чтобы Google не мог найти страницы на вашем сайте. Этого делать не следует, потому что это было бы крайне неэффективным способом убрать страницы из результатов поиска Google.

Для любых страниц, которые вы хотите исключить из результатов поиска, вы должны вместо этого полагаться на следующие методы:

Роботы.txt: Убедитесь, что эта страница запрещена в файле robots.txt вашего веб-сайта. Вы можете проверить вкладку «Запрещенные страницы» в разделе «Индексирование» при сканировании сайта WooRank, чтобы проверить наличие страниц, запрещенных файлом robots.txt. Все страницы, запрещенные robots.txt, появятся здесь:

Кроме того, вы можете проверить отдельную страницу с помощью инструмента проверки URL в Google Search Console.
Тег noindex: Отдельные страницы, которые вы не хотите отображать в результатах поиска, должны включать так называемый «тег noindex».Эти теги используются при добавлении атрибута rel = ”noindex” к метатегу robots страницы. Когда поисковые системы посещают страницу и читают ее код, они видят тег noindex и знают, что этот контент не следует включать в свои индексы. Страницы, которые не были проиндексированы, появятся на вкладке «Неиндексируемые страницы» в разделе «Индексирование» сканирования сайта.

Для любых страниц, которые вы хотите исключить из результатов поиска, следует использовать оба метода, чтобы Google мог видеть эту информацию независимо от того, как она попадает на страницу.

Если вы уже этим занимаетесь, то поздравляю! В свете этого обновления вам ничего не нужно (или что вы можете) делать. Если вы еще не используете файл robots.txt и теги noindex для исключения страниц из индекса Google, вы должны начать делать это сейчас.

Почему Google меняет NoFollow?

Гэри Илес обратился к этому во время своего выступления на PubCon Las Vegas 2020. Одной из главных движущих сил этого изменения был тот факт, что nofollow-ссылки мешали Google видеть и понимать части Интернета.

Рассматривая nofollow как подсказку в будущем, Google сможет лучше использовать эти ссылки при попытке улучшить свои различные системы сканирования, индексации и ранжирования.

Ожидаете ли вы, что это изменение сильно повлияет на ваш сайт? Используете ли вы ссылки nofollow во внутренних ссылках? Вы внесли какие-нибудь изменения, чтобы приспособиться?

Rel Noindex Тег Nofollow vs мета noindex nofollow | SEO вопросы и ответы

Привет,

Наш сайт генерирует новый URL-адрес для каждого бренда в данной категории.Когда новый бренд связан с категорией, CMS создает новый URL-адрес, и этот URL-адрес принимает URL-адрес над заголовком страницы, мета-описанием, а также содержимым SEO.

Это приводит к такой ситуации:

https://www.google.co.za/search?hl=en&tbo=d&site=&source=hp&q=site%3Awww.zando.co.za%2Fwomen%2Fshoes%2F&oq=site%3Awww.zando.co.za % 2Fwomen% 2Fshoes% 2F & gs_l = hp.3 … 3516.8501.0.8671.33.29.0.0.0.0.451.4019.11j9j2j2j2.26.0.les% 3B..0.0 … 1c.1.3.hp.OEZ_I8N1B7s

Обратите внимание на «Женская обувь.Давайте будем честными здесь. Дамы любят свою обувь … «в мета-описании много-много результатов.

Я хочу решить Meta Desc. проблема дублирования и сделать каждую поисковую выдачу более интерактивной с помощью:

Запрашивает каждую / $ category / $ brand / page на предмет уникальных свойств и создает метаописание на основе результатов этих запросов. Это будет выполняться на лету при каждой загрузке страницы.

Так, например, для http://www.zando.co.za/women/shoes/heels/friis-company/

Я бы создал метаописание.

каблуки Friis Company на сайте Zando.co.za. Доступны от 459 рандов в черном, синем, коричневом и других размерах, размеры от 3 до 8. Просмотрите более 22 женских туфель Friss Company по цене от 459 рандов или 9 простых платежей по 146,92 рэндов. Бесплатная доставка по ЮАР. Бесплатный возврат.

Категория бренда $

на Zando.co.za. Доступны от $ low в $ colour1, $ colour2, $ colour3 и других размерах от $ sizeLowest до $ sizeHighest. Просмотрите более $ itemcount $ brand $ пол $ категорию от $ low или $ payments easy payments на сумму $ paymentAmount.Бесплатная доставка по ЮАР. Бесплатный возврат.

Теперь, учитывая, что (на момент написания) существует 5100 страниц конкатенации, это плохая идея? Я добавил логику, которая будет создавать соответствующие описания на основе страницы. Это также будет учитывать более естественные вариации. Я также знаю об обрезке 155 с лишним символов.

Взгляните на одну из наших дочерних компаний, которая просто наклеивает название бренда на лицевой стороне:

http://www.jabong.com/women/shoes/lara-karen/

Конечно, мое предложение лучше для двигателей и людей? Единственное, что есть; Включая цены, отлично подходит для моей местной аудитории, которая хочет сайты в Южной Африке, но может отображать устаревшую самую низкую цену в этой категории между обновлениями кеша.

Спасибо

Пол.

Здесь следует псевдокод, чтобы вы могли видеть дерево принятия решений. Я попытался спроектировать его так, чтобы разделы могли давать сбой, а мета-описание по-прежнему имело смысл.

echo $ brand $ category «на Zando.co.za. Доступно с» самых низких цен «

/ * верхняя строка — это сводка * /

, если ($ colourCount> 2) {

echo «в» $ colour1 «,» $ colour2 «,» $ colour3 «и др.»

}

, если ($ sizeDiff ()> 4) {

echo «, в размерах от» $ sizeLow «до» $ sizeHigh

}

, если ($ invCount> 20) {

эхо ».Просмотрите «$ категорию» в «$ invCount $ brand $ gender» в Zando, доступную по цене от

if ($ low-> hasInstallments ()) {

echo «или» $ payments «простые платежи на сумму» $ paymentAmount

} else {

echo «. Просмотрите нашу коллекцию» $ brand «категории» $ пол $ «на Zando.co.za — цена от

if ($ low-> hasInstallments ()) {

echo «или» $ payments «простые платежи на сумму» $ paymentAmount

}

эхо ».Бесплатная доставка по ЮАР. Бесплатный возврат. «/ * Также является частью catch all * /

Белая шляпа / Черная шляпа SEO | | РакетаЗандо
Как эффективно удалить страницу из Google (2020)

Во-первых, давайте разберемся, что все на самом деле делает. (Если вы уже знаете все это, перейдите к последнему разделу «Но как мне на самом деле удалить страницу?»).

Роботы.txt

Что такое Robots.txt?

Файл robots.txt позволяет контролировать, куда будут заходить поисковые роботы на вашем сайте. Причудливое название для этого — «Протокол исключения роботов», и оно позволяет указать, какие части вашего сайта не должны просматриваться или обрабатываться.

Несмотря на то, что существуют директивы, которые позволяют без индексации страницы в файле роботов, от Google поступают неоднозначные сообщения о том, хотят ли они, чтобы вы это сделали.

Вердикт : Не использовать роботов .txt , чтобы удалить страницу. Это неэффективный способ удалить существующую страницу из индекса.

Инструмент для удаления URL в Инструментах для веб-мастеров (Search Console)

Что такое инструмент для удаления URL?

Консоль поиска Google — это кладезь полезных инструментов и информации о вашем веб-сайте, она должна быть у всех, кто владеет сайтом. Инструмент удаления позволяет временно удалить страницу из индекса.

Вердикт : действует в краткосрочной перспективе — однако, чтобы страница не переиндексировалась… продолжайте читать.

Мета Роботы Noindex

Что такое метатег name = «robots» content = «noindex»?

Это HTML-тег, который вы можете добавить на любую страницу, чтобы Google не индексировал страницу. И записывается так: meta name = "robots" content = "noindex" (не забывайте открывающие и закрывающие теги, которые WP удалил в моем примере). Ознакомьтесь со спецификациями Google здесь.

Вердикт : Действует в долгосрочной перспективе. Это предотвратит индексирование вашей страницы поисковыми системами при правильном применении.

Nofollow

Что такое nofollow?

В зависимости от контекста и места добавления директивы nofollow. Это может означать две вещи. Он либо применяется к отдельным ссылкам с атрибутом rel = ”nofollow”, либо может применяться в мета-директиве robots, которая сообщает Google не переходить ни по одной из ссылок на странице, на которую вы его добавили.

Вердикт : нет, не использовать это для удаления существующей страницы из индекса.

Но как мне удалить страницу?

Итак, теперь у нас есть вся эта информация.

Во-первых, если у вас нет проверенных Инструментов для веб-мастеров, сделайте это, а затем вернитесь. Во-вторых, вам необходимо иметь доступ к HTML отдельных страниц вашего сайта. Если вы используете CMS, например WordPress, установите плагин Yoast и следуйте этим инструкциям.

Если вы используете другую систему управления контентом, выполните поиск «* ваша CMS * noindex a page». например ‘Drupal noindex a page’. Если вы не используете WordPress или другую систему управления контентом и у вас есть доступ к HTML-кодам своих страниц, добавьте следующий код между тегами HEAD страницы-нарушителя: meta name = "robots" content = "noindex" (опять же, обратите внимание на открывающие и закрывающие теги, которые здесь были удалены WP).

В-третьих, перейдите к подтвержденному ресурсу Инструментов для веб-мастеров (Search Console) и перейдите к раскрывающемуся списку «Индекс Google», а затем к разделу «Удалить URL-адреса». Вставьте URL, который вы хотите удалить, туда (который, надеюсь, должен содержать недавно добавленный метатег robots) и имя Роберта, брата вашего отца. Ваша страница должна быть удалена навсегда!

* Головоломки

Убедитесь, что не заблокировали (не запретили) страницу с файлом robots.txt, так как Google не сможет «увидеть» директиву noindex, и вы получите следующее сообщение в результатах поиска, где должно быть ваше метаописание: Описание этого результата недоступно из-за robots.текст’. Затем вы можете крикнуть своему разработчику и сказать: «Смотри, я сказал тебе, Саймон».

Подробнее о robots.txt

Если у вас возникли проблемы с этим или у вас есть более сложная проблема с индексированием, с которой вам нужна помощь. Свяжитесь с нами, и мы сможем вам помочь.
.