Разница noindex nofollow: Что такое и чем различаются noindex и nofollow

Содержание

В чем разница dofollow и nofollow ссылки. Все правила применения атрибута nofollow в SEO в 2023 году

Споры о том, нужны ли nofollow-ссылки для SEO — бесконечны. Главный тезис спора:

Если nofollow-ссылки не передают ссылочный вес, а значит не влияют на продвижение сайта, зачем их добывать?

Если вы согласны с этим мнением, то сегодня ваш мир изменится🤫

В этой статье мы разберем, что такое dofollow-ссылка и nofollow-ссылка, чем они отличаются и нужно ли использовать nofollow-ссылки при продвижении сайта в 2023 году. 

Что такое dofollow-ссылки?

Техническое определение:

Dofollow — гиперссылки, ведущие на определенный сайт или страницу. Такие ссылки дают роботам поисковых систем сигнал к переходу и сканированию страницы, на которой расположены.

Пример:

<a href="url" rel="dofollow">текст ссылки</a>

Что такое nofollow-ссылки?

Техническое определение:

Nofollow — это значение атрибута rel для HTML-тега «a» (rel="nofollow").

Пример:

<a href="http://site.com/" rel="nofollow">текст ссылки</a>

В чем разница между dofollow-ссылкой и nofollow-ссылкой?

Дуфоллоу-ссылки 100% учитываются поисковыми системами, а нофоллоу учитываются выборочно. Они больше работают как подсказки при ранжировании. 

Поэтому при ссылочном продвижении сайта, специалисты стараются добыть с внешних площадок больше dofollow-ссылок. Но если вы хотите создать естественный ссылочный профиль, стоит добывать ссылки разных видов.

Зачем нужны nofollow ссылки в линкбилдинге?

Последнее время я все чаще сталкиваюсь с мнением, что nofollow-ссылки — это плохо. Большинство наших клиентов указывают в ТЗ 100% dofollow. Меня это настораживает, особенно, если заказчик — молодой сайт.

Зачем нужны нофоллоу-ссылки сайту? Да и нужны ли они вообще, может они бесполезны и нужно их максимально избегать или стараться вообще не получать. Ответы на эти вопросы вы найдете в видео (привязка ко времени):

Аргумент №1: доверяем лидерам

Первый аргумент в пользу того, зачем все-таки нужно использовать nofollow-ссылки — это справка Google.  

Существует мнение, что если присвоить атрибут nofollow-ссылке, то Google не будет по ней переходить. Если дословно перевести, “nofollow” означает “не следовать”.

Мы «как бы» запрещаем поисковым роботам переходить по этой ссылке. Соответственно, она не будет проиндексирована и учтена. Но! Как мы видим, в справке Google добавлено фраза “как правило”. А это не значит “всегда”. 

Я глубоко убежден, что nofollow-ссылки учитываются. Особенно, если они трафиковые и стоят в нужном месте. Такие ссылки безусловно важны и работают. Вы можете с этим спорить, но если это написано в справке Google, то, скорее всего, так и есть.

Аргумент № 2: сайтов со 100% dofollow ссылками нет

При внедрении крауд-маркетинга, гостевых публикаций и т.д., все хотят dofollow-ссылки с коммерческими анкорами. Это, конечно, здорово, но далеко от реальности. 

А реальность такова, что практически не существует сайтов, у которых 0% nofollow-ссылок. Как правило, их достаточно много.

Количество nofollow-ссылок в профиле зависит от того, каким методам ссылочного продвижения вы отдаете предпочтение. Если вы только начали работать с сайтом, регистрируете его в каталогах и работаете с форумами, то на таких площадках априори доля nofollow и redirect-ссылок выше. 

Если вы базируетесь на крауд-маркетинге и у вас 100% dofollow-ссылок — это странно, потому что такого не бывает. Данная ситуация точно привлечет внимание поисковых систем, что может привести к наложению санкций на сайт.

Работает ли распространенная формула: 20% nofollow-ссылок, 80% dofollow-ссылок? Рассказывает Игорь Шулежко — CEO & Founder Rankup-Company, Brand Ambassador Serpstat, Co-owner Shmeo.Link (привязка ко времени):

Аргумент № 3: огромное количество топовых площадок размещают только nofollow

Существует огромное количество крутых площадок, которые размещают только nofollow-ссылки и нет причины с такими площадками не работать. Они дают вам переходы на целевой сайт, узнаваемость компании в сети и, собственно, клиентов. 

Да, они не дадут вам dofollow-ссылку, но nofollow, которую они разместят даст вам переходы заинтересованной целевой аудитории. Обратите внимание на Serpstat Blog:

Теперь возьмем для примера ссылку в какой-то блоговой статье: 

Видим, что она с атрибутом nofollow. При этом хорошая трафиковая площадка. В этом нет ничего плохого.

Если вы не используете nofollow ссылки — вы теряете возможности.

Что вам дает использование nofollow ссылок?

  1. Безопасность ссылочного профиля. Если вы будете стараться размещать максимальное количество dofollow-ссылок — это будет выглядеть странно на фоне других сайтов вашей ниши.
  2. Естественность. При работе над ссылочным, нужно помнить, что “показательный” профиль без nofollow и redirect ссылок, обратит на себя внимание поисковых систем и, в будущем, может привести к попаданию под фильтры.
  3. Больше возможностей. Это самое главное. Не боясь получать nofollow-ссылки, перед вами открываются новые возможности: работа с лучшими площадками, трафиковыми, трастовыми, интересными.  

Использование nofollow-ссылок откроет перед вашим сайтом новые горизонты. Только представьте, если вы будете избегать таких ссылок, а ваши конкуренты — наоборот? Они будут размещаться на самых топовых площадках и общаться на крутых форумах со своей целевой аудиторией, а вы нет. Ведь у вас в голове обосновался миф, что nofollow — это плохо.

Я рекомендую вам отходить от этого стереотипа и все же использовать потенциал nofollow-ссылок. 

Как понять, что ссылка nofollow? И что такое nofollow noopener?

Выбирая площадки для получения ссылок, нужно уметь определять dofollow, nofollow, redirect ссылки.

Самый простой способ это найти внешнюю ссылку и посмотреть ее в коде.

Открываем контекстное меню, жмем Inspect и смотрим, что в коде:

К слову, тег rel="nofollow noopener", по факту это то же самое что и тег nofollow. Именно nofollow noopener начал использоваться в последних версиях WordPress, по этому вы будете видеть его так же часто.

Больше полезных расширений для SEO вы найдете по ссылке.

Сейчас переходим к интересному, к тому как поисковые системы воспринимают nofollow.

Вы ведь этого ждали? 😉

Nofollow в Google

Осенью 2019 года по всему миру прошла неожиданная новость! Google официально заявил, что будет учитывать nofollow-ссылки. Об этом говорится в его официальном блоге:

Кроме этого, поисковая система ввела два новых атрибута:rel=»sponsored» и rel=»ugc». Первый рекомендуется использовать для купленных ссылок (ссылок в рекламных постах, спонсорском контенте), второй — для ссылок в органическом пользовательском контенте (к примеру, в комментариях).

Рекомендуем быть с новыми атрибутами максимально осторожными. Если вы используете атрибут rel=»ugc» на платных ссылках, то это может привести ваш сайт к санкциям.

А в случае, когда вам нужно скрыть от индексации спонсорскую ссылку, то вы вполне можете применить сочетание rel=“sponsored nofollow”. Главное не перепутать😄

Ранее в SEO-кругах бытовало утверждение, что если закрыть все исходящие ссылки от индексации, то сайт будет лучше ранжироваться.

Google считает его неправильными и аргументирует это тем, что закрытие всех исходящих ссылок в nofollow может навредить сайту, то есть понизить позиции в поисковой выдаче.

Подробнее об этом в видео:

Зачем вообще нужны ссылки бизнесу?

Вне зависимости от того, передают nofollow, redirect, span ссылки какой-то вес или нет, главное, что они выполняют свою основную функцию — переводят пользователя с одной страницы на другую.

Повышение узнаваемости

Это значит, что люди будут попадать на ваш сайт, проводить на нем время, касаться вашего бизнеса.

Если у вас качественный продукт, удобный сайт, то вы получите хорошие поведенческие факторы страниц, что непременно повлияет на SEO. Вы получите брендовый и прямой трафик, который имеет большое значение для поисковых систем.

Лидогенерация

Если вы размещаете ссылки на релевантных страницах, то вы получите переходы аудитории, которой интересен ваш продукт и если он качественный, то однозначно получите лиды и заказы.

Ссылки порождают ссылки

Ссылки размещенные в социальных сетях могут не дать вам ожидаемый SEO-эффект, но могут спровоцировать инфоповод и принести ссылки с других площадок.

Если вы способны сгенерировать крутой инфоповод, какая разница, как будут реализованы ссылки?

Где взять лучшие nofollow-ссылки?

Лучшая ссылка = трафиковая. Если по ссылке переходит релевантная аудитория — это полезная ссылка.

Видеохостинги

Youtube — самый популярный видеохостинг в мире и вы думаете, что Гугл не учитывает ссылки, которые стоят под популярными видео?

Или Vimeo:

Рекомендации от видеоблогеров могут дать большой объем трафика с очень хорошими поведенческими:

Социальные сети

twitter.com, flickr.com, tumblr.com и десятки других социальных сетей позволяют поставить ссылку и получить аудиторию:

Форумы

Многие лидирующие форумы закрывают свои ссылки в nofollow или noindex, но это абсолютно не повод не работать с ними. Вот, к примеру, Moz Q&A Forum:

Но если вы хотите dofollow-ссылку, то конечно же исключайте его из своего списка подходящих площадок😜

Q/A

  • reddit.com
  • quora.com

Это платформы с миллиардным месячным трафиком и у них также ссылки в nofollow, а у quora ссылки реализованы через span. Но я не думаю, что поисковые системы не учитывают эти ссылки. Это не логично.

Пример ссылки quora.com:

Рекомендуем прочесть про грамотное ссылочное продвижение сайта на Quora и Reddit.

Вместо заключения 

Главная цель поисковых систем — улучшить результаты выдачи, существенно подняв экспертный контент. Однако тот факт, что ссылки с Википедии и других трастовых ресурсов не учитывались по причине того, что они nofollow, создал замкнутый круг. 

После того, как Google пересмотрел свое отношение к таким ссылкам, можно смело утверждать, что они работают и будут работать в дальнейшем. 

Поэтому, не стоит опасаться nofollow. Если вы добываете их с качественных площадок — это пойдет только на пользу ссылочному профилю вашего сайта. 


Хотите получать ссылки уже сегодня? Просто зарегистрируйтесь в referr-service.com. Наши менеджеры помогут вам во всем разобраться и запустить линкбилдинг.

Можем с уверенностью сказать, что у нас самые лучшие менеджеры в нише крауд-маркетинга и мы поможем решить вам абсолютно любую задачу!

Разница между DoFollow и NoFollow

SEO или поисковая оптимизация — одно из самых важных и обязательных знаний, которое должен иметь владелец веб-сайта. Любой материал, который вы хотите разместить в Интернете, должен подняться в поисковом индексе поисковой системы.

ИТ-викторина

Проверьте свои знания по темам, связанным с технологиями

1 / 10

Кого считают отцом вычислительной техники

Клод Шеннон

Чарльз Бэббидж

Фон Нейман

Грэм Белл

2 / 10

Какая из следующих наиболее продвинутых форм ИИ?

Нейронная сеть

Машинное обучение

Наука данных

Глубокое обучение

3 / 10

Кто основал Apple Computers?

Стив Джобс

Стив Джобс и Стив Возняк

Билл Гейтс

Говард Айкен

4 / 10

Применительно к компьютерной сети точное значение термина VPN:

Виртуальная защищенная сеть

Защищенная от вирусов сеть

Сеть с защитой от вирусов

Виртуальная частная сеть

5 / 10

Сколько номеров домашних страниц может содержать веб-сайт

один

Столько, сколько хотелось бы иметь

Зависит от размера сайта

Зависит от размера содержимого

6 / 10

Светодиод означает:

ЖК-дисплей

Линейный диод

Диаграмма светоизлучающей способности

Светодиод

7 / 10

Операционная система Mac разработана какой компанией

IBM

Яблоко

Microsoft

Samsung

8 / 10

Сохранение файла из Интернета на рабочий стол называется

Загрузка

Загрузка

перенося

Хранение

9 / 10

Электропроводность полупроводниковых материалов

находится между изоляторами и проводниками

чистый изолятор

имеет высокое значение сопротивления

идеальный проводник

10 / 10

WWW означает

Всемирная паутина воина

Всемирная паутина

Все варианты

Всемирная паутина

ваш счет

Есть определенные общие слова, такие как noindex, nofollow, dofollow и meta robots.

 

Мэтт Каттс и Джейсон Шеллен представили концепцию Nofollow еще в 2005 году. Nofollow, значение атрибута HTML, имеет задачу указать ботам в программе, что наличие гиперссылки не влияет на ранжирование целевой ссылки в поисковой выдаче. индекс поисковика.

Он предназначен для минимизации эффективности таких форм спама в поисковых системах.

DoFollow против NoFollow

Отличие ссылки Dofollow от ссылки Nofollow в том, что в последней присутствует тег rel=»nofollow». К ссылкам nofollow прикреплено это, и поэтому они не генерируют Обратных. Можно сказать, что ссылки dofollow имеют более высокий приоритет в случае поисковой оптимизации, в то время как ссылки nofollow не имеют такого большого значения.

Хотите сохранить эту статью на потом? Нажмите на сердечко в правом нижнем углу, чтобы сохранить в свой собственный блок статей!

Их можно использовать только в том случае, если пользователь не хочет создавать обратную ссылку. Тем не менее, рекомендуется использовать оба в вашем контенте.

Сравнительная таблица
Параметр сравненияDofollowНе следует
обратныхИспользуя ссылки dofollow, пользователи могут легко создавать обратные ссылки.Ссылки nofollow не создают никаких обратных ссылок, поэтому невозможно отследить URL-адрес веб-сайта.
rel=тег «nofollow»Основное различие между обеими этими ссылками заключается в том, что URL-адреса dofollow не содержат тега rel=”nofollow”.В случае ссылки nofollow она содержит тег rel=»nofollow», а это означает, что нет никаких шансов, что она сгенерирует обратную ссылку.
Ссылка на прохождение сокаСсылка dofollow пропускает ссылочный вес, так что человек, который просматривает веб-сайт, может пройти по обратной ссылке.Ссылка nofollow не пропускает ссылочный вес.
ВесВес dofollow-ссылок больше в поисковой выдаче. Они легко могут передавать ссылочный вес и создавать обратные ссылки.Вес таких ссылок очень меньше. Это потому, что они не могут создавать обратные ссылки и передавать ссылочный вес.
ПрименениеОни могут легко повысить рейтинг любой страницы, на которую они помещены.Они полезны только тогда, когда пользователи ограничены только концепцией не передачи ссылочного веса, а использования URL-адреса. 
Прохождение поисковых ботовПрохождение ссылочного веса и создание обратных ссылок позволяет роботам поисковых систем проходить через URL-адрес.Атрибуты ссылок Nofollow не позволяют ботам поисковых систем переходить по соединению.

Что такое DoFollow?

Dofollow-ссылки позволяют Google следовать им (всем поисковым системам) и найти веб-сайт, предоставляющий ссылочный вес и обратную ссылку на веб-сайт. Если веб-мастер свяжет вас с этой страницей, и поисковая система, и люди смогут подписаться на вас. 

Включение ключевых слов в якорь текст — это идеальный способ послать кому-нибудь любовь. Это означает использование целевого ключевого слова в качестве анкорного текста при подключении к какому-либо веб-сайту или статье. Вот как SEO находится под влиянием ссылок dofollow.

Что такое NoFollow?

Ссылка nofollow — это ссылка, содержащая атрибут rel=”nofollow” в своем HTML-коде. Этот атрибут информирует поисковые системы о том, что не следует перемещать полномочия на целевую страницу со страницы ссылки. Таким образом, с точки зрения SEO, ссылки Noffollow имеют очень мало значения.

Планируется уменьшить жизнеспособность определенных видов спама в поисковых системах Интернета, улучшая тем самым характер результатов поисковых роботов и предотвращая индексирование спама в любом случае. 

Основные различия между Dofollow и NoFollow
  1. Пользователь может создавать обратные ссылки. Это означает, что один веб-сайт, когда он упоминает ссылку на другой, может быть посещен с помощью ссылки dofollow. Это очень полезно. В случае nofollow обратные ссылки не создаются. Такие ссылки не очень полезны, но их можно использовать во многих других случаях.
  2. В ссылках dofollow отсутствует тег rel=»nofollow». Это означает, что он может создать обратную ссылку на веб-сайт, на который он ссылается, и это делает его удобным. Пример: Гугл . Но, в случае с nofollow, присутствует наличие этого тега. Поэтому она не так удобна, как ссылка dofollow. Наличие этого тега создает большую разницу. Пример: Гугл .
  3. Прохождение ссылочного веса разрешено в случае ссылок dofollow. Следовательно, можно посетить веб-сайт, который упоминается в ключевом слове. Следовательно, его довольно легко посетить. В случае ссылок nofollow ссылочный вес не передается. Вот почему невозможно отслеживать и использовать обратные ссылки. Это одна из причин, почему эта ссылка неудобна. Это означает, что если владелец веб-сайта ссылается на вас с атрибутами nofollow, он не передает ссылочный вес. Только люди могут переходить по этим ссылкам, и, следовательно, это сильно отличается от dofollow.
  4. Вес, который несут ссылки dofollow, очень высок. Очень важно, чтобы эти ссылки были включены в контент, поскольку они имеют высокий вес в рейтинге SEO. Ссылки nofollow не имеют большого веса. Но использовать их — очень хорошая практика, потому что они могут легко помочь в тех случаях, когда человек хочет использовать ссылки, через которые он не хочет, чтобы ссылочный вес проходил.
  5. Из-за их большого веса и способности создавать обратные ссылки они очень часто используются в практике SEO. Это связано с тем, что их вес очень велик. Такой высокий вес означает, что чем больше таких ссылок использует пользователь, тем лучше будет его рейтинг. Ссылки nofollow не имеют большого веса и, следовательно, их использование в основном зависит от пользователя.
  6. Отсутствие тега rel-nofollow позволяет ботам поисковых систем переходить на другие веб-сайты по целевому ключевому слову.
    Вот почему можно сказать, что использование ссылок dofollow чрезвычайно выгодно для тех, кто хочет, чтобы их страница занимала первые места в поисковых системах. В то время как наличие этого тега означает, что роботы поисковых систем не будут пропущены. 

Рекомендации
  1. https://link.springer.com/chapter/10.1007/978-3-030-50072-6_11
  2. http://www.elprofesionaldelainformacion.com/contenidos/2019/ene/09.html
  3. http://www.elprofesionaldelainformacion.com/contenidos/2019/ene/09.html

Один запрос?

Я приложил столько усилий, чтобы написать этот пост в блоге, чтобы предоставить вам ценность. Это будет очень полезно для меня, если вы подумаете о том, чтобы поделиться им в социальных сетях или со своими друзьями/родными. ДЕЛИТЬСЯ ♥️

Сандип Бхандари

Сандип Бхандари имеет степень бакалавра вычислительной техники Университета Тапар (2006 г.). Имеет 20-летний опыт работы в сфере технологий. Он проявляет большой интерес к различным техническим областям, включая системы баз данных, компьютерные сети и программирование.

Подробнее о нем можно прочитать на его био страница.

Как использовать директивы индексирования и индексирования SEO

Главная / Блог Lumar / Передовой опыт / Noindex, Nofollow и Disallow

Узнайте, как использовать директивы индексирования и индексирования для улучшения SEO. Покрытие директив nofollow, noindex и disallow.

Сэм Марсден

SEO и контент-менеджер

Давайте делиться

| 9 минут чтения

*  Примечание. Это сообщение было обновлено 23 января 2023 г.

Три приведенных выше слова могут звучать как SEO-тарабарщина, но это определенно слова, которые стоит знать, поскольку понимание того, как их использовать, означает, что вы можете управлять роботом Googlebot.

. Что весело.

Итак, давайте начнем с основ: есть три способа указать, какие части вашего сайта поисковые системы должны сканировать и индексировать:

  1. Noindex: указывает поисковым системам не включать ваши страницы в результаты поиска. Чтобы боты увидели этот сигнал, страница должна быть доступна для сканирования.
  2. Запретить: запрещает поисковым системам сканировать ваши страницы. Это не гарантирует, что страница не будет проиндексирована.
  3. Nofollow: указывает поисковым системам не переходить по ссылкам на вашей странице.

Итак, давайте начнем с основ: есть три способа указать, какие части вашего сайта поисковые системы должны сканировать и индексировать:

  1. Noindex : указывает поисковым системам не включать ваши страницы в результаты поиска. Чтобы боты увидели этот сигнал, страница должна быть доступна для сканирования.
  2. Disallow : указывает поисковым системам не сканировать ваши страницы. Это не гарантирует, что страница не будет проиндексирована.
  3. Nofollow : сообщает поисковым системам не переходить по ссылкам на вашей странице.

 

Что такое метатег

noindex ?

Тег noindex указывает поисковым системам не включать страницу в результаты поиска.

Самый распространенный способ неиндексирования страницы — добавить тег в раздел заголовка HTML или в заголовки ответов. Чтобы поисковые системы могли видеть эту информацию, страница еще не должна быть заблокирована (запрещена) в файле robots.txt. Если страница заблокирована с помощью вашего файла robots.txt, Google никогда не увидит тег noindex, и страница может по-прежнему отображаться в результатах поиска.

Чтобы запретить поисковым системам индексировать вашу страницу, просто добавьте в раздел следующее:

Кроме того, тег noindex можно использовать в X-Robots-Tag в заголовке HTTP:

X-Robots-Tag: noindex

Дополнительную информацию см. в рекомендациях разработчиков Google по блокировке поискового индексирования с помощью noindex.

 

Что такое директива

disallow ?

Запрет страницы означает, что вы говорите поисковым системам не сканировать ее, что должно быть сделано в файле robots.txt вашего сайта. Это полезно, если у вас есть много страниц или файлов, которые не имеют ценности для обычного поиска, так как это означает, что поисковые системы не будут тратить время на сканирование этих страниц.

Для очень больших сайтов это может быть полезно в максимизации краулингового бюджета .

Чтобы добавить директиву запрета, просто соедините ее с относительным путем URL и добавьте в файл robots.txt:

Запретить: /your-page-url быть также запрещены. Завершите правило знаком /, чтобы это вступило в силу:

Disallow: /directory/

Пользовательский агент должен быть указан где-то над этой строкой. Используйте звездочку в этом поле, чтобы сопоставить все поисковые роботы (кроме Adsbot, имя которого необходимо указать явно). Например:

Агент пользователя: *

Директива disallow просто запрещает ботам сканировать содержимое этих URL-адресов. Запрещенная страница по-прежнему может появиться в индексе, например, если поисковые системы могут найти ее по входящим внешним ссылкам или если она была доступна для сканирования до добавления соответствующего правила запрета. Поскольку страницы становятся недоступными для сканирования с введением правила запрета, эти страницы обычно отображают сообщение «нет доступной информации для этой страницы», когда они появляются в поисковой выдаче.

 

Можно ли сочетать noindex и disallow?

Директивы Disallow не следует сочетать с тегами noindex. Это связано с тем, что предотвращение сканирования страницы поисковыми системами также не позволяет им видеть тег noindex. Страница не будет просканирована, но есть шанс, что она будет проиндексирована, если она будет найдена из других источников.

Если вы действительно не хотите, чтобы страница появлялась в поисковой выдаче, вам подойдет тег noindex.

 

Что такое тег nofollow?

A Тег nofollow на ссылке указывает поисковым системам не передавать ссылочный вес с исходной страницы на целевой сайт. Они также предназначены для предотвращения перехода поисковых систем по ссылке и обнаружения по ней большего количества контента.

Обычное использование для nofollows включает ссылки в комментариях и сообщениях на форуме или любой другой контент, который вы не контролируете. Их также можно найти во многих платных ссылках, встраиваниях, таких как виджеты или инфографика, ссылки в гостевых постах или что-то не по теме, на что вы все еще хотите связать людей, но не обязательно хотите, чтобы поисковые системы следили и сканировали.

Исторически SEO-специалисты также выборочно использовали nofollow-ссылки, чтобы направить внутренний PageRank на более важные страницы.

Теги nofollow можно добавить в одном из двух мест:

  • страницы (для nofollow всех ссылок на этой странице):
  • Код ссылки (для перехода по отдельной ссылке): пример страницы

Nofollow не предотвратит полное сканирование связанной страницы; это просто предотвращает его сканирование по этой конкретной ссылке. Наши собственные и другие тесты показали, что Google не будет сканировать URL-адрес, найденный по ссылке nofollow.

Google заявляет, что если другой сайт ссылается на ту же страницу без использования тега nofollow или страница появляется в карте сайта, страница может по-прежнему отображаться в результатах поиска. Точно так же, если это URL-адрес, о котором поисковые системы уже знают, добавление ссылки nofollow не удалит его из индекса.

В сентябре 2019 года Google объявил об обновлении своей директивы nofollow и ввел два новых атрибута ссылки, а именно:

  • rel=»sponsored» — атрибут спонсируемый должен использоваться для идентификации ссылок, предназначенных для рекламных целей, если спонсорство и компенсационные соглашения существуют.
  • rel=»ugc» — в качестве атрибута пользовательского контента это значение рекомендуется для ссылок на сайтах с пользовательским контентом, например, сообщения на форуме и комментарии в блогах.

Кроме того, все ссылки, помеченные как nofollow, спонсируемые или UGC, теперь рассматриваются как подсказки относительно того, какие ссылки следует учитывать при поиске и сканировании, а не просто как сигнал, как это использовалось ранее для nofollow. Вы можете узнать больше об этом обновлении в нашем посте, в котором также рассказывается об их влиянии, а также о экспертных выводах.

 

Что такое noindex, nofollow?

Как упоминалось выше, добавление тега nofollow на страницу не предотвратит ее сканирование. Чтобы предотвратить индексацию URL-адреса, вам также понадобится тег noindex. Это позволит Google просканировать страницу, но она не появится в индексе. Чтобы запретить Google полностью сканировать страницу, вы должны запретить это через robots.txt.

 

Другие директивы, которые нужно знать: канонические теги, нумерация страниц и hreflang

Существуют и другие способы сообщить Google и другим поисковым системам, как обрабатывать URL-адреса — их тоже стоит знать! Ознакомьтесь с приведенными ниже ресурсами, чтобы узнать больше.

  • Канонические теги сообщают поисковым системам, какая страница из группы похожих страниц должна быть проиндексирована. Канонизированные (т.е. вторичные страницы, направляющие поисковые системы на основную версию) не включаются в индекс. Если у вас есть отдельные мобильные и настольные сайты, вы должны канонизировать свои мобильные URL-адреса на настольные.
  • Пагинация группирует несколько страниц вместе, чтобы поисковые системы знали, что они являются частью набора. Поисковые системы должны отдавать приоритет первой странице каждого набора при ранжировании страниц, но все страницы в наборе останутся в индексе.
  • Hreflang сообщает поисковым системам, какие международные версии одного и того же контента относятся к какому региону, чтобы они могли отдавать приоритет правильной версии для каждой аудитории. Все эти версии останутся в индексе.

 

Сколько времени вы должны потратить на оптимизацию краулингового бюджета?

Вы можете услышать много разговоров на форумах SEO о том, насколько важны эффективность сканирования и бюджет сканирования для SEO. Хотя общепринятой практикой является запрет и запрет на индексирование страниц, которые не приносят пользы поисковым системам или пользователям (например, внутренний код, который используется только для работы сайта, или некоторые типы неполноценного или дублированного контента), необходимо решить, следует ли скрыть множество отдельных страниц, вероятно, не лучшее использование времени и усилий. Если нет особой причины скрывать страницу от поисковых систем, обычно лучше оставить решение за ними.

 

Проверка ваших директив с помощью Lumar

Поиск всех неиндексируемых страниц с помощью Lumar

Отчет о неиндексируемых страницах содержит сведения обо всех страницах с неиндексируемым статусом. Вы можете увидеть их общее количество, а также разбивку правил, которые заставляют их классифицироваться как неиндексируемые:

Отсюда погрузитесь в отдельные отчеты, чтобы убедиться, что правильные правила применяются к правильные URL-адреса.

 

Индексация > Страницы без индекса

В этом отчете будут показаны все страницы, содержащие тег noindex в метаинформации, заголовке HTTP или файле robots.txt.

 

Индексация > Запрещенные страницы

Этот отчет содержит все URL-адреса, сканирование которых невозможно из-за правила запрета в файле robots. txt.

 

Протестируйте новый файл robots.txt с помощью Lumar

Используйте функцию перезаписи robots.txt Lumar в дополнительных настройках, чтобы заменить текущий файл пользовательским.

При следующем запуске сканирования существующий файл robots.txt будет перезаписан новыми правилами. Это позволяет вам убедиться, что нужные URL-адреса запрещены, прежде чем внедрять изменения на действующий сайт.

Для получения дополнительной информации прочитайте наше руководство по управлению изменениями robots.txt с помощью Lumar.

 

 

Дополнительные технические обучающие ресурсы по SEO

Мы надеемся, что вы нашли этот пост полезным для получения дополнительной информации о noindex, nofollow и запрете на управление сканированием и индексированием вашего сайта.

Вы можете больше узнать об этих темах в нашей Технической SEO-библиотеке, а если вы хотите узнать, как проводить технический SEO-аудит, прочтите наше руководство. У нас также есть большой выбор регулярно обновляемых электронных книг по техническим темам SEO, которые помогут вам быть в курсе последних обновлений Google и передовых методов SEO.

Полное руководство по работоспособности веб-сайта

Вот как добиться успеха в поиске в будущем, включив здоровье веб-сайта и SEO в свои более широкие маркетинговые стратегии.

*  Примечание. Это сообщение было обновлено 23 января 2023 года.

Начните улучшать онлайн-опыт уже сегодня

Lumar — это интеллектуальная и автоматизирующая платформа для прибыльных веб-сайтов

Начните с Lumar

Сэм Марсден

SEO и контент-менеджер

Сэм Марсден — бывший менеджер Lumar по поисковой оптимизации и контенту, а в настоящее время — руководитель отдела SEO в Busuu. Сэм регулярно выступает на маркетинговых конференциях, таких как SMX и BrightonSEO, и является автором отраслевых изданий, таких как Search Engine Journal и State of Digital.

В чем разница? – Dr. Link Check

В наши дни большинство владельцев веб-сайтов прекрасно осознают важную роль, которую играет высококачественный контент в привлечении внимания Google. С этой целью предприятия и специалисты по цифровому маркетингу тратят все больше времени и ресурсов на то, чтобы веб-сайты обнаруживались роботами поисковых систем и, следовательно, находили их целевые аудитории.

Хотя каждый владелец веб-сайта хочет высокого рейтинга в поисковых системах и соответствующего увеличения трафика, существуют определенные области сайта, которые лучше всего полностью скрыть от поисковых роботов.

Зачем скрывать части вашего сайта от поисковых систем?

Вы можете задаться вопросом, почему поисковые роботы не должны индексировать части вашего веб-сайта. Короче говоря, это действительно может помочь вашему общему рейтингу. Если вы потратили много времени, денег и энергии на создание высококачественного контента для своей аудитории, вам нужно убедиться, что сканеры поисковых систем понимают, что ваши сообщения в блоге и главные страницы гораздо важнее, чем более «функциональные» области вашего сайта. Веб-сайт.

Вот несколько примеров веб-страниц, которые поисковые роботы должны игнорировать:

  • Целевые страницы : Очевидно, что целевые страницы очень важны для привлечения потенциальных клиентов и даже прямой продажи продуктов. Однако у вас могут быть определенные целевые страницы, содержащие сезонные предложения или предназначенные для конкретных (платных) рекламных кампаний.
  • Страницы благодарности : Как только ваш цифровой маркетинг расширится, ваш веб-сайт, вероятно, будет содержать несколько страниц благодарности, на которые посетители перенаправляются после загрузки лид-магнита или подписки на список рассылки. Вы почти наверняка захотите оградить эти страницы от поисковых роботов, так как они могут показаться скудными по содержанию и интерпретироваться как «спам».
  • Загрузка PDF : Продолжая приведенный выше пример, вы также должны убедиться, что любые страницы с раздачами или загрузками и прикрепленные к ним файлы скрыты от вашей аудитории, поскольку вы, конечно же, не хотите, чтобы они были легко доступны без сбора сначала адрес электронной почты.
  • Страницы входа в систему : Если на вашем сайте есть форум участника или клиентская зона, вы, вероятно, также захотите скрыть эти страницы от поисковых систем.

Как видите, существует множество случаев, когда вам следует активно отговаривать поисковые системы от перечисления определенных областей вашего сайта. Скрытие этих страниц помогает гарантировать, что ваша домашняя страница и краеугольный контент получат то внимание, которого они заслуживают.

Как скрыть части вашего сайта от поисковых систем?

Так как же заставить роботов поисковых систем закрывать глаза на определенные страницы вашего веб-сайта? Ответ кроется в noindex, nofollow и disallow. Эти инструкции позволяют вам точно определить, как вы хотите, чтобы ваш сайт сканировался поисковыми системами.

Давайте погрузимся и узнаем, как они работают.

Инструкция noindex

Как вы, наверное, можете себе представить, добавление инструкции noindex на веб-страницу указывает поисковой системе «не индексировать» эту конкретную область вашего сайта. Веб-страница по-прежнему будет видна, если пользователь щелкнет ссылку на страницу или введет ее URL-адрес непосредственно в браузере, но она никогда не появится в результатах поиска Google, даже если она содержит ключевые слова, которые ищут пользователи.

Инструкция noindex обычно размещается в разделе HTML-кода страницы в виде метатега:

 
 

Также можно изменить метатег, чтобы страницу игнорировали только определенные поисковые системы. Например, если вы хотите скрыть страницу только от Google, разрешив Bing и другим поисковым системам отображать страницу, вы должны изменить код следующим образом:

 
 

Немного сложнее настроить и, следовательно, реже использовать доставку инструкции noindex как части заголовков HTTP-ответа сервера:

 HTTP/2. 0 200 OK
…
X-Robots-Tag: noindex
 

В наши дни большинство людей создают сайты с помощью системы управления контентом, такой как WordPress, что означает, что вам не придется возиться со сложным HTML-кодом, чтобы добавить на страницу инструкцию noindex. Самый простой способ добавить noindex — загрузить SEO-плагин, такой как All in One SEO, или популярную альтернативу от Yoast. Эти плагины позволяют вам применить noindex к странице, просто установив флажок.

Инструкция nofollow

Добавление инструкции nofollow на веб-страницу не мешает поисковым системам индексировать ее, но сообщает им, что вы не хотите одобрять какие-либо ссылки с этой страницы. Например, если вы являетесь владельцем крупного веб-сайта с высоким авторитетом и добавляете инструкцию nofollow на страницу, содержащую список рекомендуемых продуктов, компании, на которые вы ссылаетесь, не получат никакого авторитета (или повышения рейтинга) от того, что они указан на вашем сайте.

Даже если вы владелец небольшого веб-сайта, nofollow все равно может быть полезен:

  • Если вы представляете креативное агентство, вы можете использовать логотипы других компаний на своих страницах тематических исследований, что может запутать при поиске изображений.
  • Если вы блогер, ваш раздел комментариев может содержать ссылки, которые вы не хотите поддерживать.

Даже если ваши страницы содержат только внутренние ссылки на другие области вашего веб-сайта, может быть полезно включить инструкцию nofollow, чтобы помочь поисковым системам понять важность и иерархию страниц вашего сайта. Например, каждая страница вашего сайта может содержать ссылку на вашу страницу «Контакты». Хотя эта страница очень важна, и вы бы хотели, чтобы Google проиндексировал ее, вы можете не захотеть, чтобы поисковая система придавала этой странице больший вес, чем другим частям вашего сайта, только потому, что многие другие ваши страницы ссылаются на нее.

Добавление инструкции nofollow работает точно так же, как добавление инструкции noindex, представленной ранее, и может быть выполнено путем изменения раздела HTML страницы:

 
 

Если вы хотите, чтобы только определенные ссылки на странице были помечены как nofollow, вы можете добавить атрибуты rel="nofollow" к HTML-тегам ссылок:

  example. com/" rel="nofollow">пример ссылки
 

Владельцы веб-сайтов WordPress также могут использовать вышеупомянутые плагины All in One SEO или Yoast, чтобы пометить ссылки на странице как nofollow.

Инструкция запрета

Последняя из инструкций, которую мы обсуждаем в этом сообщении блога, — «запретить». Вы можете подумать, что это очень похоже на noindex, но хотя они очень похожи, между ними есть небольшие различия:

  • Noindex : поисковые роботы просматривают страницу и любые содержащиеся на ней ссылки, но не добавляют страницу к результатам поиска.
  • Nofollow : поисковые роботы добавят страницу в результаты, но будут игнорировать ссылки на странице для ранжирования.
  • Disallow : Поисковые роботы вообще не будут просматривать страницу.

Как видите, запрет страницы означает, что вы говорите роботам поисковых систем не сканировать ее всю, что означает, что она вообще бесполезна для SEO. Disallow лучше всего использовать для страниц вашего сайта, которые совершенно не имеют отношения к большинству поисковых пользователей, таких как области входа клиентов или страницы «спасибо».

В отличие от noindex и nofollow, инструкция disallow не включается в HTML-код страницы или ответ HTTP, а вместо этого включается в отдельный файл с именем «robots.txt».

Файл robots.txt — это простой текстовый файл, который можно создать в любом базовом текстовом редакторе и который находится в корневом каталоге вашего сайта (www.example.com/robots.txt). Вашему сайту не нужен файл robots.txt для поисковых систем, но он вам понадобится, если вы хотите использовать директиву disallow для блокировки доступа к определенным страницам. Для этого вы просто перечислите соответствующие части вашего сайта в файле robots.txt следующим образом:

 Агент пользователя: *
Запретить: /path/to/your/page.html
 

Владельцы веб-сайтов WordPress могут использовать подключаемый модуль All in One SEO для быстрого создания собственного файла robots. txt без необходимости прямого доступа к базовой файловой структуре системы управления контентом.

Как сканировать ваш сайт на наличие инструкций noindex, nofollow и disallow

Знаете ли вы наверняка, какие части вашего сайта помечены как noindex и nofollow или исключены из индексации правилом запрета? Если вы не уверены, вы можете провести инвентаризацию и пересмотреть свои прошлые решения.

Один из способов провести такую ​​инвентаризацию — перейти на сайт www.drlinkcheck.com, ввести URL-адрес домашней страницы вашего сайта и нажать кнопку Начать проверку .

Основная функция Dr. Link Check — выявление неработающих ссылок, но служба также предоставляет подробную информацию о рабочих ссылках.

Отчет о ссылках без индекса

После завершения сканирования вашего сайта переключитесь на отчет Все ссылки и создайте фильтр, чтобы показывать только ссылки на страницы, помеченные как noindex:

  1. Дважды щелкните «Фильтр» в верхней части отчета, чтобы перевести панель фильтров в текстовый режим.
  2. Введите NoIndex = true в текстовое поле.
  3. Нажмите Введите , чтобы применить фильтр.

Теперь у вас есть настраиваемый отчет, который показывает страницы, которые содержат тег noindex или имеют HTTP-заголовок noindex X-Robots-Tag.

Отчет о ссылках nofollow

Если вы хотите увидеть все ссылки, помеченные как nofollow, переключитесь на Отчет по всем ссылкам , нажмите Добавить… на панели фильтров и выберите Nofollow/Dofollow в раскрывающемся меню.

Отчет о запрещенных ссылках

По умолчанию сканер Dr. Link Check игнорирует все ссылки, запрещенные правилами, указанными в файле robots.txt сайта. Вы можете изменить это в настройках проекта:

  1. Откройте меню Account в правом верхнем углу и выберите Project Settings .
  2. Нажмите Расширенные настройки .
  3. Установите флажок рядом с Игнорировать robots.txt .
  4. Щелкните Обновить проект , чтобы сохранить настройки.

Теперь переключите отчет Обзор и нажмите кнопку Повторить проверку , чтобы начать новое сканирование с обновленными настройками.

После завершения сканирования откройте Все ссылки , нажмите Добавить… в разделе фильтра и выберите robots.txt со статусом , чтобы ограничить список ссылками, запрещенными файлом robots.txt вашего веб-сайта.

Подведение итогов

В то время как подавляющее большинство владельцев веб-сайтов гораздо больше заинтересованы в том, чтобы поисковые системы заметили страницы их веб-сайтов, инструкции noindex, nofollow и disallow являются мощными инструментами, помогающими поисковым роботам лучше понимать содержание сайта. , и указывают, какие разделы сайта следует скрыть от пользователей поисковых систем.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *