Можно выделить наиболее частые конструкции, которые используются SEO-оптимизаторами на практике:

1. – если не нужно, чтобы страница индексировалась, но нужно, чтобы роботы могли ходить по ссылкам на странице.
2. ИЛИ- если не нужно, чтобы страница индексировалась и роботы переходили по ссылкам на странице.
3. ИЛИ- если нужно, чтобы страница индексировалась, но не нужно, чтобы роботы переходили по ссылкам на странице.

При этом, если вам нужно закрыть страницу от индексации в Яндекс, используем:

<meta name="yandex" content="noindex"/>

В Google:

<meta name="googlebot" content="noindex" />

Основное отличие в следующем:

• Мета-тег предназначен для закрытия страницы от индексации (запрет индексации).
• Директива Disallow в файле robots.txt предназначена для закрытия от сканирования (не индексации).

Также, стоит отметить, что с помощью директивы Disallow можно закрыть от сканирования не только конкретную страницу, но и целую папку, в отличие от мета-тега роботс, который может запретить индексацию только той страницы, на которой он размещен.

В каких случаях нужно использовать мета-тег “robots”:
Для исключения из индекса поисковой системы страницы, которая уже проиндексирована, а также точечного или массового удаления из индекса или запрета ненужных страниц.

В каких случаях нужно использовать Disallow в файле robots.txt:
Для запрета сканирования служебных файлов и документов, а также нежелательных страниц: динамические страницы фильтра, страницы с результатами поиска и тд.

Воспользуйтесь развернутой инструкцией: Robots.txt: полное руководство по настройке

Важно:

1. Для поисковой системы Яндекс файл robots.txt – обязательная директива, для Google – рекомендация.
2. Поисковый робот может обращаться к файлу роботс не при каждом заходе на ваш сервер.

• Ошибка 1. Удаление страницы из индекса с помощь Disallow в файле robots.txt
  Почему это ошибка? Страница уже проиндексирована и находиться в индексе – вы установили запрет сканирования в файле робот, теперь робот не будет заходить на нее, но она останется в индексе.
• Ошибка 2. Удаление страницы из индекса с помощь Disallow в файле robots.txt + установка мета-тега роботс
  Почему это ошибка? Страница уже проиндексирована и находиться в индексе – вы установили запрет сканирования в файле робот, теперь робот не будет заходить на нее, т.е. робот не сможет зайти на страницу и увидеть, что на ней установлен запрет индексации, следовательно, он не сможет исключить ее из индекса.

Google изменил подходы к обработке nofollow и ввел два дополнительных атрибута. Что важно знать

Google официально заявил о введении глобальных новшеств, связанных с обработкой и учетом ссылок. Поисковик меняет правила обработки атрибута rel=”nofollow” и вводит две новых метки — rel=”sponsored” и rel=”ugc”. Цель нововведений — помочь поисковикам более точно определять характер ссылок и эффективнее бороться с манипуляциями в SEO. В чем суть новых правил? Какие изменения на сайте нужно сделать уже сейчас? Как менять стратегии линкбилдинга? Во всем этом разобрались наши специалисты.

Атрибут nofollow: что было и стало?

С 2005 года Google использует важный ссылочный атрибут nofollow. Он был введен как средство борьбы с линк-спамом в комментариях, а позже стал одним из основополагающих компонентов линкбилдинга. Nofollow запрещал поисковым роботам переходить по одной или всем ссылкам на странице. Таким образом статический ссылочный вес гарантированно не перераспределялся между сайтом-донором и реципиентом.

Метатегом nofollow закрывали ссылки в комментариях, которые могли вести на некачественные ресурсы и вредить поисковой репутации сайта-донора. По мере ужесточения требований к линкбилдингу nofollow стали использовать, размещая на своем сайте партнерские и рекламные ссылки. Атрибут играл важную роль и для внутренней оптимизации: с его помощью закрывали страницы, нежелательные для индексации. О том, зачем и как это делать — можно почитать здесь. Таким образом, раньше атрибут nofollow выполнял две функции: запрещал поисковым краулерам сканировать ссылки и передавать по ним статический вес.

Что произошло после анонсированных нововведений? Может показаться, что ничего особенного. Атрибут rel=”nofollow” продолжает поддерживаться поисковиками и его нужно использовать для того же, что и раньше. Но теперь nofollow — это не жесткая директива краулерам, а скорее рекомендация.

Вам также может быть интересно:
Как работают ссылки в Google: от базовых принципов к неочевидным факторам ранжирования

Отныне статический и анкорный вес может передаваться через «закрытые» ссылки. Решение делать это или нет принимает поисковая система, основываясь на логике своего алгоритма. Это значит что ссылки, закрытые атрибутом rel=”nofollow”, могут учитываться при ранжировании страниц.

С 1 марта 2020 года краулеры Google также будут переходить по nofollow-ссылками и индексировать страницы, «закрытые» этим атрибутом. Чтобы заблокировать документ от индексирования, нужно будет использовать другие более надежные механизмы: закрытие в robots.txt, добавление метки noindex или помещать данные в защищенный паролем каталог сервера.

Ссылочные атрибуты sponsored и ugc

В дополнение к измененным правилам обработки nofollow Google ввел два совершенно новых атрибута — rel=”sponsored” и rel=”ugc”. Вместе с первым они образуют общую связку метатегов, цель которых — помочь поисковой системе еще точнее определять характер ссылок, лучше ранжировать сайты и противодействовать SEO-манипуляциям.

Атрибут rel=”sponsored”. Предназначен для разметки коммерческих ссылок, размещенных на сайте на платной основе. Эти метки рекомендуют проставлять не только в ссылках с откровенно коммерческим характером, но и всех других линках, за размещение которых владелец сайта получил деньги.

Атрибут rel=”ugc”. Название метки происходит от User Generated Content («Контент, сгенерированный пользователем»), что доходчиво говорит о ее назначении. Этим атрибутом рекомендуют маркировать ссылки, оставленные пользователями в комментариях и ветках форумов. Так владелец проекта предупреждает поисковых роботов, что не несет ответственности за линки, которые могут потенциально навредить его сайту.

Для всех других ссылок, по которым не желательна передача статического веса, используют старый rel=”nofollow”. Важно понимать, что все три атрибута расцениваются поисковыми краулерами исключительно как рекомендация.

FAQ по новым ссылочным атрибутам

Нововведение Google сразу вызвало много вопросов. На основные из них разработчик представил официальные комментарии.

Нет, это делать не обязательно. Если вы используете nofollow для закрытия сомнительных ссылок, система поймет, что вы не хотите делиться весом с сайтами, в которых не уверены. Также необязательно менять уже проставленные nofollow, которыми вы закрывали рекламные и партнерские линки. Но в будущем Google настоятельно рекомендует переходить на использование rel=”sponsored” и rel=”ugc” для маркировки соответствующих типов линков.

Да, несколько атрибутов можно комбинировать. Например, метка rel=”ugc sponsored” будет указывать краулерам, что ссылка размещена в комментариях за деньги. Также допустимо сочетать nofollow с новыми метками. Так, если вы не хотите, чтобы спонсорская ссылка передавала вес, необходимо сделать метку rel=”sponsored nofollow”.

Проплаченные ссылки можно отмечать rel=”sponsored” (этот вариант предпочтительнее), rel=”nofollow” или их комбинацией. Использование rel=”ugc” на купленных ссылках может расцениваться как манипуляция и привести к санкциям.

Новые атрибуты уже распознаются краулерами и обрабатываются по измененным правилам. С марта следующего года закрытые при помощи rel=”nofollow” страницы будут сканироваться и попадать в индекс.

Подводя итог

Google по-новому обрабатывает и учитывает ссылки. Введено два новых атрибута для разметки исходящих линков:

• rel=”sponsored” – для обозначения ссылок, размещенных за деньги;
• rel=”ugc” – для ссылок, которые оставляют пользователи на сайте.

Старый атрибут rel=”nofollow” сохранен, но Google изменил его функциональный статус. Теперь ссылки, закрытые метатегом nofollow, могут передавать ссылочный вес. В скором времени они также будут сканироваться и попадать в индекс. По новым правилам rel=”nofollow” рекомендуют использовать только для закрытия ссылок, которые не подпадают под категорию sponsored и ugc (user generated content).

Вся правда о теге NOINDEX

Noindex — тег разработанный ПС Яндекс для запрета индексирования служебных участков текста. Несмотря на его предназначение большинство сеошников до сих пор используют его для закрытия не служебных, а вполне важных  участков сайта таких как меню, сайдбары, футеры и т.д, а делают это как правило для того, чтобы скрыть ссылки, которые якобы забирают вес со страницы. Также часто тег <noindex></noindex> используют для скрытия от Яндекса кода счетчиков, информеров, рекламных блоков, Iframe, и это уже ближе к истине его предназначения, но работает ли такой подход?

Закрывает ли тег noindex ссылки от индексации?

Нет! Неужели всем так тяжело зайти в справку для вебмастеров и почитать что об этом говорит сам Яндекс? Там черным по белому написано что noindex — это тег для скрытия служебных участков текста, а для запрета на индексация ссылок используется атрибут rel=»nofollow» тега <a>, ровно как и в Google. Пример ниже:

<noindex>текст, индексирование которого нужно запретить</noindex>
<a href="https://seonomad.net/url" rel="nofollow">текст ссылки</a>

Видит ли Яндекс участки сайта закрытые в тег noindex?

Как уже говорилось выше тег и был создан для того, чтобы указывать роботу Яндекса о том, что выделенный участок текста (кода) не стоит учитывать при индексации. Но это вовсе не значит, что Яндекс не знает и не видит то, что находится внутри тегов <noindex></noindex>.

То есть, если у вас имеется на сайте контент который не рекомендуется Яндексом (например тизерки с сиськами или болячками какими), то закрытие их в теги <noindex></noindex> вас от фильтра не спасут. По сути noindex это всего лишь подсказка поисковику, а не железное правило. Поэтому нежелательные для попадания участки контента все же стоит закрывать, но скрыть что либо от «глаз» поисковика не получится.

Понимает ли noindex Google?

Нет, поисковая система Google игнорирует этот тег и относится к нему как к невалидному html коду. Чтобы закрыть контент от Гугла используют такой тег:

<!--googleoff: all-->
Текст который не должен индексироваться Google 
<!--googleon: all-->

Но.. Это касается только тега в <body>, если это метатег в <head><meta name=»robots» content=»noindex, nofollow»> — то страница и ссылки будут закрыты для индексации и в Google, и в Яндекс (и других поисковиках). Пруф

В этом варианте правило content=»noindex» указывает поисковикам на неиндексацию текста, а content=»nofollow» на закрытие ссылок.

Как насчет Rambler и Mail?

Также тег <noindex></noindex> вроде как понимает Rambler, но доказательств я даже искать не стал,  про Mail.ru информации и фактов по даанному вопросу не найдено.

квалифицированных исходящих ссылок для SEO

Для определенных ссылок на вашем сайте вы можете сообщить Google о своих отношениях с связанная страница. Для этого вы должны использовать один из следующих rel значения атрибутов в теге .

Для обычных ссылок, по которым, как вы ожидаете, Google будет переходить без каких-либо оговорок, вам не нужно для добавления атрибута rel . Пример: «Моя любимая лошадь — palomino . »

Для других ссылок используйте одно или несколько из следующих значений:

Ссылки, отмеченные этими атрибутами rel , как правило, не используются.Воспоминание что связанные страницы могут быть найдены другими способами, такими как карты сайта или ссылки с других сайты, и поэтому они все еще могут сканироваться. Эти атрибуты rel используются только в тегов (потому что Google может переходить только по ссылкам, указанным тегом ), кроме nofollow , который также доступен в виде роботов метатег.

Если вам нужно запретить Google переходить по ссылке на страницу вашего собственного сайта, используйте роботы.txt Запретить правило.

Чтобы запретить Google индексировать страницу, разрешите сканирование и используйте noindex robots rule.

HTTP / 1.1 200 ОК
  (…)
   X-Robots-Тег: noindex
   (…)  

  Текст ссылки  

Что такое nofollow и когда его использовать?

Nofollow — это атрибут HTML, который предписывает большинству поисковых систем воздерживаться от перехода по ссылке и тем самым передавать значение странице, на которую ведет ссылка. Некоторые эксперты по SEO интерпретируют это как способ сообщить поисковым системам, что вы не доверяете или не можете поручиться за содержание ссылки, на которую ведет ссылка. Короче говоря, если вы хотите, чтобы поисковая машина проиндексировала вашу веб-страницу в поиске, но вы, , не хотите, чтобы переходила по ссылкам на этой странице; добавьте на свою страницу тег nofollow.

Чтобы превратить обычные ссылки в ссылки nofollow, добавьте «nofollow» в HTML-код *:

  Текст ссылки  

* Вы можете добавить код вручную, но многие CMS вставляют его автоматически, когда это необходимо. Обратитесь за советом к своему веб-мастеру.

Пример с Nofollow

Когда пользователи ищут в Google фразы, связанные с новостями, CNN хочет, чтобы разделы их статей (со статьями) занимали первые места в поисковой выдаче, потому что статьи являются наиболее ценным активом CNN.

Не имеет смысла располагать их раздел входа наверху.

Чтобы сообщить Google, что статьи важнее входа в систему, CNN добавит тег nofollow к своей ссылке для входа.

Примечание. Сканер Siteimprove не учитывает «noindex» или «nofollow» при определении содержания для сканирования. Сканируем на основе настроек сканирования.

Google меняет способ реагирования на теги NoFollow

Что для вас означает отсутствие индексации? А что делать дальше на NoIndex и NoFollow?

На этой неделе Google объявил, что они изменят свою реакцию на популярные теги rel = ”nofollow”.Эти теги без индексации, которые когда-то считались важной частью SEO, помогли сигнализировать Google, когда вы не хотите, чтобы ваш сайт особо поддерживал другой домен, на который вы ссылаетесь. Сокращение количества спама в комментариях, когда люди могут ссылаться на свои собственные сайты из раздела комментариев популярных веб-сайтов, было важной мотивацией для первоначальной разработки тега без индексации rel = ”nofollow”.

Теперь Google объявил об изменениях в том, как они будут рассматривать эти теги без индексации, а также объявил о введении двух новых тегов, на которые, по нашему мнению, нашему сообществу следует обратить внимание.Вот что вам нужно знать об этих последних изменениях Google без индексации.

Что изменится в том, как Google использует ссылки «nofollow»?

Google сказал, что теперь они будут рассматривать теги rel = ”nofollow” как подсказку или предложение. Изменение индексации без изменений запланировано на 1 марта 2020 г.

Какие новые теги рекомендует Google? Представляем rel = «ugc» и rel = «sponsored»

Теперь, в дополнение к тегу без индексации rel = ”nofollow”, Google также представил два новых тега, которые можно использовать для передачи Google дополнительной информации о содержании вашего сайта.

Если контент поступает из комментариев посетителей, сообщений на форуме или других материалов, созданных непосредственно пользователем, вы захотите пометить его как rel = ”ugc” , что означает «контент, созданный пользователем».

Если контент поступает из рекламы или других видов спонсорства или платного контента, то правильным тегом будет rel = «sponsored» .

Идея этих двух новых тегов состоит в том, чтобы сделать тип контента без индексации, который в прошлом был бы помечен как «nofollow», более понятным для Google.Поисковая система надеется, что эта дополнительная информация поможет им лучше понять, как веб-сайты связаны друг с другом, и что это поможет им раскрыть информацию о контексте материалов, размещенных на вашем домене.

Что мне делать с существующими тегами rel = ”nofollow” и как это повлияет на мой сайт?

Google специально проинструктировал владельцев сайтов не беспокоиться об их существующих тегах без индексации rel = ”nofollow”, поскольку эти теги по-прежнему будут работать как подсказка или подсказка для пауков поисковых систем.Это означает, что вам не нужно беспокоиться о том, чтобы вернуться и отредактировать уже опубликованные страницы с новыми тегами без индексации.

Однако поисковая система рекомендует, чтобы люди начали использовать теги rel = «sponsored» или rel = «ugc» как часть будущего рабочего процесса.

Google также сообщает, что они не ожидают больших скачков в рейтинге из-за этих изменений, особенно потому, что они по-прежнему будут учитывать теги rel = ”nofollow”.

Что может быть интересно, однако, это посмотреть, влияют ли изменения в том, как Google интерпретирует тег «nofollow», на ссылки, поступающие с крупных сайтов, которые, как правило, «nofollow» все свои исходящие ссылки, такие как Википедия.Если в будущем Google начнет распознавать больше этих ссылок, то количество сайтов с обратными ссылками с этих крупных сайтов может увеличиться.

Решение Google изменить отношение к тегам rel = «nofollow», скорее всего, не окажет немедленного влияния на веб-сайты и их рейтинг. На данный момент мы рекомендуем нашему сообществу сделать все возможное, чтобы внедрить новые предложения Google без тегов индексации. Хотя поисковая система указала, что бренды не должны начинать использовать теги индексации «по своему усмотрению», соответствие последним изменениям в рекомендациях и правилах Google, как правило, создает для брендов наибольшие шансы на успех.

Узнайте больше о том, как адаптироваться к изменениям алгоритмов Google с помощью BrightEdge.

Что это такое и как их использовать?

Три слова, приведенные выше, могут звучать как SEO gobbledegook, но эти слова стоит знать, поскольку понимание того, как их использовать, означает, что вы можете управлять роботом Googlebot. Это весело.

Итак, начнем с основ: есть три способа контролировать, какие части вашего сайта будут сканироваться поисковыми системами:

1. Noindex: указывает поисковым системам не включать ваши страницы в результаты поиска.
2. Disallow: запрещает сканирование ваших страниц.
3. Nofollow: говорит им не переходить по ссылкам на вашей странице.

Что такое метатег Noindex?

Тег noindex указывает поисковым системам не включать страницу в результаты поиска.

Самый распространенный метод запрета индексации страницы — это добавить тег в заголовок HTML или в заголовки ответов. Чтобы поисковые системы могли видеть эту информацию, страница не должна быть заблокирована (запрещена) в файле robots.txt файл. Если страница заблокирована с помощью вашего файла robots.txt, Google никогда не увидит тег noindex, и страница может по-прежнему отображаться в результатах поиска.

Чтобы поисковые системы не индексировали вашу страницу, просто добавьте следующее в раздел:

Вторая часть тега содержимого здесь указывает, что необходимо переходить по всем ссылкам на этой странице, которые мы обсудим ниже.

В качестве альтернативы тег noindex можно использовать в теге X-Robots-Tag в заголовке HTTP:

X-Robots-Tag: noindex

Дополнительную информацию см. В сообщении разработчиков Google о спецификациях метатега Robots и HTTP-заголовка X-Robots-Tag.

Как я могу использовать Noindex в файле Robots.txt?

Тег noindex в файле robots.txt также указывает поисковым системам не включать страницу в результаты поиска, но это более быстрый и простой способ не индексировать сразу много страниц, особенно если у вас есть доступ к вашему robots.txt. файл. Например, вы не можете индексировать любые URL-адреса в определенной папке.

Вот пример директивы noindex, которую можно поместить в файл robots.txt:

Noindex: / robots-txt-noindexed-page /

Однако Google не рекомендует использовать этот метод: Джон Мюллер заявил, что «не следует полагаться на него».

Что такое запретная директива?

Запрещение страницы означает, что вы указываете поисковым системам не сканировать ее, что необходимо сделать в файле robots.txt вашего сайта. Это полезно, если у вас много страниц или файлов, которые бесполезны для читателей или поискового трафика, поскольку это означает, что поисковые системы не будут тратить время на сканирование этих страниц.

Чтобы добавить запрет, просто добавьте в файл robots.txt следующую строку:

Запретить: / your-page-url /

Если на странице есть внешние ссылки или канонические теги, указывающие на нее, ее все равно можно проиндексировать и ранжировать, поэтому важно сочетать запрет с тегом noindex, как описано ниже.

Предупреждение: запрещая страницу, вы фактически удаляете ее со своего сайта.

Запрещенные страницы не могут передавать PageRank куда-либо еще — поэтому любые ссылки на этих страницах фактически бесполезны с точки зрения SEO — а запрещение страниц, которые должны быть включены, может иметь катастрофические последствия для вашего трафика, поэтому будьте особенно осторожны при написании запрещающих директив.

Как я могу объединить Noindex и Disallow?

Noindex (страница) + Disallow: Disallow не может сочетаться с noindex на странице, потому что страница заблокирована, и поэтому поисковые системы не будут сканировать ее, чтобы знать, что они не должны оставлять страницу вне индекс.

Noindex (robots.txt) + Disallow : предотвращает появление страниц в индексе, а также предотвращает сканирование страниц. Однако помните, что через эту страницу не может пройти PageRank.

Чтобы объединить запрет с индексом noindex в файле robots.txt, просто добавьте обе директивы в файл robots.txt:

Запрещено: / example-page-1/

Запрещено: / example-page-2/

Noindex: / example-page-1/

Noindex: / example-page-2/

Что такое тег Nofollow?

Тег nofollow в ссылке указывает поисковым системам не использовать ссылку для определения важности связанных страниц (PageRank) или обнаружения дополнительных URL-адресов на том же сайте.

Обычно nofollows использует ссылки в комментариях и другом контенте, который вы не контролируете, платные ссылки, встраиваемые элементы, такие как виджеты или инфографику, ссылки в гостевых сообщениях или что-нибудь не по теме, на которое вы все еще хотите связать людей.

Исторически сложилось так, что оптимизаторы поисковых систем также избирательно исключали переход по ссылкам, чтобы направлять внутренний PageRank на более важные страницы.

Теги Nofollow могут быть добавлены в одном из двух мест:

• страницы (чтобы nofollow все ссылки на этой странице):
• Код ссылки (для nofollow отдельной ссылки): пример страницы

nofollow не предотвратит полное сканирование связанной страницы; он просто предотвращает сканирование по этой конкретной ссылке. Наши и другие тесты показали, что Google не будет сканировать URL-адрес, который он находит в ссылке nofollowed.

Google заявляет, что если другой сайт ссылается на ту же страницу без использования тега nofollow или страница отображается в файле Sitemap, эта страница может по-прежнему отображаться в результатах поиска. Точно так же, если это URL, о котором уже знают поисковые системы, добавление ссылки nofollow не удалит его из индекса.

В сентябре 2019 года Google объявил об обновлении своей директивы nofollow и представил два новых атрибута ссылки, а именно:

• rel = «sponsored» — атрибут sponsored следует использовать для идентификации ссылок, предназначенных для рекламных целей, при наличии соглашений о спонсорстве и компенсации.
• rel = «ugc» — В качестве атрибута для пользовательского контента это значение рекомендуется для ссылок на сайтах с пользовательским контентом, например для сообщений на форумах и комментариев в блогах.

Кроме того, все ссылки, отмеченные nofollow, sponsored или ugc, теперь обрабатываются как подсказки относительно того, какие ссылки следует учитывать при поиске и сканировании, а не просто как сигнал, как раньше использовалось для nofollow. Вы можете узнать больше об этом обновлении в нашем посте, который также охватывает их влияние и мнения экспертов.

Что такое Noindex Nofollow?

Как упоминалось выше, добавление тега nofollow к странице не препятствует ее полному сканированию.Поэтому, чтобы предотвратить индексирование, вам также нужно не индексировать страницу. Это позволит Google сканировать страницу, но она не будет отображаться в индексе. Страницы, которые вы, вероятно, захотите включить в noindex; страницы администратора / входа, внутренние результаты поиска и страницы регистрации. Чтобы Google полностью прекратил сканирование страницы, вам также следует запретить это (см. Выше).

Другие директивы: Canonical Tags, Pagination и Hreflang

Есть и другие способы сообщить Google и другим поисковым системам, как обрабатывать URL-адреса:

• Канонические теги сообщают поисковым системам, какую страницу из группы похожих страниц следует проиндексировать.Канонизированные (т. Е. Вторичные страницы, которые направляют поисковые системы к первичной версии) не включаются в индекс. Если у вас есть отдельные мобильные и настольные сайты, вы должны канонизировать свои мобильные URL-адреса на свои настольные.
• Разбиение на страницы группирует несколько страниц вместе, чтобы поисковые системы знали, что они являются частью набора. Поисковые системы должны отдавать приоритет первой странице каждого набора при ранжировании страниц, но все страницы в наборе останутся в индексе.
• Hreflang сообщает поисковым системам, какие международные версии одного и того же контента предназначены для какого региона, чтобы они могли определить приоритетность правильной версии для каждой аудитории.Все эти версии останутся в индексе.

Сколько времени вам следует потратить на сокращение краулингового бюджета?

Вы можете услышать много разговоров на форумах SEO о том, насколько важны для SEO эффективность сканирования и бюджет сканирования, и, хотя обычной практикой является запрещение и noindex большие группы страниц, которые не имеют никакой пользы для поисковых систем или читателей (например, back -end кода, который используется только для работы сайта или некоторых типов дублированного контента), решение о том, скрывать ли много отдельных страниц, вероятно, не лучший вариант использования времени и усилий.

Google любит индексировать как можно больше URL-адресов, поэтому, если нет особой причины скрыть страницу от поисковых систем, обычно можно оставить решение на усмотрение Google. В любом случае, даже если вы скроете страницы от поисковых систем, Google все равно будет проверять, изменились ли эти URL-адреса. Это особенно актуально, если есть ссылки, указывающие на эту страницу; даже если Google забыл об URL-адресе, он может снова обнаружить его в следующий раз, когда на него будет найдена ссылка.

Тестирование с помощью Search Console, DeepCrawl и Robotto

Тестовые роботы.txt с помощью Search Console

Тестер robots.txt в Search Console (в разделе «Сканирование») — популярный и в значительной степени эффективный способ проверить новую версию вашего файла на наличие ошибок до того, как он будет опубликован, или проверить конкретный URL, чтобы убедиться, что он заблокирован:

Однако этот инструмент не работает точно так же, как Google, с некоторыми небольшими различиями в конфликтующих правилах разрешения / запрета, которые имеют одинаковую длину.

Инструмент тестирования robots.txt сообщает, что это разрешено, однако Google сказал: «Если результат не определен, robots.txt могут разрешить или запретить сканирование. По этой причине не рекомендуется полагаться на то, что какой-либо из результатов будет использоваться повсеместно ».

Подробнее читайте в этом обсуждении на справочном форуме в Центре веб-мастеров.

Найти все неиндексируемые страницы с помощью DeepCrawl

Запустите универсальное сканирование без каких-либо ограничений (но с применением условий robots.txt), чтобы DeepCrawl мог вернуть все ваши URL-адреса и показать вам все индексируемые / неиндексируемые страницы.

Если у вас есть параметры URL, которые были заблокированы для робота Googlebot с помощью Search Console, вы можете имитировать эту настройку для сканирования, используя поле «Удалить параметры» в разделе Расширенные настройки> Перезапись URL .

Затем вы можете использовать следующие отчеты, чтобы убедиться, что сайт настроен так, как вы ожидали при первом сканировании, а затем объединить их со встроенными журналами изменений при последующих сканированиях.

Индексация> Страницы Noindex

В этом отчете будут показаны все страницы, содержащие тег noindex в метаинформации, HTTP-заголовке или файле robots.txt файл.

Индексация> Запрещенные страницы

Этот отчет содержит все URL-адреса, сканирование которых невозможно из-за запрещающего правила в файле robots.txt. На панели управления вашего отчета есть цифры для обоих этих отчетов:

Используйте наши интуитивно понятные отчеты в каждом из наших отчетов, чтобы проверить определенные папки и выявить шаблоны в URL-адресах, которые в противном случае вы могли бы пропустить:

Протестируйте новый файл robots.txt с помощью DeepCrawl

Используйте роботов DeepCrawl.txt Функция перезаписи в расширенных настройках для замены живого файла на пользовательский.

Затем при следующем запуске сканирования вы можете использовать тестовую версию вместо активной.

В отчетах о добавленных и удаленных запрещенных URL-адресах будет показано, какие именно URL-адреса были затронуты измененным файлом robots.txt, что упростит оценку.

Для получения дополнительной информации прочтите наше руководство по управлению изменениями robots.txt с помощью DeepCrawl.

Хотите еще такого?

Мы надеемся, что этот пост был полезен для вас, когда вы узнали больше о noindex, nofollow и disallow для управления сканированием вашего сайта.

Вы можете узнать больше об этих темах в нашей Технической библиотеке SEO или, если вы хотите узнать, как проводить технический SEO-аудит, прочитайте наше руководство.

Кроме того, если вы заинтересованы в том, чтобы быть в курсе последних обновлений Google и рекомендациями по передовому опыту, почему бы не заглянуть в наши электронные письма?

Loop Me In!

Автор

Сэм Марсден

Сэм Марсден — менеджер по поисковой оптимизации и контенту DeepCrawl.Сэм регулярно выступает на маркетинговых конференциях, таких как SMX и BrightonSEO, и является автором отраслевых публикаций, таких как Search Engine Journal и State of Digital.

Теги

Управление роботами

Какие страницы на вашем сайте использовать с помощью noindex или nofollow? • Yoast

Михиэль был одним из наших первых сотрудников и раньше был партнером Yoast. Начните оптимизацию своего сайта с его статей!

Некоторые страницы вашего сайта служат определенной цели, но эта цель не состоит в ранжировании в поисковых системах и даже не в привлечении трафика на ваш сайт.Эти страницы должны быть там, как клей для других страниц, или просто потому, что правила требуют, чтобы они были доступны на вашем веб-сайте. Если вы регулярно читаете наш блог, вы знаете, как noindex или nofollow могут помочь вам справиться с этими страницами. Однако, если вы новичок в этих условиях, пожалуйста, продолжайте читать и позвольте мне объяснить, что они из себя представляют и к каким страницам они могут применяться!

Что такое noindex nofollow?

noindex означает, что веб-страница не должна индексироваться поисковыми системами и, следовательно, не должна отображаться на страницах результатов поиска. nofollow означает, что пауки поисковых систем не должны переходить по ссылкам на этой странице. Вы можете добавить эти значения в свой метатег robots. Мета-тег robots — это фрагмент кода в разделе заголовка веб-страницы. Он сообщает поисковым системам, как сканировать и индексировать ли страницу.

Наше полное руководство по метатегу robots — отличное чтение, если вы хотите немного глубже погрузиться в эту тему.

Вкратце:

• В большинстве случаев метатег robots выглядит следующим образом:
  
• VALUE1 и VALUE2 установлены на индекс , по умолчанию используется , что означает данная страница может быть проиндексирована поисковыми системами, и по ссылкам на этой странице можно переходить для сканирования страниц, на которые они ссылаются.
• VALUE1 и VALUE2 могут быть установлены на noindex, nofollow или другую комбинацию, например, index, nofollow .

Но пусть вас не пугает этот код. Yoast SEO поможет вам! Если вы хотите узнать, как noindex пост в WordPress супер-простым способом, вам следует прочитать этот пост: Как noindexing пост в WordPress: простой способ.

Но когда какое значение использовать?

Страниц для установки noindex

Авторские архивы в блоге с одним автором

Если вы единственный, кто пишет для своего блога, ваши страницы авторов, вероятно, на 90% совпадают с домашней страницей вашего блога.Это бесполезно для Google и может рассматриваться как дублированный контент. Чтобы предотвратить такое дублирование контента, вы можете полностью отключить авторский архив. Вот как легко включить или отключить его с помощью Yoast SEO. Если по какой-то причине вы хотите сохранить его на своем сайте, но не в результатах поиска, вы можете noindex его. К счастью, с Yoast SEO это тоже не сложно; просто проверьте, как нельзя индексировать архив автора.

Определенные (настраиваемые) типы сообщений

Иногда плагин или веб-разработчик добавляют пользовательский тип сообщения, который вы не хотите индексировать.Например, в Yoast мы используем персонализированные страницы для наших продуктов, поскольку мы не являемся типичным интернет-магазином, продающим физические продукты. Таким образом, нам не нужно изображение продукта, фильтры, такие как размеры и технические характеристики, на вкладке рядом с описанием. Поэтому мы не индексируем обычные страницы продуктов, которые выводит WooCommerce, и используем наши собственные страницы. Действительно, у нас noindex тип сообщения о товаре.

Соответственно, мы видели решения для электронной коммерции, которые также добавляли такие характеристики, как размеры и вес, в качестве настраиваемого типа сообщений.Эти страницы считаются некачественным контентом. Вы поймете, что эти страницы не нужны ни посетителям, ни Google, поэтому их тоже нужно держать подальше от страниц результатов поиска.

Спасибо страниц

Эта страница служит только для того, чтобы поблагодарить вашего клиента / подписчика на новостную рассылку / впервые комментирующего. Эти страницы обычно представляют собой страницы с тонким контентом, с опциями допродажи и обмена в социальных сетях, но они не представляют ценности для тех, кто использует Google для поиска полезной информации. Следовательно, этих страниц не должно быть на страницах результатов поиска.

Страницы администратора и входа в систему

Большинство страниц входа не должны находиться в Google. Но это так. Уберите свой индекс из индекса, добавив к нему noindex . Исключение составляют страницы входа в систему, которые обслуживают сообщество, например Dropbox или аналогичные службы. Просто спросите себя, стали бы вы гуглить одну из своих страниц входа в систему, если бы вы не работали в своей компании. В противном случае можно с уверенностью сказать, что Google не нужно индексировать эти страницы входа. К счастью, если вы используете WordPress, вы в безопасности, поскольку CMS не индексирует страницу входа на ваш сайт автоматически.

Результаты внутреннего поиска

Результаты внутреннего поиска — это в значительной степени последние страницы, на которые Google хотел бы отправлять своих посетителей. Если вы хотите испортить поиск, вы ссылаетесь на другие страницы поиска вместо фактического результата. Но ссылки на странице результатов поиска по-прежнему очень ценны, вы определенно хотите, чтобы Google следил за ними. Таким образом, необходимо переходить по всем ссылкам, а мета-настройка роботов должна быть:

Yoast SEO следит за тем, чтобы для ваших внутренних поисковых страниц по умолчанию было установлено значение noindex.Это одна из скрытых функций Yoast SEO. Это не редактируемый параметр, потому что это просто то, как это должно быть сделано в соответствии с рекомендациями Google, и мы полностью с ними согласны.

Только для разработчиков: если вы действительно хотите изменить это, это можно сделать с помощью одного из наших фильтров. Пример можно найти здесь.

Страницы для установки на nofollow

Для всех примеров, упомянутых выше, нет необходимости nofollow все ссылки на этих страницах.Вы не хотите, чтобы они отображались в результатах поиска, но хотите, чтобы Google переходил по ссылкам на странице. Теперь, когда следует добавить nofollow к метатегу robots?

Если вы установите для страницы значение nofollow с метатегом robots, ни одна из ссылок на этой странице не будет переходить. Google придумал nofollow, чтобы иметь возможность различать ссылки на ненадежный контент (или, позже, оплаченный, например, рекламу). На обычном веб-сайте, вероятно, очень мало страниц, на которых вы бы хотели, чтобы Google не переходил по любой ссылке .

Пример: если у вас есть страница со списком книг по SEO с избытком партнерских ссылок Amazon, они могут быть полезны для вашего сайта для ваших пользователей. Но я бы nofollow всю страницу, если на странице нет ничего важного. Однако вы могли бы проиндексировать его. Просто убедитесь, что вы правильно скрываете свои ссылки.

Одинарные ссылки Nofollow

Если у вас есть сообщение или страница с несколькими ссылками, вы можете помочь поисковым системам квалифицировать их.В настоящее время вы можете nofollow для одной ссылки или даже установить для нее спонсируемый или пользовательский контент. Добавление правильных атрибутов rel к вашей ссылке позволяет вам это сделать. Например, ссылка на рекламу будет выглядеть так: пример ссылки . С Yoast SEO настроить эти атрибуты rel очень просто, как вы можете видеть в этом видео:

Заключение

Как мы уже видели, будет ли noindex страница или nofollow ссылка сводится к двум вопросам: хотите ли вы, чтобы эта страница отображалась на страницах результатов поиска и , если поисковые системы переходят по ссылкам эта страница? Например, для страниц с благодарностями или страниц входа в систему ответ на первый вопрос — «нет».Для страницы с множеством партнерских ссылок ответ на второй вопрос — «нет». Помните о примерах из этого поста, и у вас больше не будет проблем с поиском ответов для вашего собственного сайта!

шт. Вы noindex пост или страницу, хотя не хотели? Не беспокойтесь, вы можете легко исправить случайную ошибку noindex !

Подробнее: Как не индексировать сообщение »

Далее!

• Событие Конференция онлайн 2021 14-15 октября 2021 г. Команда Yoast спонсирует онлайн-конференцию 2021 года, нажмите здесь, чтобы узнать, будем ли мы там, кто будет и многое другое! Все мероприятия, в которых мы будем участвовать »
• Вебинар по SEO Вебинар по новостям Yoast в области SEO — 31 августа 2021 г. 31 августа 2021 г. Зарегистрируйтесь на наш веб-семинар по новостям SEO в августе 2021 года.Наши SEO-эксперты Джоно и Джуст расскажут вам о последних новостях Google и WordPress. Все вебинары Yoast SEO »

seo — это хорошая идея использовать имя в этой ситуации?

nofollow

nofollow означает, что бот не должен переходить по этой ссылке. Если вас беспокоит только Google (как предполагает ваш тег), это, вероятно, поможет:

Как Google обрабатывает nofollow-ссылки?

В общем, мы им не следуем.Это означает, что Google не передавать PageRank или якорный текст по этим ссылкам. По сути, использование nofollow заставляет нас отбрасывать целевые ссылки из нашего общего граф сети. Однако целевые страницы могут по-прежнему отображаться в нашем index, если другие сайты ссылаются на них без использования nofollow, или если URL-адреса отправляются в Google в файле Sitemap. Также важно обратите внимание, что другие поисковые системы могут немного обрабатывать nofollow различные пути. [Источник]

Однако добавление этого атрибута никоим образом не является жестким ограничением, нет стандарта, и некоторые боты могут его вообще игнорировать.Кроме того, поисковые системы могут по-прежнему помечать страницу как сайт для построения ссылок в зависимости от соотношения содержания / ссылки.

noindex

noindex не используется в ссылках Google (про другие не знаю). Он предназначен для атрибута robots в заголовке html и применяется ко всей странице. Так что это, скорее всего, бесполезно для вас. Пример:

линкбилдинг

200 ссылок также не очень удобны для пользователя.Вам следует серьезно подумать о сокращении количества ссылок, (например) выбрав те, которые имеют схожую тему.

Пока вы читаете это, смотрите вправо, да, здесь, на Stack Overflow, есть «Коробка» под названием Связанный . Вот как вы это делаете. Представьте, что они помещают туда каждую тему, когда-либо созданную … Не очень полезно.

Также, если вы сделаете это с некоторой логикой, как я предложил выше, а не просто случайным образом выбирая N ссылок из списка, вы, вероятно, можете удалить nofollow , поскольку ссылки станут полезными, а Google любит полезные ссылки.