Учитывает ли rel =»nofollow» Яндекс?

nofollow — это значение атрибута rel тега <a> в HTML
в коде выглядит (rel=»nofollow»).
Указывает поисковым системам на то, что ссылку не следует никаким образом учитывать при индексировании данной страницы. Был введён поисковой системой Google.
Так же был введён аналог от Яндекса — тег <noindex>: содержимое тега не индексируется и не учитывается яндексом и рамблером.
Совершенно не хочется использовать невалидный тег <noindex> на страницах, посему решил проверить как Яндекс относится к гугловскому rel=»nofollow»
Собственно, запускаю эксперимент:

Подбираем ключевые слова, убеждаемся что в данный момент результатов по ним нет.
1) кракозербера
2) кукакозоид
3) грандешлазге
4) октипурпурус

1 — с rel=»nofollow»
2 — с rel=»nofollow» и <noindex>
3 — контрольный, без nofollow и noindex
4 — ссылка только в <noindex>

После индексации поисковиками — будут результаты по всем поисковым системам.
Далее Результаты:

Яндекс

1) кракозербера (nofollow)

Актуальные данные (на 14.10.11)
Яндекс официально учитывает свойство rel=»nofollow», судя по комментариям такие ссылки не должны учитываться (аналогично гуглу):
вебмастер → помощь:

* страница не переиндексирована — ее нет в результатах поиска Яндекса;
* ссылка содержит атрибут rel=»nofollow»;
* ссылка является ссылкой с изображения;
* ссылка не ссылается непосредственно на ваш сайт, а делает это через промежуточную страницу с редиректом;
* ссылка является ссылкой с изображения;
* ссылка появилась на странице недавно и эту страницу робот еще не успел переиндексировать.

Остальные ссылки должны быть видны. Новая ссылка, если с ней нет перечисленных выше проблем, через некоторое время после ее появления должна начать отображаться в разделе «Внешние ссылки»

Ранее яндекс индексировал ссылку, не учитывая свойство rel=»nofollow», показывая кроме этого сайта ещё другой и rel=»nofollow» игнорировалось.

2) кукакозоид (noindex, nofollow)
Актуальные данные (на 14.10.11)
Индексация текста ссылки запрещена тегом noindex, сама ссылка не учитывается из-за nofollow.

Ранее яндекс не индексировал ни содержимое, ни ссылки в теге noindex, но игнорировал атрибут nofollow.

3) грандешлазге (обычная прямая ссылка)

Яндекс учитывает обычную прямую ссылку 🙂

4) октипурпурус (ссылка в noindex, без nofollow)
В данный момент (14 октября 2011)
В Яндекс.Вебмастер:

Техническая оптимизация с noindex и nofollow – правила и частые заблуждения

Начнем с того, что обозначим разные способы использования noindex и nofollow:

• Тег <noindex> и атрибут rel=»nofollow»
• Метатеги <meta name=»robots» content=»noindex»/> и <meta name=»robots» content=»nofollow»/>

Тег <noindex> и атрибут rel=»nofollow»

Тег <noindex> – это HTML-тег, который запрещает Яндексу индексировать ту или иную область страницы сайта. Для поисковой системы Google этот тег не работает, более того, в Google вообще не предусмотрена возможность исключения части текста страницы из индекса.

Заблуждение №1. Основная ошибка людей, которые используют этот тег, заключается в убеждении, что если часть какого-либо текста помещена между открывающимся и закрывающимся тегом <noindex>, то робот Яндекса не станет читать и анализировать этот текст.

Единственное, что данный тег запрещает – это помещение содержимого в индексную базу, но это содержимое в любом случае будет прочитано и проанализировано роботом.

Пример: На странице вашего сайта расположен некоторый текст, использующий прямые вхождения предложений из других сторонних источников. Следовательно, эти предложения снижают уникальность вашего текста, а вам необходимо, чтобы уникальность была 100%. Вы решаете закрыть эти предложения тегом <noindex>, чтобы Яндекс считал ваш текст уникальным. Это заблуждение.

Абсолютно весь текст вашей страницы будет прочитан и обработан роботом, и ему будет известно, что текст вашей страницы не является уникальным.

Сама суть тега <noindex> – «не индексировать», значит запрета на чтение нет.

Предположим, что поисковый робот зашел на вашу страницу и начал сканировать содержимое. В какой-то момент робот находит открытие тега <noindex>, что является сигналом роботу – дальше текст не индексировать. Но чтобы найти то место кода, где тег <noindex> закрывается, роботу необходимо прочесть содержимое, идущее после открытия данного тега. Следовательно, даже теоретически нельзя запретить роботам читать содержимое с помощью тега <noindex>.

Для чего же тогда нужен тег <noindex>?

Он нужен непосредственно для того, чтобы запретить роботу выдавать в выдаче своей поисковой системы какую-либо информацию. Это могут быть, к примеру, контакты, которые по каким-либо причинам не должны отображаться в выдаче.

Заблуждение №2. Ещё одно заблуждение, которое часто встречается среди владельцев сайтов, – это мнение, что ссылка, помещенная в тег <noindex>, не будет учтена поисковым роботом. Как я говорил ранее, всё, что находится внутри тега <noindex>, будет прочитано и проанализировано роботом Яндекса. И ссылки не являются исключением. Единственное отличие размещенных обычным образом ссылок от ссылок в теге <noindex> – это то, что текст (анкор) ссылки не будет проиндексирован.

На помощь вебмастерам, которым необходимо, чтобы робот всё же не учитывал ссылки со страниц, приходит атрибут rel=»nofollow», который работает как для Яндекса, так и для Google. При использовании этого атрибута ссылка всё равно будет изучена роботом и по ней будет произведён переход, но без nofollow по ссылке будет передан вес адресату, а с nofollow вес будет сгорать.

Пример 1:
<noindex><a href=»http://1ps.ru/»>Создание и продвижение сайтов</a></noindex>

Яндекс не индексирует анкор, но учитывает ссылку на 1ps.ru и передает по ней вес

Пример 2:
<noindex><a href=»http://1ps.ru/» rel=»nofollow»>Создание и продвижение сайтов</a></noindex>

Яндекс не индексирует анкор и не передает вес по ссылке на 1ps.ru

Существует два способа написания тега <noindex> в коде:

1. <noindex>Текст, запрещённый к индексированию</noindex>

2. <!—noindex—>Текст, запрещённый к индексированию<!—/noindex—>

Второй вариант более верный. Так как тег <noindex> не входит в официальную спецификацию языка разметки HTML, то его присутствие в коде может вызвать недопонимание у других поисковых систем, которые будут считать его наличие за ошибку. Чтобы сделать код страницы валидным, для всех поисковых роботов рекомендуется использовать закомментированный вариант написания. Яндекс такое написание распознает, а другие поисковые роботы не будет обращать внимание на его присутствие.

Метатеги <meta name=»robots» content=»noindex»/> и <meta name=»robots» content=»nofollow»/>

Использование метатега noindex в коде страницы запрещает Яндексу (Google, опять же, в данном случае не участвует) индексировать всё текстовое содержимое страницы, ссылки при этом будут проанализированы в полной мере. То есть наличие в коде страницы этого метатега не равнозначно закрытию страницы от индекса в robots.txt.

Наличие в коде страницы метатега nofollow запрещает поисковым системам индексировать ссылки на страницах. Переходить по ссылкам со страницы при наличии этого метатега роботы также не будут. Но вот что написано в помощи Яндекса:
«Робот не посетит документы, если ссылки на них стоят со страницы, содержащей метатег со значением nofollow, тем не менее, они могут быть проиндексированы, если в других источниках на них указаны ссылки без nofollow»

Подведём итоги

Тег <noindex> используем только для того, чтобы запретить роботам Яндекс выдавать информацию в выдаче.

Если мы хотим, чтобы вес ссылки не передавался адресату, то используем атрибут nofollow. При этом не забываем, что робот всё равно может пройти по ссылке (если информация о ней получена из других источников: карта сайта, ссылки) и проанализирует страницу, на которую она ссылается. Метод работает как для Яндекс, так и для Google.

Директивы noindex nofollow для управления контентом в поиске

Вступление

В этой статье я покажу, как, используя мета-тег robots и директивы noindex и nofollow можно управлять показом материалов сайта в результатах поиска поисковых систем Google и Яндекс.

Управление индексацией и показом материалов

Веб-мастер, имеющий доступ к каталогу и коду сайта может довольно просто управлять индексацией и показом материалов сайта в поисковых выдачах.

Управлять контентом сайта в поиске можно двумя способами:

Во-первых, создать текстовой файл robots.txt в кодировке UTF-8 и разместить его в корневом каталоге сайта. В файле, используя специальные директивы и правила, необходимо указать поисковым роботам, как обрабатывать материалы сайта.

Во-вторых, вставить мета-тег robots с директивами noindex, nofollow и нужными параметрами на (X)HTML страницы сайта или в HTTP-заголовок.

Например, синтаксис комбинированного тега robots (для поискового робота) выглядит так:

<meta name="robots" content="noindex, nofollow">

Такая же директива, обращённая к ботам Google выглядит так:

<meta name="googlebot" content="noindex, nofollow">

Эта же директива обращённая к ботам Яндекс выглядит так:

<meta name="yandex" content="noindex, nofollow" />
 

Директивы noindex и nofollow

Важно понимать, что директивы noindex и nofollow дают разные инструкции поисковым ботам. Кроме этих директив есть другие директивы, которые не пользуются популярностью.

noindex запрещает ботам показывать данную страницу сайта и сохранённой копии страницы в результатах поиска.

nofollow — запрещает ботам обходить ссылки на данной странице сайта.

Можно использовать директивы:

• none — приравнивается комбинированным директивам noindex, nofollow.
• noarchive — указывает ботам не показывать в поиске ссылку сохранённая копия.
• all — директива по умолчанию, соответствует директивам index, follow (показывать в поиске и обходить ссылки). Разрешающие директивы можно не указывать, однако они имеют приоритет над запрещающими директивами.

Перечисленные директивы универсальны и одинаково работают для поисковиков Google и Яндекс.

Практика использования мета тегов и директив noindex, nofollow

Мета тег robots с директивами noindex и/или nofollow необходимо разместить в тегах <head> страницы (страниц) сайта.

<html>

<head>

<meta name="robots" content="noindex, nofollow" />

</head>

<body>...</body>

</html>

На практике внедрение этих тегов в код страницы делается следующим образом.

На WordPress. Установите серьёзный SEO плагин (Yoast SEO или All in One SEO Pack) и используйте теги noindex, nofollow инструментами плагина.

Для Joomla использование директив noindex, nofollow обеспечивают инструменты CMS. Для любой статьи и категории вы можете использовать теги noindex и/или nofollow в разделе мета-данные.

Директивы noindex nofollow в файле .htaccess для Apache

Можно для указания запрещающих директив использовать файл .htaccess.

Например, запретить показ картинок PNG, JPEG, JPG, GIF в поиске можно так:

<Files ~ "\.(png|jpe?g|gif)$">

Header set X-Robots-Tag "noindex"

</Files>

Конфликт файла robots.txt и мета-тега robots

Важно понимать, что если вы запретите сканирование страницы в файле robots.txt, то директивы мета-тега robots будут проигнорированы.

Чтобы директивы работали не нужно запрещать сканирование URL станиц, где они заданы.

Кроме этого, запрещающими директивами можно закрыть весь сайт, а не только отдельные страницы.

Вывод

Мета-тег robots и директивы noindex и nofollow позволяют более тонко указывать поисковым роботам инструкции по обработке страниц сайта.

Еще статьи

Грамотно расстаёмся с Яндекс.Каталогом

Некогда популярный среди миллионов пользователей Яндекс.Каталог прекратил своё существование. Его уникальность заключалась в фасетной классификации, которая облегчала поиск информации не только по определённым темам, но и типам. Когда смысловой поиск полностью перенял все возможности Яндекс.Каталога, тот быстро потерял свою популярность. После закрытия сервиса была выяснена интересная деталь, которую заметили далеко не все: описание в сниппете на главных страницах сайтов до сих пор содержит зачастую устаревшую информацию из Каталога, и при этом её физически невозможно просмотреть и скорректировать.

Для устранения подобной проблемы рекомендуется использовать метатег <meta name=»robots» content=»noyaca»/> и запретить вывод информации из Яндекс.Каталога. Атрибут content при этом может иметь следующие значения:

• all — разрешение на индексацию всей информации со страницы;
• index, follow — по аналогии с all;
• noindex — запрет на индексацию текста со страницы;
• nofollow — запрет на переход по ссылкам со страницы;
• none — запрет на индексацию текста и переход по ссылкам;
• noindex, nofollow — аналогично none;
• noarchive — запрет на отображение в выдаче ссылки на сохранившуюся копию;
• noyaca — запрет на использование информации из Яндекс.Каталога для описания в сниппете;
• noodp — запрет на использование описания из dMoz для сниппета;
• noydir — запрет на использование описания из Yahoo! Directory для сниппета.

Метатеги Index и Noindex работают по аналогии с директивами Allow и Disallow в файле robots.txt — разрешают или запрещают индексировать страницу.

Чтобы не попасть в хитрую ловушку, обязательно проверьте сниппеты для главной страницы сайта на релевантность. Вполне возможно, поданная вами до 2017 года информация устарела и каких-то услуг компания уже не предоставляет. Особенно полезна такая проверка будет в том случае, если вы купили старый домен.

Как определить закрыта или нет ссылка тегами «nofollow»и «noindex»

Кто занимается оптимизацией и продвижением сайтов, кому важны показатели тИЦ и PR, используют в своей работе со ссылками теги и атрибуты «nofollow» и «noindex».

В основном они применяются для уменьшения передачи веса на другие сайты. Закрывая индексацию ссылок в поисковых системах, в конечном счёте для повышения показателей ТиЦ и PR своего сайта. Для чего они нужны и как применяются читайте как правильно использовать  noindex и nofollow

В связи с этим часто возникает необходимость быстро определить заключена ли ссылка в теги, закрыта или нет. Это можно сделать несколькими способами, но я для этих целей использую плагин RDS Bar.

С помощью этого плагина можно быстро просмотреть многие характеристики сайта, и в том числе сразу увидеть статус ссылок — какие ссылки в какие теги заключены, закрыты ссылки или нет от индексации в поисковиках.

Установка и настройка плагина

Скачайте на компьютер и установите плагин, перейдя по ссылке: https://addons.mozilla.org/ru/firefox/addon/rds-bar/

В правом верхнем углу панелей управления браузером появиться значок  

(цифра 10 — означает показатель тиц сайта, как получить жирные ссылки на сайт бесплатно)

Нажмите на значок левой кнопкой мыши, откроется окно где вы увидите многие параметры сайта и страницы на которой находитесь. Таким образом вы сможете просматривать многие данные сайтов.

Далее нажмите правой кнопкой мыши по значку, откроется вкладка настроек и управления плагином.

Теперь откройте пункт настройки.

В этом окне можно настроить различные функции плагина RDS Bar.

Нужно ли выводить данные сразу в поисковых системах при поиске сайтов, а также настроить какие показатели будут запрошены.

Но нас интересуют параметры ссылок, поэтому идём вниз в настройки «Подсветка на страницах».

Здесь выбираем, как будут выделяться на сайте ссылки, а так же картинки которые имеют ссылки с различными тегами и статусами.

Выберите и установите цвет, рамку, зачёркивать или другое на ваш выбор: для ссылок с тегом «noindex»и атрибутом «nofollow».

Поэкспериментируйте, найдите удобный для себя вариант.

Теперь, открывая любую страницу любого сайта, вы быстро и сразу увидите статус находящихся здесь ссылок, индексируются ли они в поисковых системах и в какие теги заключены.

Удачи в делах!

• < Назад
• Вперёд >

Как использовать NOINDEX и NOFOLLOW?

Общаясь с клиентами и посещая тематические форумы по SEO не редко можно встретить вопрос, как, каким образом и в каких случаях использовать запрет индексации, «NOINDEX» и «NOFOLLOW»?

Прежде чем погрузиться в эту тему полностью уточним синтаксис, как объявляются эти правила.

«NOINDEX» можно объявить как HTML-тег:

<noindex>текст или код, запрещаемый для индексирования</noindex>

Но, написав код именно так, вы получите ошибку валидатора, потому что такой синтаксис не валиден. Если вы стремитесь к валидному коду, следует написать так:

<!-- noindex -->текст или код, запрещаемый для индексирования<!--/ noindex -->

Если вы хотите запретить индексировать всю страницу, можно использовать META-тег:

<meta name="robots" content="noindex"/>

Теперь рассмотрим синтаксис объявления «NOFOLLOW».

«NOFOLLOW» можно объявить как содержимое атрибута REL – (relationship) дословно-отношения. Атрибут указывает на отношение текущего документа к документу, на который ведёт ссылка, указанная в атрибуте «HREF» тега «A»:

<a href=”” rel="nofollow">анкор</a>

или как META-тег:

<meta name="robots" content="nofollow"/>

Как именно использовать эти инструкции, решать вам. А вот разницу давайте рассмотрим вместе.

<NOINDEX> и REL=»NOFOLLOW»

HTML-тег «NOINDEX» запрещает поисковой системе «Яндекс», только «Яндекс» поймёт эту инструкцию, и не будет индексировать выделенную этим тегом часть кода HTML-страницы. Только в Яндексе, потому что в поисковой системе «Google» возможность исключения части страницы не предусмотрена, что и указано в хелпе (помощи) поисковой системы.

Существует заблуждение, что если часть текста или кода страницы выделить тегом «NOINDEX», то Яндекс пропустит этот кусок кода при обходе роботом. Нет, не пропустит. Часть кода будет прочитана роботом и проанализирована поисковой системой, но не будет появляться и учитываться в поисковой выдаче системы. Чтобы лучше понять, почему так, поясним работу поисковых роботов, краулеров. Робот заходит на страницу вашего сайта и начинает её сканировать, читать. В какой-то момент обнаруживается объявление, открытие тега «NOINDEX». Так как страница роботом читается так же, как и людьми, слева направо и сверху вниз, разница в том, что робот читает не видимую часть, а код страницы, то краулер должен увидеть закрытие тега, то есть в какой точке страницы заканчивается отрывок кода, который вы запрещаете для индексации, значит, страница будет прочитана полностью. А значит, всё её содержимое будет известно поисковой системе. В связи с этим можно утверждать, что скрывать тегом «NOFOLLOW» часть неуникального текста – бессмысленно. Поисковая система поймёт и просчитает уникальность текста на вашей странице.

Встречается ещё один миф об этом теге. Если в тег «NOINDEX» поместить ссылку, то она не будет проиндексирована, а значит, не будет передавать свой «вес». Будет. Но в поисковую выдачу не попадёт текст, указанный в этой ссылке, сам анкор.

Какой смысл у тега «NOINDEX»?

Возникает резонный вопрос. А для чего нужен тег «NOINDEX»?

Тег «NOINDEX» предназначен для скрытия информации именно в поисковой выдаче, например, текст на странице посвящён описанию какой-либо одной характеристике товара, которая встречается у очень многих позиций вашего интернет-магазина, и вы в качестве примеров приводите описания этих товаров для сравнения и вам не нужно, чтобы в поиске всплывали эти второстепенные описания. Вот в этом случае ненужные подробные описания товаров и заключаются в тег «NOINDEX». Или ещё вариант, если на многих страницах повторяется один и тот же кусок текста. Конечно же, он может попасть в поисковую выдачу на всех этих страницах. Чтобы этого не произошло, используется тег «NOINDEX».

Как закрыть ссылку? Используем «NOFOLLOW».

С тегом «NOINDEX» разобрались. А для чего нужен «NOFOLLOW»?

Иногда нужно сослаться на информацию на другом интернет-ресурсе, но по каким-то причинам очень не хочется отдавать «вес» своей страницы. Вот в таких случаях и применяется атрибут отношения страницы-донора к акцептору (странице принимающей вес) – «NOFOLLOW».

Содержимое атрибута REL «NOFOLLOW» понимается обоими флагманами поиска, «Яндексом» и «Google». При указании «NOFOLLOW» роботы обойдут, прочитают и проанализируют сами ссылки, содержащиеся анкоры (текстовое содержание ссылки) и страницы, на которые идут ссылки, но вес вашей страницы передан не будет.

Синтаксис использования «NOINDEX» «NOFOLLOW» следующий:

Передаётся вес и индексируется анкор ссылки.

<a href=”http://reg50.ru/”> Поддержка и продвижение сайтов</a>

Вес страницы передаётся, но Яндекс не индексирует текстовое содержимое ссылки, анкор.

<!-- noindex --><a href=”http://reg50.ru/”> Поддержка и продвижение сайтов</a><!--/ noindex -->

Вес страницы не передаётся и Яндекс не индексирует текстовое содержимое ссылки, анкор.

<!-- noindex --><a href=”http://reg50.ru/” rel="nofollow"> Поддержка и продвижение сайтов</a><!--/ noindex -->

META-теги NOINDEX и NOFOLLOW

В начале статьи мы указали, что кроме тега «NOINDEX» и содержимого атрибута REL «NOFOLLOW» (rel=”nofollow”) есть ещё и META-теги с такими же именами. А зачем нужны они, если имеющегося функционала и так достаточно? Для чего используются
<meta name="robots" content="noindex"/>
и
<meta name="robots" content="nofollow"/>?

META-тег «NOINDEX», как и в случае с HTML-тегом запрещает индексирование только поисковой системе «Яндекс», всей страницы. То есть, в поисковую выдачу не попадёт только текстовая составляющая всей страницы, но страница будет прочтена и проанализирована, ссылки передадут «вес» страницам на которые ссылаются.

При наличии META-тега «NOFOLLOW» поисковые системы не будут индексировать ссылки, переходить по ним на акцепторы и передачи веса страниц не будет. Но, если на других страницах вашего сайта имеются такие же ссылки и они не закрыты META-тегом или атрибутом, то вес будет передан.

Итого

Теперь подведём итоги об использовании и значении «NOINDEX» и «NOFOLLOW».

Если нам нужно исключить какую-либо информацию из поисковой выдачи, используем «NOINDEX».

Если нам нужно сослаться на источник или материал на нашем сайте, но не нужно передавать вес страницы-донора, используем «NOFOLLOW».

При объявлении этих инструкций не забываем об описанных выше нюансах и принципах обработки этих команд поисковыми системами.

Успешного Вам продвижения!

#оптимизация сайта, #продвижение сайта, #техническая оптимизация

Nofollow noindex для счетчика



Теги nofollow noindex — оптимизация ссылок и текста

Многие оптимизаторы знают, что показатели ТИЦ и PR зависят в первую очередь от количества и качества ссылок на сайт. Но если ваш ресурс ссылается на другие, особенно не подходящие по тематике, то его вес падает. В этой статье будет рассказано, как правильно закрыть ненужные внешние ссылки и текст от индексации с помощью тегов nofollow noindex.

Noindex

Тег noindex используется, чтобы запретить индексацию какой-то определенной части текста. Следует помнить, что ссылки и изображения этот тег от поисковиков не закрывает. Если все-таки попытаться закрыть этим тегом анкор со ссылкой, то под индексацию не попадет только анкор (словосочетание), а сама ссылка однозначно попадает в индекс.

Noindex запрещает индексацию части кода, находящуюся между открывающим и закрывающим тегами. Вот пример:

Этот текст Яндекс не индексирует

Естественно, его не стоит путать с мета-тегом ноиндекс, который прописывается вначале страницы, они имеют различные задачи. Если взять мета-тег , то он запрещает индексирование всей страницы и переход по ссылкам. Этот запрет можно также прописать в файле robots.txt и такие страницы поисковыми роботами не будут учтены.

Валидный noindex

Некоторые HTML-редакторы noindex не воспринимают, поскольку он не является валидным. К примеру, в WordPress визуальный редактор его попросту удаляет. Но валидность тегу все же придать можно:

Текст закрыт валидным ноиндекс

Если в HTML-редакторе прописать тег в такой форме, то он будет абсолютно валиден и можно не бояться, что он исчезнет. Тег noindex воспринимает только поисковый бот Яндекса, робот Гугла на него абсолютно не реагирует.

Некоторые оптимизаторы допускают ошибку, когда советуют закрыть все ссылки такими тегами noindex и nofollow, но об этом будет рассказано ниже. Что касается работы тега ноиндекс, то она безотказна. Абсолютно вся заключенная в этих тегах информация в индекс не попадает. Но некоторые вебмастера утверждают, что иногда все же текст внутри этих тегов индексируется ботами – да, действительно такое случается.

А это все потому, что Yandex изначально индексирует полностью весь html-код страницы, даже находящийся внутри noindex, но затем происходит фильтрация. Поэтому вначале действительно проиндексирована вся страница, но через некоторое время html-код срабатывает и тест, заключенный в этот тег «вылетает» из индексации.

Можно даже не соблюдать вложенность тега noindex – он все равно сработает (об этом рассказывается в справочной Яндекса). Не забывайте, используя, открывающий в конце исключаемого текста поставить закрывающий , а то весь текст, идущий после тега не проиндексируется.

Nofollow

Атрибут rel=»nofollow» имеет задачу закрывать от поисковиков ссылки, расположенные в тексте. Он используется оптимизаторами для исключения передачи веса со ссылающегося ресурса на ссылаемый. Яндексу об этом атрибуте прекрасно известно.

Необходимо знать, что nofollow вес на странице не сохраняет – если ссылка заключена в этот тег. Вес ресурса по ней не переходит, а наоборот «сгорает» или при присутствии на странице других не закрытых атрибутом ссылок, вес будет распределяться между ними. И если на странице сайта присутствует хотя бы одна внешняя активная ссылка, то вес страницы будет уходить.

Даже если вы закроете все внешние ссылки атрибутом nofollow – то вес все равно сохранен не будет – он «сгорит». Поэтому все внешние ссылки закрывать не имеет смысла.

Естественно, в ссылках, которые ведут на внутренние странички блога атрибут nofollow ставить бессмысленно, хотя бывают исключения. В тех случаях, когда вес со страницы нужно передать по выбранным внутренним ссылкам, все остальные можно закрыть.

Пример совместного использования nofollow и noindex

Прекрасно себя чувствуют оба тега nofollow и noindex, когда они находятся в непосредственной близости. Вот пример их использования:

Оформление ссылки, таким образом, поможет вам удержать вес страницы и к тому же поисковый бот Яндекса анкор не увидит. В заключении нужно сказать, что не нужно закрывать тегом ноиндекс ссылки, таким образом, вы запрещаете индексацию только анкора, но не самой ссылки. Для нее будет достаточно одного атрибута нофоллоу.

Источник

Какая разница между тегами nofollow и noindex?

Выясняем, как работают тег noindex и атрибут nofollow. Подробно рассмотрим сценарии использования и узнаем, как прописывать теги для роботов в зависимости от поставленных задач.

Теги и атрибуты

Их еще называют дескрипторами. Это элементы разметки, с помощью которых объектам в текстовом документе придаются определенные свойства. Эти свойства зависят от языка разметки и поставленных задач. Сделать шрифт жирным, превратить кусок текста в гиперссылку или задать ей специфичные визуальные характеристики.

Но есть теги, которые выполняют несколько иные функции. В их числе nofollow и noindex. В любых своих проявлениях они никак внешне не влияют на текст и ссылки. Посетитель сайта не заметит, если часть страницы обведут в тег или пометят атрибутом nofollow. Текст будет выглядеть без изменений.

Изменения произойдут на технической стороне. Отличия заметит поисковой робот, анализирующий и индексирующий веб-страницы.

Что такое noindex

«Ноиндекс» – тег и атрибут HTML-страницы. Можно пометить им страницу целиком, придав ей определенные свойства, либо выбрать отдельный участок кода и применить атрибут к нему.

Функция noindex заключается в «сокрытии» контента от поисковых роботов, машин, анализирующих и индексирующих веб-сайты. Они собирают базу данных для поисковых служб и предоставляют пользователям релевантные результаты поиска.

Если какая-то часть контента на странице помечена тегом noindex, то робот ее проигнорирует и в поиске она учтена не будет, что прямо повлияет на SEO-продвижение ресурса, на котором были произведены соответствующие изменения.

На самом деле, робот, конечно же, посмотрит все, что есть на сайте. Просто не будет заносить это в индексную базу.

Какой контент помечается этим тегом?

Любой. В зависимости от помеченной информации и поискового робота тег будет восприниматься по-разному.

Обычно в noindex заворачивают четыре типа текстового контента:

1. Информацию с низкой уникальностью, чтобы избежать проблем с антиплагиатом.
2. Коды счетчиков (типа метрики и других аналитических систем), ненужные поисковику.
3. Контактные данные, номера и ссылки, которые не стоило бы показывать в поисковой выдаче.
4. Постоянно меняющийся текст, индексация которого не принесет никакой пользы.

Как использовать тег?

Тег можно вставить в страницы как мету (атрибутом), увеличив область его действия на всю страницу.

С таким кодом индексация страницы разрешается:

А с таким индексация запрещается:

Такое правило можно указать для конкретного робота. Например, поискового бота Google:

Еще один способ — встраивание тегов в текст и оборачивание в него ссылок.

Правда, такая разметка может нагородить ошибок из-за того, что многие поисковики не понимают тег и считают его наличие в тексте ошибкой. Поэтому приходится исползать его вариацию . В таком виде роботы, понимающие тег, считывают его без проблем и задают нужные свойства, а непонимающие попросту игнорируют.

Независимо от типа скрываемого контента, принцип остается тем же. Поэтому, если нужно скрыть от индексации код счетчика, ничего специфичного делать не придется. Так же оборачиваем его в и все.

Что такое nofollow

Атрибут, вставляющийся перед ссылками и запрещающий по ним переходить.

Вес страницы — это своего рода уровень авторитетности сайтов, один из факторов, учитываемых при ранжировании страниц в поисковых запросах. Чтобы не передавать вес страницы другим сайтам по размещенным на них ссылкам, данные ссылки оборачивают в тег nofollow.

Какой контент помечается этим атрибутом?

Ссылки. Но не все ссылки, а те, что могут как-то негативно повлиять на вес ресурса. Это касается автоматических ссылок, появляющихся в тех или иных участках сайта. Атрибут nofollow стоило бы приписывать любым внешним ссылкам, за которые вы не можете ручаться. Добавленные на ресурс другими пользователями через секцию комментариев или в графу профиля БИО.

Как прописывать тег?

С таким тегом индексирование страницы разрешается, но запрещается переход по всем ссылкам:

Как и в случае с , правило можно задать для конкретного поискового робота:

Если мы говорим о конкретных ссылках, то переход на них можно запретить прямо внутри разметки.

Преимущества тега noindex и атрибута nofollow

Некоторые полезные свойства тегов мы уже обсудили выше, но на эту тему можно сказать больше.

• Теги помогают сделать информацию на сайте более релевантной за счет вычленения из нее неуникального и разного рода утилитарного контента, который никак не связан с данными для посетителей. Не только пропадает текст, понижающий общую уникальность, но и увеличивается плотность вхождения ключевых слов.
• Тегами можно спрятать информацию из сквозных блоков, которые часто воспринимаются роботами как дубликаты данных.
• Я уже упомянул выше, что за тегом частенько прячут контактную информацию, но не пояснил зачем. Дело в поисковых сниппетах Яндекса и Google, в которые ненароком могут попасть номера телефонов и адреса, указанные на другом сайте или закрепленные за другой компанией в Яндекс.Справочнике.
• Атрибут nofollow может прятать платные ссылки. Рекламные статьи, заметки и обзоры, размещенные на странице. Поисковикам запрещают переход по ним, чтобы избежать санкций со стороны Google или Яндекса.
• Еще nofollow нужен для распределения приоритетов сканирования. Чтобы в него не попадали всякие формы регистрации и прочие технические страницы. Сканирование этой информации никакой пользы не принесет.

Выше мы использовали и nofollow в качестве мета-атрибутов, чтобы задать свойства всей странице целиком. Посмотрим, как разрешить для роботов весь контент и все ссылки:

А это полный запрет на контент и ссылки:

Данный тег спрячет от ботов страницу целиком, но то же самое можно сделать, указав соответствующую ссылку в графе Disallow файла robots.txt, который отвечает за «исключение» страниц из индексации.

Но способы отличаются тем, что мета-тег разрешает поисковикам заходить на сайт и анализировать его содержимое. А вот если ссылка указана в robots.txt, то бот не сможет на нее зайти и провести индексирование.

Во избежание неадекватного поведения ботов, на уже проиндексированных страницах лучше использовать мета-теги, а в robots.txt заносите новые ссылки, неизвестные для Google и Яндекс.

Итоги

Теперь вы знаете, какие задачи выполняют теги noindex и nofollow. С помощью них можно строго задать поведение поисковых ботов Google и Яндекс в отношении вашего сайта и тем самым улучшить показатели SEO.

Источник

Noindex и Nofollow: как, зачем и для чего используют в SEO

В первую очередь давайте начнем с того, что существует несколько принципиально разных понятий: тег , атрибут rel=”nofollow” и мета-тег . В этой статье мы подробно разберемся с их определениями и предназначениями.

Что такое тег

. – тег, который предложили использовать поисковые системы для запрета индексации заключенного в него контента. Данный тег не входит в официальную спецификацию гипертекстовой разметки веб-страниц формата html.

Важно: распознается он лишь поисковыми системами Яндекс и Рамблер. Google не относится к числу поисковых систем, понимающих данный html тег.

Что такое атрибут rel=”nofollow”

rel=”nofollow” – значение, запрещающее поисковым системам переходить по ссылке, в которой используется данный атрибут.

Ниже будут рассмотрены все примеры использования тега и атрибута rel=”nofollow”.

Тег noindex и атрибут rel=“nofollow”

Тег для ссылок

Данный тег можно использовать для закрытия ссылок от индексации. Вот так это будет выглядеть в коде страницы:

Тег для контента

Данный тег можно использовать и для закрытия контента от индексации. Существует два способа. В коде страницы это будет выглядеть так:

Но стоит помнить, что данный тег понимают только поисковые системы Яндекс и Рамблер. Его свойства не распространяются на Google. Поэтому, если на вашем сайте есть некачественный контент, закрыть его таким способом можно только от роботов Яндекса и Рамблера.

rel=”nofollow” для ссылок

Данный атрибут, чаще всего, используется оптимизаторами в том случае, если они хотят, чтобы поисковые системы не учитывали наличие исходящей ссылки, как фактор передачи веса, но ссылка всё равно будет изучена роботом. Вот как это выглядит в коде:

Обычно, это уместно тогда, когда ссылки проставляются автоматически, например, в комментариях. Если вы не можете или не хотите поручиться за содержание страниц, на которые ведут ссылки с вашего сайта, следует вставлять в теги таких ссылок rel=»nofollow». Такой атрибут понимают и Google-боты и Яндекс-боты, а в своих справках поисковые системы пишут следующее:

Передает ли nofollow-ссылка вес

Если вы внимательно прочитали информацию по указанным выше ссылкам, теперь вы знаете, что вес по nofollow-ссылке не передается. Но из практики, мы можем смело сказать, что наличие таких ссылок в ссылочном профиле – очень полезный и достаточно естественный фактор в глазах поисковых систем. Но иметь много исходящих ссылок на своем сайте может быть негативным фактором, даже если они закрыты через данный атрибут.

Нужно ли использовать rel=”nofollow” для внутренних ссылок

Для того, чтобы сквозные ссылки, например на страницу регистрации или входа в личный кабинет не отнимали вес у других страниц, и не передавали его бесполезно, можно использовать rel=”nofollow”.

Как использовать совместно тег и rel=”nofollow”

Вот пример кода, когда оптимизаторы используют тег и атрибут rel=”nofollow” одновременно:

Но этот метод полноценно работает только для роботов Яндекса. Google понимает только лишь rel=»nofollow»>.

Мета-тег

Этот мета-тег устанавливается в секцию на той странице, которая не должна индексироваться и выглядит это следующим образом:

Суть значений noindex и nofollow в мета-теге остается та же:

Noindex – запрещает индексацию на уровне страницы (весь контент, который на ней есть), но не запрещает поисковым роботам посещать ее и переходить по ссылкам, которые используются в контенте.

Nofollow – запрещает поисковым роботам переходить по ссылкам на уровне страницы (и по внешним, и по внутренним).

Комбинации

Есть несколько случаев, когда используют данный мета-тег на практике. Под эти случаи есть разные решения:

1. нужно использовать в случае, если вы не хотите, чтобы страница была проиндексирована поисковыми системами, но роботы смогли бы перейти по ссылкам с этой страницы на другие. Например, это может быть вторая страница пагинации на сайте типа site.com/category/?page=2, на которой есть ссылки на следующие товары и вы не хотите, чтобы эта страница была проиндексирована поисковой системой.
2. выполняет то же самое. В данном случае вы запретите поисковой системе индексировать страницу, но просматривать ее и ходить по ссылкам роботы смогут.
3. – запрещает индексировать контент на соответствующей странице, а также запрещает роботам переходить по ссылкам.
4. – разрешает роботам индексировать страницу и ходить по ссылкам. Такой мета-тег не имеет смысла использовать, так как по умолчанию, и без него поисковикам разрешено выполнять те же действия. Но если на вашем сайте он установлен и вы не собираетесь ограничивать работу робота, специально удалять его нет смысла.
5. — разрешает индексировать страницу, но по ссылкам, которые в ней содержатся, робот переходить не будет.
6. — делает то же самое — разрешает индексировать страницу, но по ссылкам, которые в ней содержатся, робот переходить не будет.

Данный мета-тег можно использовать как для Google, так и для Яндекс отдельно

Если вам необходимо закрыть от индексации страницы только для Google, можно использовать . Так говорит справка Google.

Если закрыть от индексации только для Яндекса – . Об этом также очень подробно написано в справке Яндекс.

Как сочетать meta name=»robots» с robots.txt и в чем принципиальная разница

Некоторые оптимизаторы не понимают разницу между мета-тегом и закрытием соответствующей страницы в файле robots.txt. Оба способа запрещают поисковым роботам индексировать страницу сайта, но отличие все же есть:

Первый – разрешает роботам зайти на эту страницу, увидеть мета-тег и исключить ее из индекса или не индексировать.

Второй – запрещает зайти на страницу, и если вдруг она ранее уже была проиндексирована, она может долго находится в индексе поисковых систем, даже если вы ее закроете в файле robots.txt, без права на переиндексацию, впоследствии вы можете видеть ее в поиске так:

Поэтому для непроиндексированных страниц можно использовать любой из вариантов.

Если же страница уже была проиндексирована, рекомендуется установить в секцию мета-тег . Это исключит ее из индекса и предотвратит последующее попадение в него.

Если ваш сайт создан на WordPress, правильно настроить данные мета-теги поможет бесплатный плагин Yoast SEO. Примерно вот так это выглядит:

Помочь проанализировать наличие всех этих элементов (и мета-тегов и тегов и атрибутов) в коде страниц сайта может расширение для браузера RDS-бар:

Правильно настроив его, вы сможете видеть контент, завернутый в тег (будет подсвечиваться):

Ссылки с rel=»nofollow» (ссылка будет перечеркнутой, а в данном случае она еще и завернута в тег ):

И использование мета-тега :

Теперь вы знаете как с помощью данных методов настроить правильную индексацию сайта, что может повлиять в лучшую сторону на его продвижение в целом.

Источник

Robots — Полное руководство

В предыдущем посте мы обсудили, как использовать файл robots.txt, чтобы предотвратить сканирование сканерами поисковых систем разделов вашего веб-сайта. Но что, если вы хотите ограничить только то, как сканеры обрабатывают определенные страницы на сайте? Есть ли детальный способ контролировать, как сканеры обрабатывают отдельные страницы? К счастью, он есть, и он называется метатегом robots . Теперь, когда вы знаете, как это называется, я уверен, что ваш разум полон вопросов.Так что давайте начнем им отвечать…

Что такое метатег роботов?

Мета-тег robots — это строка HTML-кода, которая включается в веб-страницу и указывает сканерам поисковых систем, как им следует обрабатывать эту страницу. В частности, тег сообщает сканерам, разрешено ли им индексировать страницу, переходить по ее ссылкам и / или архивировать ее содержимое. Если вы не хотите ограничивать роботов, не включайте метатег robots.

Как выглядит метатег robots?

Как упоминалось ранее, тег представляет собой строку HTML-кода.Вот очень простой пример:

…


…

Этот метатег robots сообщает поисковым системам не индексировать соответствующую страницу (т. Е. Не показывать страницу в результатах поиска).

Каковы наиболее распространенные значения содержания для метатега robots?

Наиболее популярные поисковые системы (Google, Bing, Yahoo !, Ask и Яндекс) поддерживают следующие значения:

• index — позволяет поисковым системам индексировать страницу
• noindex — запрещает поисковым системам индексировать страницу
• follow — разрешает поисковым роботам следовать (т.д., обход) ссылки на странице
• nofollow — запрещает сканерам поисковых систем переходить по ссылкам (т. Е. Сканировать) на странице
• архив — позволяет поисковым системам сохранять кешированную копию страницы (и показывать ее в результатах поиска)
• noarchive — запрещает поисковым системам сохранять кешированную копию страницы

Согласно справочному центру поиска Baidu, Baidu не поддерживает значение noindex .

Существуют ли другие значения содержания для метатега robots?

На самом деле, это намного больше. Вот исчерпывающий список:

• все — позволяет сканерам поисковых систем индексировать страницу и переходить по ее ссылкам (т. Е. Объединяет индекс , и следуют значениям ) — поддерживается Google и Яндексом
• нет — запрещает поисковым роботам индексировать страницу и переходить по ее ссылкам (т. Е. Объединяет значения noindex и nofollow ) — поддерживается Google, Ask и Yandex
• nosnippet — запрещает поисковым системам отображать описательный фрагмент страницы в результатах поиска (он также не позволяет сканерам сохранять кэшированную копию страницы) — поддерживается Google
• nocache — запрещает поисковым системам сохранять кэшированную копию страницы (т.е.е., то же, что и значение noarchive ) — поддерживается Bing (и Yahoo !, теперь, когда он работает на Bing)
• noodp — запрещает поисковым системам использовать описание проекта Open Directory Project в качестве описательного фрагмента страницы в результатах поиска — поддерживается Google, Bing (и Yahoo!).
• notranslate — запрещает поисковым системам переводить страницу в результатах поиска — поддерживается Google
• noimageindex — запрещает поисковым системам индексировать изображения страницы — поддерживается Google
• unavailable_after — запрещает поисковым системам показывать страницу в результатах поиска после указанной даты / времени — поддерживается Google
• noydir — запрещает поисковым системам использовать Yahoo! Описание каталога в качестве описательного фрагмента страницы в результатах поиска — ранее поддерживалось Yahoo! (до этого был запущен Bing)

Есть ли удобная таблица со сводными значениями содержимого метатегов роботов?

Почему да, да есть:

Если я хочу использовать несколько значений содержимого, нужно ли использовать несколько метатегов robots?

№Если вы хотите использовать несколько значений, вы можете объединить их в список, разделенный запятыми. Для иллюстрации предположим, что вы хотите запретить поисковым системам индексировать страницу и переходить по ее ссылкам. Вы можете сделать это с помощью нескольких метатегов роботов:

Или вы можете выполнить ту же задачу с одним метатегом robots, который содержит несколько значений содержимого:

Что произойдет, если я не добавлю на свою страницу метатег robots?

Абсолютно ничего.По умолчанию поисковые системы предполагают, что вы не хотите, чтобы на вашу страницу накладывались какие-либо ограничения. В частности, если вы опустите метатег robots, поисковые системы предполагают, что вы хотите, чтобы они проиндексировали страницу, переходили по ее ссылкам и архивировали ее содержимое.

Что произойдет, если метатег robots имеет конфликтующие значения содержания?

К сожалению, ответ на этот вопрос сложнее, чем должен быть. Google и Яндекс — единственные две поисковые системы, которые публично прокомментировали эту ситуацию, и каждая из них рассматривает ее совершенно иначе, чем другая.При представлении конфликтующих значений атрибута Google выберет наиболее ограничивающее значение, тогда как Яндекс выберет вместо него значение атрибута по умолчанию. Для иллюстрации предположим, что на странице есть следующий метатег robots:

В этом примере Google будет уважать значение noindex и НЕ индексировать соответствующую страницу, поскольку это является более строгим. Яндекс, с другой стороны, будет уважать значение индекса, потому что это значение по умолчанию для этого атрибута.Непонятно, правда? К счастью, вы можете полностью избежать этого хаоса, если будете согласовывать свои ценности.

Что произойдет, если метатег robots страницы конфликтует с файлом robots.txt?

Google обрабатывает эту ситуацию так же, как и конфликтующие метатеги роботов: они соблюдают самые ограничительные значения. Таким образом, если страница заблокирована в файле robots.txt, Google будет учитывать это, независимо от того, есть ли на странице метатег robots со значением индекса index (поскольку страница отображается в файле robots.txt более строгий). Ни одна из других поисковых систем публично не прокомментировала, как они справляются с этой ситуацией, поэтому лучший способ избежать проблемы — это согласовать метатеги вашего робота с файлом robots.txt.

Даже если страница заблокирована файлом robots.txt, по ее ссылкам все равно будут переходить, если только страница не содержит метатег robots со значением nofollow .

Вы хотите мне рассказать еще какие-нибудь мелочи?

Вообще-то да. Спасибо за вопрос.У меня есть еще две быстрые вещи. Во-первых, важно отметить, что значения содержания не чувствительны к регистру. В частности, noindex будет интерпретироваться так же, как NOINDEX и NoInDeX . Во-вторых, если вы используете несколько значений содержимого, они должны быть разделены запятыми (как упоминалось выше), но пробелы, окружающие эти запятые, будут игнорироваться. Таким образом, noindex, nofollow обрабатываются так же, как noindex, nofollow .

Вы все это только что выдумали?

Я действительно хочу сказать: «Да.Но я действительно исследовал этот пост (я знаю, скучный). Если вы хотите еще раз проверить мою работу, вот соответствующие ресурсы для каждой из основных поисковых систем:

Если у вас есть другие вопросы, оставьте комментарий ниже, и мы продолжим этот небольшой вопрос и ответ!

Что такое метатег роботов и как его использовать? EverSpark Interactive

Что делать, если вы не хотите, чтобы страница отображалась в Google?

SEO — это искусство управления взаимодействием вашего сайта с поисковыми системами.Обычно это означает получение как можно большего количества просмотров, но бывают случаи, когда вы хотите исключить страницу из результатов поиска или ограничить способ ее использования поисковыми системами.

Для любого вида SEO-работы метатеги часто являются одними из самых полезных инструментов в вашем наборе инструментов. А один тег, известный как метатег robots , позволяет вам давать специальные инструкции непосредственно поисковым системам — инструкции, которые могут изменить то, как (или если) ваш сайт будет отображаться в результатах поиска.

Это дает вам более высокий уровень детального контроля над тем, как и отображается ли ваш контент в Google, Bing и других поисковых системах.

Что такое метатег для роботов и как он работает?

Мета-теги — это строки html-кода на веб-странице, которые не влияют на внешний вид страницы для посетителей, но содержат дополнительную информацию — «мета» данные, которые могут быть полезны для поисковых систем или кодировщиков.

Метатег robots — это тег, предназначенный для непосредственного взаимодействия с программами поисковых систем («роботами»), когда они сканируют вашу веб-страницу. Поисковые системы постоянно просматривают Интернет в поисках нового или обновленного содержания, чтобы их результаты поиска были актуальными и точными.Большинство поисковых систем будут читать теги robots сайта и соблюдать все содержащиеся в них специальные инструкции.

Вам просто нужно уметь писать эти инструкции. И вот чему мы вас научим.

Robots Meta vs. Robots.txt

Прежде чем мы углубимся в инструкции, важно понять наши термины. В мире веб-дизайна и SEO вы также встретите термин robots.txt или текстовый файл роботов . Хотя имена похожи, метатег robots отличается от robots.текст. Оба служат схожей цели — информировать поисковые системы об особом обращении, но работают на разных уровнях.

Robots.txt — это файл высокого уровня, содержащий инструкции для всего веб-сайта или всей его области. Например, robots.txt может указывать поисковой системе не индексировать блог вашей компании. (Кстати, это было бы плохим выбором для SEO.)

Метатег robots применяется только к одной конкретной странице вашего сайта. Например, он может указывать поисковым системам не индексировать сообщение в блоге во вторник.

Тег robots обеспечивает более высокий уровень контроля, чем robots.txt. В этой статье мы будем рассматривать только метатег, поскольку он более полезен для целей SEO.

Почему я должен использовать этот метатег?

Обычно вам не нужно использовать метатег robots. Если вы хотите максимизировать свой веб-трафик и рейтинг страницы, вы обычно должны позволять поисковым системам выполнять свою работу беспрепятственно. Но могут быть конкретные случаи, когда имеет смысл отказать им или ограничить их действия.

Например:

• Ограниченная конфиденциальность. Если страница на самом деле не предназначена для широкой публики, мета-данные роботов уменьшат вероятность того, что люди ее найдут. Он не будет невидимым — любой, у кого есть ссылка, сможет его увидеть, но он будет в стороне от проторенных дорог.
• Страница не готова для публики. Допустим, новая функция сайта находится на стадии бета-тестирования, и вы хотите, чтобы большое количество сотрудников или избранных клиентов могли ее проверить. Вы можете запустить страницу и использовать метатег robots, чтобы задерживать поисковый трафик, пока он не будет готов.Просто не забудьте обновить свой тег, когда захотите выйти в эфир!
• Спам-ссылки. Есть несколько более быстрых способов снизить рейтинг вашей страницы, чем ссылки на сайты, содержащие спам. Но что, если на таком сайте действительно есть отличный ресурс, которым вы хотите поделиться со своими посетителями? Мета-тег robots может сказать поисковым системам не переходить по ссылке, защищая рейтинг вашей страницы.
• Защита изображений. Для большинства предприятий лучше всего позволить вашим изображениям (с водяными знаками, атрибутами) широко распространяться в Интернете.Но если вы хотите разместить изображение, не показывая, что оно используется где-либо еще, тег роботов может указать Google не индексировать ваши изображения.

Как вставлять мета-теги роботов

Метатег robots выглядит примерно так:

{code type = HTML}

{/ code}

Это всегда всего одна строка кода, и она должна быть вставлена ​​в раздел заголовка html страницы. Например:

{code type = HTML}

 

…


… {/ Code} 

Если вы используете WordPress.org, существуют плагины, которые позволяют вам работать с метатегами самостоятельно или в рамках вашей стратегии SEO без прямого редактирования кода. Мета-теги не влияют на то, как ваш сайт выглядит для посетителей.

То, что делает ваш тег robots, зависит от того, какие значения вы в него вводите.

Основные значения

В приведенном выше примере nofollow — это «значение» метатега. Но есть шесть основных ценностей, и каждая из них имеет что-то свое:

• индекс: поисковые системы могут нормально индексировать страницу
• noindex: поисковые системы не должны индексировать страницу; не будет отображаться в результатах поиска
• follow: роботов поисковых систем могут «сканировать» или переходить по всем ссылкам на странице
• nofollow: роботы не должны сканировать ссылки на странице
• архив: поисковые системы могут архивировать полную копию страницы и отображать ее в своих результатах поиска (даже если вы переместите страницу вниз)
• noarchive: поисковые системы не должны архивировать страницу

Обратите внимание, что не все поисковые системы будут уважать все (или любые) теги, и они не обязаны обрабатывать вашу страницу так, как вам нравится.Например, ведущая китайская поисковая система Baidu не придерживается тега «noindex».

Расширенные значения тегов и альтернативы

Шесть вышеуказанных тегов удовлетворят потребности большинства пользователей, но есть и более специализированные, а также альтернативные теги, используемые некоторыми поисковыми системами.

Вот другие значения тегов, вместе с которыми их распознают поисковые системы:

• все: сочетает в себе значения «index» и «follow», сообщает поисковой системе как следует переходить по ссылкам, так и индексировать страницу (Google, Яндекс)
• none: сочетает в себе значения noindex и nofollow и является наиболее ограничивающим из значений основных тегов (Google, Ask, Yandex).
• noimageindex: просит поисковые системы не индексировать ваши изображения (Google)
• unavailable_after: устанавливает крайний срок, после которого страница больше не должна отображаться в результатах поиска (используется, например, как «unavailable_after: 31-Dec-1999 23:59:59 EST») (Google)
• nocache: это альтернативная форма значения «noarchive»; это просто еще один способ попросить поисковые системы не архивировать кешированную версию вашей страницы (Bing / Yahoo!)
• nosnippet: делает то же самое, что и «noarchive» или «nocache», но идет еще дальше.Большинство поисковых систем генерируют фрагмент о вашей веб-странице, который будет отображаться вместе с ним в результатах поиска; это просит их не делать этого. (Google)
• notranslate: просит поисковые системы не предоставлять перевод страницы в результаты поиска (Google)
• noodp: просит поисковые системы не использовать Open Directory Project, архив веб-страниц, редактируемый человеком, для фрагмента вашей страницы (Google, Bing / Yahoo!).
• noydir: запрещает поисковым системам использовать Yahoo! Описание каталога в качестве описательного фрагмента страницы в результатах поиска (устарело с тех пор, как Yahoo! был захвачен Bing)

Советы по использованию

Многие владельцы сайтов без опыта веб-дизайна могут захотеть поработать с метатегами для целей SEO.Вам не нужно быть гуру HTML, чтобы редактировать метатег робота, но вам нужно правильно использовать значения.

Три вещи, о которых следует помнить:

1. Можно использовать несколько значений. Объединение их дает вам более тонкий контроль, и вы можете поместить их все в один тег робота. Просто разделите несколько значений запятыми. Например: nofollow, noimageindex, notranslate ” />
.
2. Колпачки не имеют значения. Кроме паролей, в Интернете шапки почти не имеют значения.Например, NoFollow ” /> — это то же самое, что nofollow ” />.
   
3. Пробелы не имеют значения. Для разделения нескольких значений нужны только запятые. Пробелы могут облегчить вам чтение, но вы также можете их пропустить. Например, nofollow, noimageindex, notranslate ” /> вполне подойдет.

Конфликтующие значения тегов

Тег может содержать противоречивые значения.Например:

{code type = HTML} {/ code}

Тег «none» указывает поисковым системам , а не переходить по вашим ссылкам, но тег «follow» сообщает им, что должны переходить по вашим ссылкам. Вы всегда должны дважды проверять свои метатеги при их вводе, чтобы попытаться избежать подобной ситуации. Однако если это произойдет, то это не будет катастрофой; у него просто непредсказуемые результаты.

Большинство поисковых систем никогда не давали публичного ответа о том, как они справляются с подобным конфликтом.У Google есть, и он всегда полагается на самый строгий тег: в приведенном выше примере он проигнорирует «follow». Яндекс также объяснил свою политику, и она соответствует настройкам по умолчанию. Итак, в этом примере Яндекс просканирует ваши ссылки , Google — , а не , и что может делать любая другая поисковая система, остается загадкой.

Точно так же, если ваш файл robots.txt конфликтует с вашим метатегом robots, нет однозначного ответа о том, как они разрешаются большинством поисковых систем.

Могу ли я не указывать метатеги для роботов?

Если всего этого слишком много, можно смело опускать теги robots. Их необязательно включать, даже если говорить «все» или «индексировать». Все поисковые системы по умолчанию будут индексировать вашу страницу и сканировать ваши ссылки, если вы не скажете им этого не делать. Использование метатегов совершенно необязательно.

Однако, если у вас сложный веб-сайт или вы хотите, чтобы определенный контент был менее заметным, метатег robots может стать отличным способом сделать это.Несмотря на то, что он не является полным доказательством, его уважают наиболее широко используемые англоязычные поисковые системы, и с его помощью вы можете контролировать, как они используют ваш контент.

Мы можем помочь

В Everspark мы поощряем наших клиентов учиться и экспериментировать с тем, как управлять метатегами. Но если вы предпочитаете доверить это профессионалам, наши специалисты по SEO готовы вам помочь. Есть вопрос по метатегу? Хотите использовать их для увеличения посещаемости и продвижения вашего контента? Позвоните нам по телефону 770-481-1766 или напишите нам сегодня.

Статья Дрю Джейкоба. Дрю — специалист по цифровым медиа, создающий привлекающий внимание контент для клиентов Everspark.

Случайный noindex добавлен в пост

Здравствуйте!

Я получил ваше письмо и заглянул на сайт.

Это, несомненно, проблема плагина кэширования, когда он кэширует поздний ответ 404 или ответ на запрос-комментарий страницы, к обоим из которых TSF применяет noindex . Это не ошибка TSF; скорее, это защитная особенность.

Эти запросы могут быть вызваны в течение дня роботами, сканирующими ваш сайт. Когда срок действия кешей ваших страниц истекает, запрос страницы с таким запросом заставит плагин кеширования сохранить сломанную / неправильную версию страницы. Затем эта версия будет представлена ​​из кеша при выполнении законных запросов. Вот почему вы «иногда» получаете такой результат, потому что плагин кеширования может позже сохранить правильную версию. Хотя может показаться, что TSF ведут себя непредсказуемо, причина кроется в другом.

К сожалению, мне не удалось неопровержимо подтвердить эту проблему, потому что вы переключили плагины SEO до того, как отправили ссылки, о которых я просил вас за три недели до этого. Однако я очень сомневаюсь, что ошибаюсь.

В информатике есть две серьезные проблемы: проверка (не) кеша, присвоение имен объектам и ошибки «не на 1».

Единственный обходной путь — изменить настройки подключаемого модуля кэширования. Вероятно, это связано с опцией типа «игнорировать строку запроса…».Если такой вариант не представлен, вы можете рассмотреть возможность использования другого плагина кэширования или обратиться к авторам плагинов и привести их к этой теме.

Есть веская причина, по которой ни WordPress.org, ни WordPress.com (ни TheSEOFramework.com) не используют кеширование статических страниц, и именно так: WordPress — это динамическое веб-приложение, а не генератор статического HTML. WordPress может отображать страницу с неограниченного количества конечных точек; TSF существует для того, чтобы направлять роботов в правильном направлении, чтобы ваши посетители из поисковых систем каждый раз попадали на нужную страницу.

TSF не имеет преобладающих ошибок; вот почему мне не нужно было обновлять его с прошлого года.

«Но у другого плагина SEO нет этой проблемы», — скажете вы. Это потому, что TSF использует другую логику: TSF полностью полагается на Rewrite API и научен блокировать известные побочные эффекты; другие плагины SEO адаптировали и модифицируют этот API. Преимущество состоит в том, что TSF не имеет ошибок с WordPress, когда WordPress используется по назначению. Обратной стороной является то, что TSF детально выявляет ошибки, допущенные другими плагинами, и их пользователи продолжают приходить ко мне, чтобы помочь объяснить и исправить это.

мета-тегов, сниппетов и X-роботов для управления вашим контентом

Управление вашим контентом означает управление способом его отображения в результатах поиска, чтобы вы могли получить наилучший возможный рейтинг кликов. Поэтому убедитесь, что вы знаете, как использовать инструменты, которые Google использует для этого.

Некоторые аспекты SEO существуют с самого начала, и хотя легендарный тег «мета-ключевые слова» больше не используется, метатеги по-прежнему играют важную роль в SEO.Они позволяют нам сообщать Google, какой контент они могут или не могут использовать и как мы хотим, чтобы этот контент отображался в результатах поиска.

Убедившись, что вы знаете, как их реализовать, а также объем различных доступных тегов, вы можете определять, как поисковики видят ваш контент в результатах поиска.

В этом руководстве мы рассмотрим различные типы тегов (связанных с контентом), то, как Google их использует и как вы можете их реализовать.

Мета-теги

Мета-тег — это инструкция, которой задан определенный формат, чтобы ее можно было повсеместно распознать и понять, и которая помещается в теги кода страницы.Вот пример:

Разбивая это на две основные части, Пользовательский агент и Директива. Пользовательский агент — это имя:

meta name = "robots"

Это сообщает тому, что смотрит на тег (например, сканеру веб-сайта для поисковой системы), нужно ли ему обращать внимание на тег или нет. Например, этот тег в настоящее время применяется ко всем сканерам поисковых систем. Однако вы можете применить его только к Google, используя более конкретное имя, например:

Раздел «содержание» — это инструкция.В этом случае он сообщает поисковому роботу игнорировать страницу и не индексировать ее, поэтому она не отображается в результатах поиска. Как и «название», его можно изменить:

Теперь инструкция будет информировать всех поисковых роботов о том, что они не должны переходить по ссылкам на странице.

Помните, что инструкции, данные в мета-тегах, могут полностью игнорироваться злоумышленниками. Вы полагаетесь на усмотрение поисковых роботов, чтобы следовать предоставленным вами инструкциям.

Пользовательские агенты

Разные сканеры поисковых систем могут иметь разные имена:

Google: Googlebot

Bing: Bingbot

Yahoo! : Slurp

DuckDuckGo: DuckDuckBot

Baidu: Baiduspider

Яндекс: ЯндексБот

Директивы — Индексирование

Есть много разных директив.В этом руководстве мы специально рассматриваем те, которые определяют, как контент индексируется Google и затем отображается.

Все следующее относится к индексации вашего контента:

все : Нет никаких указаний, поэтому доступ не ограничен.

noindex : не показывать эту страницу в результатах поиска.

nofollow : не переходите по ссылкам на этой странице.

нет : эквивалент noindex, nofollow.

noarchive : не показывать кешированные ссылки в результатах поиска.

— Настройки отображения SERP

Это правила того, как Google будет отображать ваш контент после того, как он проиндексирует его. Стоит ознакомиться с тем, что это такое. Веб-мастера теперь имеют гораздо лучший уровень контроля над этим, чем раньше (благодаря ЕС, подробнее об этом позже).

max-image-preview: [настройка] : управляет размером предварительного просмотра изображения, отображаемого для страницы в поисковой выдаче

• нет : предварительный просмотр изображения не отображается.
• стандартный : Может быть показан предварительный просмотр изображения по умолчанию.
• большой : может быть показан предварительный просмотр изображения большего размера, вплоть до ширины области просмотра.

Пример:

max-video-preview: [n] : максимально разрешенный [n] секунд для фрагмента видео, для видеоконтента.

• 0 : может использоваться самое большее статическое изображение в соответствии с настройкой max-image-preview.
• – 1 : Нет ограничений.

Пример:

notranslate : Не предлагать перевод страницы.

noimageindex : Не индексировать изображения на этой странице.

unavailable_after : [дата / время]: не показывать страницу в поисковой выдаче после определенной даты.

Пример:

Фрагменты

Вместо того, чтобы показывать выбранные вами метаданные, Google может выбрать показ фрагмента.Это означает, что он выберет кусок текста, который обычно более релевантен для отдельного поиска, и отобразит его вместо этого.

Фрагменты автоматически создаются из содержимого страницы. Фрагменты предназначены для выделения и предварительного просмотра содержимого страницы, которое лучше всего соответствует конкретному поиску пользователя: это означает, что на странице могут отображаться разные фрагменты для разных поисков.
https://support.google.com/webmasters/answer/35624

Раньше это полностью оставалось на усмотрение Google.Однако после того, как в прошлом году Франция добавила к книгам новую директиву об авторском праве в Европе, Google был вынужден предоставить веб-мастерам больше контроля над тем, как их контент используется в поисковой выдаче. Этот элемент управления представляет собой добавление к вашему контенту метатегов и атрибутов HTML для конкретных фрагментов:

Мета-теги для конкретных фрагментов

nosnippet : Не требует пояснений, не показывать фрагмент для этой страницы.

max-snippet: [n] : Максимальное количество символов [n], разрешенное для фрагмента.

Вы также можете использовать эти значения в теге max-snippet:

• 0 : не показывать фрагмент.
• -1 : Нет ограничений по длине.

Пример:

Атрибуты HTML для отдельных фрагментов

Также можно выделить определенные части текста, которые вы не хотите использовать в качестве фрагмента. Это атрибут data-nosnippet , который может быть реализован в обычных элементах span, div и section.Таким образом, он добавляет свойство nosnippet к определенному элементу. Вот пример этого в действии:

Этот текст можно показать во фрагменте , и эта часть не будет отображаться

Вы можете найти более подробные примеры в этом разделе руководства Google.

X-Robots-Tag

Google больше не просто показывает веб-страницы. Он также включает мультимедийные файлы, такие как PDF-файлы, в результаты поиска. Вы не можете добавлять метатеги к ним, как к веб-странице, поэтому тег X-Robots — это способ добавления этой информации, когда вы не можете добавить ее в сам документ.Вместо этого он подается в ответе HTTP-заголовка от сервера. Вы можете проверить заголовок любого URL-адреса с помощью онлайн-инструментов, таких как проверка заголовка.

Это ответ на уровне сервера, который необходимо добавить в ваши файлы конфигурации. Вам может потребоваться помощь от вашей хостинговой компании, если вам это неудобно. Для большинства SEO-специалистов и веб-мастеров достаточно понимать, что они из себя представляют и как работают, без необходимости знать техническую реализацию. Однако при необходимости у Google есть дополнительная информация.

Как использовать SEO для нумерации страниц?

Ответы:

1. Каноническая ссылка не нужна, затем index, follow (можно не указывать, так как по умолчанию).
В заголовке добавить страницу N, чтобы во время аудита не было дубликатов — один для SEO не актуален.
Именованный девака сказал, что можно не регистрировать описание для страницы 2, но я все равно буду это делать, опять же по той причине, что для SEO нет разницы, и аудит выдаст ошибку.

2. Далее следует каноническая ссылка на себя, затем noindex. Вы также можете использовать robots.txt с deny Directive / page /, но важно всегда иметь важную карту сайта, иначе страница не попадет в поиск. Также в шапке нужно прописать теги ссылок, в которых вы указываете следующий или предыдущий. Для Google указывать noindex не надо, так как он понял, что эта страница разбита на страницы и получать поиск не должна, следовательно, возможна регистрация только на Яндексе:

3.Если вы укажете тег deny и allow, например, в начале noindex, nofollow, а затем index, follow, Яндекс выберет разрешение, независимо от порядка, в котором он расположен.

Источники:
https: //yandex.ru/support/webmaster/controlling-ro …

Что еще я записал:
1) это Можно исключить разбиение на страницы, т.е. если можно разместить на странице 40 товаров, лучше отказаться от разбивки на страницы, так как будет лучше вложение.
2) Возможно использование интеллектуальной разбивки на страницы, например 11 товаров, затем деление на 10, получение 1 товара на страницу, это нехорошо, поэтому со второй до последней страницы разбивки на страницы, чтобы проверить, сколько последних и отображает 11 товаров .
3) Используйте гибридное решение: разбивка на страницы + бесконечная программа, примеры:
https: //webmasters.googleblog.com/2014/02/infinite …

noindex — HandWiki

Краткое описание
A meta тег, используемый для запроса, чтобы интернет-боты избегали индексации веб-страницы

Значение noindex метатега HTML robots запрашивает, чтобы автоматизированные интернет-роботы избегали индексирования веб-страницы. ^{[1] [2]} Причины, по которым кто-то может захотеть использовать этот метатег, включают в себя совет роботам не индексировать очень большую базу данных, веб-страницы, которые являются очень временными, веб-страницы, которые находятся в стадии разработки, веб-страницы, которые вы хотите чтобы сделать их немного более конфиденциальными, или версии страниц, удобные для печати и мобильных устройств. Поскольку ответственность за соблюдение тега noindex веб-сайта лежит на авторе поискового робота, иногда эти теги игнорируются. Также интерпретация тега noindex иногда немного отличается от одной поисковой компании к другой.

Без индексации целых страниц

Возможные значения для содержимого метатега: «none», «all», «index», «noindex», «nofollow» и «follow». Также возможна комбинация значений, ^[1] , например:

Директивы, относящиеся к ботам

Директива noindex может быть ограничена только определенными ботами, указав другое значение «name» в метатеге.

Например, чтобы заблокировать бота Google, ^[3] укажите:

Или, чтобы заблокировать бота Bing, укажите:

Или, чтобы заблокировать бота BaidUu, укажите:

Файл robots.txt

Для блокировки сканирования можно использовать файл robots.txt.

Без индексации части страницы

Также можно исключить из индексации часть веб-страницы, например текст навигации, а не всю страницу.Для этого существуют различные методы; можно использовать несколько в комбинации. Главный паук индексирования Google, робот Google, не распознает ни один из этих методов.

тег

 

Проиндексируйте этот текст. Не индексировать этот текст. 
 Не индексировать этот текст. 
 

 
 Проиндексируйте этот текст.
 Не индексируйте этот текст. 
 Не индексируйте этот текст. 
 Не индексируйте этот текст. 
 

 
 Текст. 
 

 
 Проиндексируйте этот текст.
 Не индексируйте этот текст. 
 Не индексируйте этот текст. 
 Не индексируйте этот текст. 
 

 
 Проиндексируйте этот текст.
 Не индексировать этот текст. 
 

 

Проиндексируйте этот текст.

Не индексируйте этот текст.