Учитывает ли rel =»nofollow» Яндекс?

Главная » Блоги » блог teerex

9 Октябрь, 2009 — 19:45, teerex

nofollow — это значение атрибута rel тега <a> в HTML
в коде выглядит (rel=»nofollow»).
Указывает поисковым системам на то, что ссылку не следует никаким образом учитывать при индексировании данной страницы. Был введён поисковой системой Google.
Так же был введён аналог от Яндекса — тег <noindex>: содержимое тега не индексируется и не учитывается яндексом и рамблером.
Совершенно не хочется использовать невалидный тег <noindex> на страницах, посему решил проверить как Яндекс относится к гугловскому rel=»nofollow»
Собственно, запускаю эксперимент:

Подбираем ключевые слова, убеждаемся что в данный момент результатов по ним нет.
1) кракозербера
2) кукакозоид
3) грандешлазге
4) октипурпурус

1 — с rel=»nofollow»
2 — с rel=»nofollow» и <noindex>
3 — контрольный, без nofollow и noindex
4 — ссылка только в <noindex>

После индексации поисковиками — будут результаты по всем поисковым системам.
Далее Результаты:

1) кракозербера (nofollow)

Актуальные данные (на 14.10.11)
Яндекс официально учитывает свойство rel=»nofollow», судя по комментариям такие ссылки не должны учитываться (аналогично гуглу):
вебмастер → помощь:

---

Почему в разделе «Внешние ссылки» отображаются не все ссылки?

В сервисе отображаются все найденные роботом ссылки на ваш сайт. Причины, по которым некоторые ссылки могут не показываться:

* страница не переиндексирована — ее нет в результатах поиска Яндекса;
* ссылка содержит атрибут rel=»nofollow»;
* ссылка является ссылкой с изображения;
* ссылка не ссылается непосредственно на ваш сайт, а делает это через промежуточную страницу с редиректом;
* ссылка является ссылкой с изображения;
* ссылка появилась на странице недавно и эту страницу робот еще не успел переиндексировать.

Остальные ссылки должны быть видны. Новая ссылка, если с ней нет перечисленных выше проблем, через некоторое время после ее появления должна начать отображаться в разделе «Внешние ссылки»

---

Ранее яндекс индексировал ссылку, не учитывая свойство rel=»nofollow», показывая кроме этого сайта ещё другой и rel=»nofollow» игнорировалось.

2) кукакозоид (noindex, nofollow)
Актуальные данные (на 14.10.11)
Индексация текста ссылки запрещена тегом noindex, сама ссылка не учитывается из-за nofollow.

Ранее яндекс не индексировал ни содержимое, ни ссылки в теге noindex, но игнорировал атрибут nofollow.

3) грандешлазге (обычная прямая ссылка)

Яндекс учитывает обычную прямую ссылку 🙂

4) октипурпурус (ссылка в noindex, без nofollow)
В данный момент (14 октября 2011)
В Яндекс.Вебмастер:

В поиске:

в панели Яндекс.Вебмастер акцептора есть внешняя ссылка с этого поста, но по тексту анкора Яндекс ничего не находит (ибо noindex). Так что ссылка учитывается, но не влияет на выдачу по тексту ссылки.

Метки:

Что такое Noindex ᐈ Хочу знать?!

Как использовать Noindex

Если вам необходимо, чтобы некоторые фрагменты странички были скрыты от процесса индексации, просто заключите этот самый фрагмент в тег Noindex. В итоге Яндексом данный фрагмент будет проигнорирован, но другими поисковыми системами он все-равно будет учтен.

Поскольку данный тег состоит в классе нестандартных, для соблюдения «валидности» всего текстового контента можно использовать его как комментарий.

Noindex можно использовать исключительно с текстовым контентом. Картинки или ссылки с его помощью спрятать у вас не выйдет. Любой веб-мастер знает об этом. Если вы закрываете ссылку, имеющую анкор, то поисковая система Яндекс проигнорирует только само описание. Линк все-равно будет проиндексирован.

 

Как прописывать Noindex с метатегом роботс

Существует метод, с помощью которого можно спрятать страницу от индексации не только Яндексом, но и другими поисковыми системами. Для этого следует воспользоваться метатегом роботс. Но если в случае с Яндексом закрывается только определенная часть страницы, то для любой другой поисковой системы документ будет невидимым полностью.

 

Страницы для установки на noindex

1 Авторские архивы в блоге с одним автором

Поисковый бот трепетно относится к уникальности контента. Но домашняя страница блога часто выглядит как нарезка из разных публикаций статей, размещенных на сайте в разное время. Решить задачу можно разными способами. Опубликовать на Главной странице большую статью, посвященную тематике сайта. Можно отключить от индексирования архив авторов или наоборот, запретить индексировать некоторые элементы главной страницы. Перечисленное реализуется с помощью noindex. В результате читатели смогут видеть контент, который поисковый бот не индексирует.

2 Определенные (настраиваемые) типы сообщений

Иногда плагин или веб-разработчик добавляют пользовательский тип сообщения не желательный к индексированиюь. Изображение продукта, фильтры размеров и технических характеристик на вкладке рядом с описанием. Поэтому обычные страницы продуктов закрывают от индексации, которые выводит WooCommerce и используем наши собственные записи.

Решения для электронной коммерции, которые добавляют такие характеристики, как размеры и вес, в качестве настраиваемого типа публикации, считаются некачественным контентом . Эти страницы бесполезны для посетителей и ботов Google, поэтому их тоже нужно держать подальше от результатов поиска.

3 Страницы благодарности

Запись служит одной цели — поблагодарить клиента/подписчика на новостную рассылку/комментатора. Надо помнить, что подобный контент считается тонким, хотя и предоставляет возможность продавать из социальных сетей. Но он не представляет ценности для тех, кто использует Google для поиска информации. Такие страницы также лучше удалять из индекса, если нет весомых причин полностью занять ТОП-10. Например, из-за репутационных рисков.

4 Страницы администратора и входа

Большинство страниц входа не должны находиться в Google. Но это так. Не допускайте их попадания в индекс, добавив noindex. Исключением являются страницы входа, которые обслуживают сообщество, например Dropbox или аналогичные службы. Пользователи вряд ли станут искать страницы входа через поиск Гугл. Поэтому Google не нужно индексировать эти записи. В WordPress CMS автоматически не индексирует страницу входа на ваш сайт.

5 Результаты внутреннего поиска

Результаты внутреннего поиска — это в значительной степени последние страницы, на которые Google хотел бы отправлять своих посетителей. Если вы хотите испортить поиск, можно ссылаться на другие страницы поиска вместо фактического результата. Но ссылки на странице результатов поиска по-прежнему очень ценны, вы определенно хотите, чтобы Google следил за ними. Итак, все ссылки должны быть пройдены, а мета-настройка robots должна быть:

<meta name=»robots» content=»noindex, follow»>

Справочник по ошибкам индексирования — веб-мастер.

Справка

1. Ошибки загрузки
2. Ошибки обработки

Список ошибок, которые выдает робот Яндекса, если ему не удается загрузить документ с вашего сайта.

90 028 Соединение прервано при попытке загрузить документ. После нескольких попыток загрузка была остановлена.

Ошибка	Описание
Ошибка соединения
Превышен предельный размер текста	Документ слишком длинный, попробуйте разбить его на части.
Документ заблокирован от индексации в robots.txt	Документ не проиндексирован, поскольку вы или другой администратор заблокировали его от сканирования в robots.txt.
Неверный адрес документа	Адрес документа не соответствует стандарту HTTP.
Формат документа не поддерживается	Сервер не указывает формат документа или указывает его неправильно, либо указанный формат не поддерживается Яндексом.
Ошибка DNS	Ошибка DNS. IP-адрес хоста не может быть определен по его имени.
Код состояния HTTP не соответствует стандарту	Сервер возвращает код состояния, не соответствующий стандарту HTTP.
Неверный HTTP-заголовок	HTTP-заголовок не соответствует стандарту (включая расширение от Яндекса).
Не удалось подключиться к серверу	Не удалось подключиться к серверу.
Недопустимая длина сообщения	Длина сообщения не указана или указана неправильно.
Неверная кодировка	Заголовок Transfer-Encoding установлен неправильно или кодировка неизвестна.
Неверный объем переданных данных	Длина передаваемых данных не соответствует указанной. Передача данных завершается до или продолжается после получения указанного объема данных.
Превышена максимальная длина заголовка HTTP	Превышен предел длины заголовков HTTP. Это может быть вызвано попыткой передать слишком много файлов cookie.
Превышена максимальная длина URL-адреса	Длина URL-адреса превышает ограничение.

Список ошибок, возвращаемых роботами в случае успешной загрузки документа, но невозможности дальнейшей обработки.

Ошибка	Описание
Документ содержит метатег noindex	Документ не проиндексирован, поскольку он содержит метатег noindex .
Неверная кодировка	Документ содержит символы, не соответствующие заявленной кодировке.
Документ является журналом сервера	Документ распознан как журнал сервера. Если это страница, созданная для посетителей веб-сайта, попробуйте изменить ее так, чтобы она не была похожа на журнал сервера.
Недопустимый формат документа	Робот обнаружил, что документ не соответствует заявленному формату (HTML, PDF, DOC, RTF, SWF, XLS, PPT).
Кодировка не распознана	Кодировка документа не распознана. Возможно, документ не содержит текста или содержит текст в разных кодировках.
Язык не поддерживается	Язык документа не распознан или не поддерживается. Для получения подробной информации обо всех поддерживаемых языках перейдите в соответствующий раздел справки.
Документ не содержит текста	Сервер возвращает пустой документ.
Слишком много ссылок	Количество ссылок на странице превышает лимит.
Ошибка извлечения	Произошла ошибка при распаковке потока данных GZIP или DEFLATE с сервера.
Пустой ответ сервера	Сервер вернул ответ нулевой длины. Свяжитесь с администратором хостинг-сервера.
Документ неканонический	Элемент link в коде документа содержит атрибут rel , для которого задано значение canonical и он указывает на другой (канонический) документ. Канонический документ был проиндексирован вместо текущего документа.

Если страницы доступны для робота и отправлены на переиндексацию, но не появляются в поиске более двух недель, заполните форму ниже:

Чек-лист для интернет-магазина SEO

Когда мы вводим запрос в поисковик (например, «купить квартиру в Москве», «доставка обедов в офис» или «забронировать гостиницу в Праге»), мы видим, что некоторые сайты выходят на первые места в результаты поиска, а некоторые можно найти только пролистав несколько страниц. Если ваш интернет-магазин находится далеко в конце списка, то покупатель просто не дойдет до него. На сайт не будет попадать целевой трафик, и продаж не будет. Что делать? Ответ: оптимизировать.

Поисковая оптимизация (SEO) — это комплекс действий, направленных на продвижение вашего сайта на первые страницы результатов поиска.

Начать SEO лучше всего с внутренней оптимизации. Обычно после аудита на любом сайте возникают технические проблемы, которые необходимо решать. Мы собрали главное в один чек-лист, чтобы при оптимизации вашего сайта вы ничего не забыли.

1. Файл robots.txt

При обходе сайта поисковый робот в первую очередь читает файл robots.txt. Это обычный текстовый файл, который сообщает роботу, какие страницы индексировать, а какие нет. Если файл отсутствует или неправильно настроен, робот увидит даже системные папки сайта, где хранятся личные данные пользователей, и может пропустить важные страницы. Поэтому оптимизация сайта всегда начинается с robots.txt:

• проверить файл robots.txt. Для этого добавьте /robots.txt к адресу сайта в строке поиска браузера или найдите файл в корневом каталоге. Во многих CMS в административной панели есть возможность создать и отредактировать этот файл;
• определить, какие директивы включить в robots.txt. Каждая CMS будет иметь свои собственные директивы. Это зависит от структуры сайта. Рекомендуем всегда закрывать от индексации: страницы сайта в разработке, страницы с параметрическими ссылками, ссылки на страницы пагинации, технические страницы, личные данные клиентов.
  Узнать это можно, проанализировав сайт с помощью специальных программ (например, Screaming Frog SEO Spider). Может возникнуть и обратная ситуация, когда вам нужно открыть определенные разделы для доступа роботом (например, Google Mobile-bot, который индексирует мобильный контент). Узнать, правильно ли мобильный робот Google читает ваш сайт, можно через средство проверки мобильности сайта Google;
• включить ссылку на карту сайта в robots.txt, чтобы роботу было легче ее найти;
• проверьте корректность файла с помощью сервиса Яндекс Вебмастер или инструмента анализа Google. Помните, что Яндекс и Google проверяют файл на соответствие только собственным требованиям. Если файл корректен для Google, это не значит, что он корректен для роботов Яндекса, так что проверяйте в обеих системах.

Пример действительного файла robots.txt

2. Структура и формат URL-адреса

Формат URL-адреса, в котором сразу понятно, где находится посетитель, называется удобным для пользователя URL-адресом. Для интернет-магазинов это особенно важно.

Сравните:

Правила оптимизации URL:

• если ситуация на вашем сайте такая же, как на первой картинке, исправьте URL на удобный для пользователя. Это можно сделать вручную или с помощью инструментов CMS. Если сделать понятный URL для страницы проблематично, скройте такую ​​страницу от индексации через robots.txt. Не забудьте чистый URL для страниц фильтра. Обычно это решается с помощью специальных надстроек или доработок разработчиков;
• Длина URL не должна превышать 110 символов. Эта рекомендация в основном относится к страницам категорий. Названия продуктов могут быть очень длинными, и их трудно уместить в 110 символов;
• URL-адрес должен содержать только строчные буквы. Например, для поискового робота дублируются ссылки cart-power.ru/SEO_Optimizacia и cart-power.ru/seo_optimizacia;
• в URL используйте транслитерацию или перевод на английский язык. Выберите один и сохраните стиль на всем сайте. Сервисов по транслитерации много, их легко найти в сети;
• URL-адрес не должен содержать никаких символов, кроме латинских букв и знака «-»;
• URL не должен содержать два дефиса подряд, дефис в начале или в конце строки;
• , если у вас многоязычный интернет-магазин, убедитесь, что одна и та же страница на разных языках имеет разные URL-адреса.

3. Перенаправления

Перенаправление — это перенаправление пользователя с одного URL-адреса на другой. Он используется для того, чтобы пользователь сразу попал на финальную версию страницы с текущим адресом.

Когда одна страница полностью и навсегда перемещается на другой адрес, используется переадресация 301 (постоянная переадресация).

Правила использования редиректов:

• если URL страницы меняется и вы не хотите терять свое место в результатах поиска, то вам нужно поставить 301 редирект со старого адреса на новый. Помните, что наличие редиректов во внутренней структуре сайта — это плохо. Общий рейтинг сайта поисковыми системами ухудшается, поэтому по возможности следует избегать изменения URL страницы;
• все страницы без косой черты в конце должны перенаправлять на соответствующую страницу со косой чертой (или наоборот) во избежание технического дублирования страниц. Необходимо прийти к единому формату для всех URL;
• настроить редирект 301 с www. your_site.com на your_site.com или наоборот. Для нас эти адреса кажутся одинаковыми, но для поисковых систем это разные адреса с дублирующимся контентом или так называемые «зеркала». В поиске в любом случае будет только одно главное зеркало, поэтому требуется настройка редиректов;
• , если на вашем сайте есть SSL-сертификат, настройте перенаправление с HTTP на HTTPS.

4. Смешанный контент

Вам необходимо проверить сайт на наличие смешанного контента. Появляется, если какая-либо страница сайта с протоколом HTTPS содержит контент, передаваемый по протоколу HTTP. В этом случае страница считается лишь частично зашифрованной и, следовательно, ненадежной. Вы можете решить проблему смешанного контента, изменив внутренние ссылки с абсолютных (http://site.com/image/image.jpg) на относительные (/image/image.jpg).

5. Карта сайта (файл sitemap.xml)

Карта сайта представляет собой XML, содержащий адреса всех страниц и изображений на сайте. Правильная карта сайта значительно ускоряет индексацию страниц поисковыми роботами, и они не пропустят важные страницы при сканировании.

Для корректной карты сайта необходимо:

• удалить ссылки на служебные страницы и закрытые от индексации страницы;
• оставлять ссылки на страницы, которые нужно проиндексировать;
• разместить XML-карту изображений и XML-карту видеоматериалов (при наличии таких материалов). У Google есть требования к этим картам: для карты изображения, для карты видео;
• проверить, содержит ли robots.txt ссылку на sitemap.xml. Если карточек несколько, то все они должны быть перечислены в файле robots.

6. Пагинация страниц

Пагинация в интернет-магазине — это отображение ограниченного объема информации на одной странице. Например, у вас есть 10 продуктов, отображаемых на одной странице, 10 на следующей и так далее.

В 2019 году Google опубликовал новые рекомендации по дизайну страниц с разбивкой на страницы. Теперь нам нужно разместить весь контент на одной странице с помощью «бесконечной прокрутки» или кнопки типа «показать больше». Советуем следовать рекомендациям Google, но оставить сам пагинатор, чтобы поисковые роботы могли найти ссылки на товары.

Для того, чтобы страницы пагинации корректно индексировались в обеих поисковых системах, необходимо одновременно учитывать требования как Яндекса, так и Google.

7. Основные SEO-данные страницы (h2, Title, метатеги)

Обратите внимание на этот раздел, так как SEO-оптимизированные данные влияют на ранжирование сайта и помогают формировать правильный поисковый сниппет.

Основные принципы оптимизации данных страницы:

• каждая страница должна иметь уникальный контент в метатегах title, description, keywords;
• каждая страница должна содержать уникальный заголовок, заключенный в теги h2;
• Допустимо использование нескольких заголовков h3-h6 на одной странице сайта и только одного заголовка h2. При этом заголовок h2 на каждой странице должен быть уникальным в пределах всего сайта;
• внутри заголовка h2 не должно быть вложенных тегов.

Для генерации метаданных многие популярные CMS имеют модули, выполняющие эту операцию автоматически по шаблонам. Если в вашей CMS такого модуля нет, то вам придется прибегнуть к помощи программиста или прописать все SEO-данные вручную.

8. Картинки

Основные принципы оптимизации изображений:

• названия изображений должны совпадать с их содержимым или содержимым страницы, например, tshirt-size-S.jpg, а не 1.jpg;
• названия изображений не должны содержать пробелов, знаков препинания или подчеркивания. Если есть, измените его на дефис;
• каждое изображение должно иметь атрибуты alt (описание изображения) и title (название изображения);
• изображения должны располагаться как можно ближе к фрагменту текста, который они иллюстрируют;
• изображения должны быть хорошего качества, можно с водяными знаками;
• на товар лучше использовать не менее 2-3 фото с функцией лупы (увеличения).

9. Внешние ссылки

Необходимо максимально ограничить использование внешних ссылок. Если внешняя ссылка нужна по смыслу, то нужно добавить к ней атрибут rel=»nofollow» и заключить в теги:

10. Скорость загрузки сайта

Протестируйте сайт в Google Pagespeed Insights. Ваша задача — войти в зеленую зону или хотя бы достичь 80/100 как для мобильного, так и для десктопа.

11. Мобильная версия сайта

Создание мобильной версии сайта является обязательным условием для интернет-магазина. По данным shopolog.ru, мобильная аудитория в России в 2019 году составляет 61% от общего числа пользователей Рунета. Чтобы не упускать клиентов, сайт должен корректно отображаться на любом устройстве — компьютере, планшете или телефоне. Поисковики это учитывают и отдают приоритет адаптированным сайтам.

Работает ли у вас мобильная версия сайта, покажет Mobile-Friendly Test. Если все хорошо, вы увидите: «Круто! Эта страница оптимизирована для мобильных устройств».

12. Микроразметка

Использование микроданных облегчает поисковым системам сбор информации и формирование привлекательного фрагмента поиска. И это вызывает больше кликов на ваш сайт.

Микроразметка может быть реализована на следующих элементах сайта:

• панировочные сухари. Используйте схему https://schema.org/AggregateRating;

• контактные данные и логотип. Использовать схему https://schema.org/PostalAddress;

• профили в социальных сетях. Используйте схему https://developers.google.com/search/docs/data-types/social-profile-links;

• отзывы и оценки. Используйте схему http://schema.org/AggregateRating;

• карточки товара. Используйте схему https://schema.org/Product;

• реализация протокола Open Graph. Реализация такой разметки позволит задать заголовок, описание, фото и другие параметры, которые будут отображаться в сниппете страницы при публикации в социальных сетях.

13. Социальные сети

Добавьте кнопки социальных сетей и кнопки подписки. Это поможет увеличить отдачу на сайт, привлечь трафик, а главное, дать сигнал поисковым системам о том, что ваш интернет-магазин представляет интерес для пользователей.

Кнопки обмена

Кнопки подписки

14. Страницы ошибок

Представьте, что пользователь ищет товар в поисковой системе, переходит на сайт интернет-магазина, но попадает на страницу с 4XX или ошибки 5ХХ. Конечно, он сразу закрывает его. Системы сбора статистики и веб-аналитики определяют такое поведение пользователей как сбой. Это, в свою очередь, негативно влияет на поведенческие факторы ранжирования. Поисковик может сделать вывод, что страница не соответствует поисковому запросу, и понизить рейтинг сайта.

Этого можно избежать, оптимизировав страницы с ошибками 4XX или 5XX. Даже если пользователь попал на такую ​​страницу, ему необходимо предоставить максимум полезной информации и удержать его на сайте:

• 404 ошибка (страница не существует). Страница с такой ошибкой должна содержать форму поиска по сайту, главное меню, полезные статьи и контакты (телефоны, мессенджеры и e-mail). Извиниться за то, что пользователь не нашел то, что искал;

• 500, 501, 502, 503, 504, 505, 507, 510 ошибки (коды ошибок сервера) . На странице должно быть две ссылки: «назад на главную» и «обновить страницу».

Если внутренние ошибки на сервере повторяются, это негативно влияет на поисковую оптимизацию. Вам необходимо связаться с разработчиками для устранения проблем.

15. HTTP-заголовки Last-Modified и If-Modified-Since

Количество страниц сайта, которые поисковый робот индексирует за одно сканирование, зависит от выделенной для этого квоты. Логично, что квота не должна тратиться на повторное сканирование контента, который не изменился с момента последней индексации. Вы можете установить заголовки Last-Modified и If-Modified-Since, и тогда сканер будет сканировать только новые (обновленные) страницы. Таким образом, индексация страниц становится быстрее и эффективнее.

Как это работает?

Назначение заголовка Last-Modified — сообщить клиенту (браузеру или поисковой системе) информацию о последних изменениях на конкретной странице.

Затем клиент отправляет на сервер заголовок If-Modified-Since. Если на странице не обнаружено никаких изменений, сервер возвращает заголовок 304 Not Modified, и страница не загружается. Если были внесены изменения, это будет учтено, и сервер вернет заголовок «200 ОК», то есть страница загрузится с обновленным содержимым.

Проверить корректность заголовков можно в одном из этих сервисов:

• https://webmaster.yandex.ru/server-response.xml;
• http://last-modified.com/ru;
• http://www.bertal.ru/index.php?ex=1.

---

В чек-лист мы собрали основные моменты внутренней оптимизации интернет-магазина. Не забывайте работать с семантическим ядром и контентом, улучшайте юзабилити.