Атрибут rel=canonical
Привет, друзья! Я уже писал про дубли страниц и то какой вред они могут нанести сайту. Сегодняшняя тема напрямую связана с этим явлением. Я расскажу про атрибут rel=canonical.
Атрибут rel=canonical был введен Google 12 февраля 2009 года. Он учитывается до сих пор, поисковой системой Яндекс в том числе. Атрибут rel=canonical указывает поисковым роботам какая страница является предпочтительной при индексации, если на сайте имеется несколько страниц с одинаковым содержимым, но с разными URL-адресами.
Допустим существует 2 страницы:
http://nazyrov.ru/chto-takoe-alexa-rank.html
http://nazyrov.ru/chto-takoe-alexa-rank.html?id=4535
В данном случае первая страница является основной, именно для нее и должен быть прописан атрибут rel=canonical. А вторая страница является лишь ее копией, но с другим URL-адресом. Следовательно, если не будет прописан rel=canonical, то поисковая система будет индексировать как основной адрес, так и дубль страницы.
Конечно, поисковые системы не глупы и со временем выкинут дубль из индекса, но на это требуется время. А если сайт ежедневно пополняется несколькими сотнями новых страниц, то отсутствие указания канонического URL-адреса может негативно сказаться на продвижении.
Возьмем интернет магазин с 10 000 товарами. У каждого товара на сайте своя страница и несколько дублей. Представляете как подпортит продвижение сайта могут 20 000 дублированных страниц?
Откуда берутся неканонические страницы на сайте
Неканонические страницы или дубли генерируют движки управления, такие как WordPress, phpBB и прочие. Если у вас сайт написан на чистом HTML, то дублированных страниц в принципе быть не должно, если только вы их специально не добавляли конечно.
Если мы обратимся к справочнику вебмастера в Google и Яндекс, то увидим следующее:
Сообщение Google
Рекомендации Яндекс
Указание атрибута rel=canonical не является строгой директивой. При отсутствии данного атрибута, поисковые системы попытаются определить каноническую страницу самостоятельно.
Как прописать атрибут rel=canonical
С тех пор, как Google ввел данный атрибут, прошло много времени и практически на всех CMS и конструкторах сайтов есть возможность его прописать. В конструкторах сайтов он обычно прописывается автоматически, а для движков существуют дополнения в виде модулей и плагинов.
Если взять CMS WordPress, то практически все SEO плагины предоставляют возможность прописать канонический URL автоматически. Я пользуюсь плагином All In One Seo Pack, поэтому покажу на его примере.
В настройках плагина нужно отметить галочкой, чтобы автоматически прописывались канонические URL-адреса.
Если взглянем на исходный код страницы, то увидим что rel=canonical прописан. И если поисковый робот зайдет на этот дубль страницы, то увидит, что страница не является основной.
Вот такой вот интересный атрибут. Конечно, ничего нового я вам не открыл. Но почему-то многие не обращают внимания на вот такие мелочи, особенно владельцы небольших интернет-магазинов.
nazyrov.ru
Неканонический canonical — Searchengines.ru
4 июля 2019 года в блоге разработчиков Яндекса появилась заметка «Неканонические страницы в Поиске», в которой разработчики поисковой системы поведали о своем новом отношении к директиве canonical. Теперь они собираются выполнять ее только в том случае, если страница, которая ее содержит, несущественно отличается о той, которая указана в этой директиве как каноническая.
К слову сказать, Google также может проигнорировать директиву canonical, если содержимое канонической и неканонической страниц существенно различается. Причем я встречал курьезные случаи, когда не согласившись с канонической страницей, выбранной пользователем, Google не смог выбрать каноническую страницу сам, при этом все-таки выкинув неканоническую страницу из индекса:
У директивы canonical есть два неоспоримых преимущества. Во-первых, происходит так называемая консолидация URL, при которой объединяются нетекстовые факторы канонической и неканонической страниц. Так, например, Google в своей «Справке» упоминает об объединении ссылок и переходов. Что касается Яндекса, то о том, что факторы неканонической страницы учитываются для канонической, говорил сотрудник компании Александр Смирнов на Шестой Вебмастерской.
Во-вторых, несмотря на то, что неканоническая страница исключается из поискового индекса, поисковики знают о ссылках, которые на ней находятся, и включают ее в ссылочную структуру сайта. Так, например, собирательный сотрудников службы поддержки Яндекса Платон Щукин высказывался следующим образом:
«При этом ссылки на товары, которые находятся на неканонических страницах, также будут известны индексирующему роботу».
Поэтому, на мой взгляд, использование директивы canonical – наиболее предпочтительный инструмент объединения страниц сайта, вписанных в ссылочную структуру сайта, хотя и не самый оптимальный с точки зрения оптимизации краулингового бюджета, о чем я писал в своей предыдущей статье.
Однако теперь с его помощью может не получится объединить страницы, содержание которых существенно различается. Порассуждаем, в каких случаях это может произойти.
Первое, что приходит в голову – это дубликаты одной и той же страницы с динамическим контентом, расположенные на разных URL. Поисковые боты сканируют эти URL в разные моменты времени и получают различный контент. В итоге в индексе может накопиться некоторое количество копий по сути одной и той же страницы.
Если URL дубликатов отличаются от канонического URL только наличием get-параметров, то для Яндекса можно воспользоваться директивой Clean-Param в файле robots.txt. Но этот метод не является универсальным, как как Google эту директиву не поддерживает. В случае Google можно будет воспользоваться инструментом «Параметры URL» в Google Search Console. Однако поисковые машины не уточняют, будет ли в данном случае происходить консолидация URL без параметров и URL с параметрами, сканирование которых запрещается. Поэтому данный способ я бы предпочел применять только в крайнем случае.
Консолидация URL произойдет, если поисковому роботу при посещении неканонической страницы отдать код статуса 301 Moved Permanently с редиректом на каноническую. Причем, обычным пользователям можно показывать неканоническую страницу с кодом статуса
Однако в отличие от директивы canonical, в данном случае у поисковика не будет информации о ссылках, ведущих с неканонической страницы. Поэтому данный метод я рекомендую использовать в тех случаях, когда неканонические страницы не вписаны в ссылочную структуру сайта, например, для страниц с get-параметрами в URL, не влияющими на ее содержимое – utm-метки, идентификаторы сессии.
В случае же, когда неканоническая страница является достаточно важным элементом ссылочной структуры сайта, например, страницы пагинации или страницы с результатами фильтрации, то демонстрация поисковому роботу кода статуса 301, на мой взгляд, не будет оптимальным решением.
Так же как и практикуемый некоторыми SEO-специалистами способ, который заключается в размещении на странице мета-тега robots со значением ”noindex, follow”. В данном случае поисковик получит информацию о содержащихся на страницах ссылках, но исключит эту страницу из индекса без консолидации с каноническим URL. Да и к тому же со временем и информация о ссылках может перестать учитываться.
Итого результаты анализа можно свести в небольшую таблицу:
Таким образом, достойной альтернативы директиве canonical для страниц, вписанных в структуру сайта, не просматривается. Остается только надеяться, что поисковик, проигнорировав эту директиву из-за существенных различий содержимого неканонической страницы с содержимым страницы, указанной как каноническая, будет считать в этом случае страницу действительно качественной. И что такие страницы не будут впоследствии удаляться из индекса как некачественные без консолидации URL и учета ссылок с них, да еще и с негативным вкладом в «карму сайта».
www.searchengines.ru
Исключенные страницы: документ является неканоническим
Очень странная произошла вещь с одним сайтом, созданном на OpenCart. Все страницы выпали из индекса Яндекса — осталось только одна — главная. Первая мысль — сайт попал под фильтр. Но это не обычный сайт, а интернет-магазин, который, кстати, приносит доход его владельцу.
Я впервые написал Платону Щукину с просьбой указать причину происшедшего.
Что же это могло произойти? Описание товаров почти все уникальные, сайт еще не продвигался и обратных ссылок пока нет.
baranq / Shutterstock.comВ панели Яндекс.Вебастера в разделе «Исключенные страницы» находится информация о страницах, которые не были проиндексированы роботом.
В этом разделе находится информация о страницах, которые не были проиндексированы роботом при посещении сайта. Часто индексирование страниц намеренно запрещается вебмастером – это не является ошибкой и исправления не требует. Иногда могут возникать неполадки на стороне вашего сервера или сайта, что ведет к нежелательному исключению страниц, в этом случае проблему рекомендуется устранить.
В настройках вы самостоятельно можете указать, к какой категории относится та или иная причина исключения.
Я проверил все три категории
Ресурс не найден
Там все ОК, судя по всему кто-то набирал УРЛ в адресной строке и ошибся.
Документ запрещен в файле robots.txt
Я проверил, здесь всё правильно, эти страницы индексировать не нужно.
/index.php?route=account/account |
/index.php?route=account/address |
/index.php?route=account/download |
/index.php?route=account/edit |
/index.php?route=account/forgotten |
/index.php?route=account/login |
/index.php?route=account/newsletter |
/index.php?route=account/order |
/index.php?route=account/password |
/index.php?route=account/register |
/index.php?route=account/return |
/index.php?route=account/return/insert |
З/index.php?route=account/transaction |
/index.php?route=account/wishlist |
/index.php?route=affiliate/account |
/index.php?route=checkout/cart |
/index.php?route=checkout/checkout |
/index.php?route=checkout/quickcheckout |
/index.php?route=checkout/voucher |
/index.php?route=product/search |
/index.php?route=product/search&filter_tag=Product Name |
Документ является неканоническим
А вот тут уже интересно.
В коде документа в тэге содержится параметр rel=»canonical», содержащий канонический адрес страницы, по которому она индексируется роботом. Как правило, тег с атрибутом rel=»canonical» прописывают на дублирующих страницах сайта, в этом случае ничего исправлять не требуется.
Если страницы дублями не являются и должны индексироваться роботом, то вам необходимо убрать атрибут из их исходного кода. Более подробную информацию об использовании rel=»canonical» вы можете прочитать на следующей странице нашей Помощи.
Также в этом разделе могут присутствовать страницы, содержащие в коде документа мета-тег, и поэтому вместо них индексируются html-версии. Подробнее об индексировании AJAX-сайтов вы также можете прочитать в нашей Помощи.
Далее идет список УРЛ карточек продуктов (здесь их приводить не буду).
Теперь давайте размышлять вместе. Значит так. Что мы имеем? >Недоработку в OpenCart или странную реакцию Яндекса?
Смотрим что находится в коде страницы товара. Да там есть тег <link> с параметром rel=»canonical».
<link href="//site.ru/product-name" rel="canonical" />
Дело в том, что УРЛ, указанный в теге <link> совпадает с УРЛ самой страницы. Она что камикадзе? Что за суицит такой? Я понимаю, если бы УРЛ страницы, в коде которой был бы этот тег, указывающий на оригинал, тогда вопросов нет.
Теперь проверяем страницу этого поста моего блога, который работает на Вордпресс.
<link rel="canonical" href="//www.fortress-design.com/isklyuchennye-stranicy-dokument-yavlyaetsya-nekanonicheskim/" />
И что? И чем отличаются теги на этих двух страницах? Только тем, что у OpenCart rel="canonical" после ссылки, у WordPress — вначале. Но при этом мой блог отлично индексируется. Почему так? Где логика?
Значит Яндекс думает, что в Опенкарт эти карточки товара неканонические, а являются дублями оригинальных страниц. Но они как раз и являются оригиналами. Мда, наверное придется убирать из кода этот тег. Зачем мне проблемы? То что не нужно, я и сам закрою от индексации в robots.txt.
Читаем из Помощи Яндекса
Атрибут rel=»canonical» тега <link>
Если на сайте присутствуют группы схожих по контенту страниц, вебмастер может указать для каждой страницы группы предпочитаемый (канонический) адрес, который будет участвовать в поиске. Например, страница доступна по двум адресам:
<code>www.site.ru/pages?id=2 www.site.ru/blog</code>
Если предпочитаемый адрес — /blog, это нужно отразить в коде страницы /pages?id=2:
<code><link rel="canonical" href="//www.examplesite.ru/blog"/></code>
Робот считает ссылку с атрибутом rel=»canonical» не строгой директивой, а предлагаемым вариантом, который учитывается, но может быть проигнорирован.
Например, робот может не использовать указанный вами адрес, если:
- Документ по каноническому адресу недоступен для индексирования.
- В качестве канонического адреса указывается URL в другом домене или поддомене.
- Вы указали несколько канонических адресов.
fortress-design.com
Яндекс.Поиск начнет чаще показывать неканонические страницы
Неканонические страницы начнут чаще показываться в поиске Яндекса.
Как пояснили в команде Яндекс.Поиска, внутренние исследования показывают, что страницы, размеченные как неканонические могут быть полезны, а их наличие в поиске может влиять на качество и полноту ответа на запрос пользователя:
«Например, если для темы форума владелец сайта указал канонической страницу с началом ветки, то многие важные и нужные ответы, которые были даны пользователями позже, на поиск не попадают. Другой пример: бывает, что какое-то литературное произведение разбито на страницы и в качестве канонической прописана первая страница. В результате сайт не находится по запросу-цитате, соответствующей тексту за пределами первой страницы. Поэтому теперь в поиске неканонические страницы будут появляться чаще».
Они будут показаны в том случае, если являются более релевантными запросу и их контент существенно отличался от канонической версии во время сканирования роботом.
В Вебмастере такие страницы можно увидеть на странице «Страницы в поиске» с пометкой «Неканоническая». Кроме этого теперь будут показываться статусы «Каноническая» и «Каноническая страница не указана» для всех страниц, попавших в поиск.
Если канонические страницы настроены на сайте без ошибок, то никаких дополнительных действий от вебмастера не требуется. Для сайтов, имеющих много неканонических страниц, которые сильно отличались от канонических, возможен прирост количества страниц в Поиске. Впрочем, канонические страницы по-прежнему попадают на поиск гораздо чаще и имеют более высокий приоритет при показе в результатах поиска. Объем трафика для каждого конкретного сайта существенно не изменится.
Напомним, поддержка атрибута rel=«canonical», при помощи которого вебмастера могут указать, какая страница является «канонической» — предпочтительной для индексации поисковым роботом, была реализована поиском Яндекса в мае 2011 года.
Яндекс выкинул мои страницы как неканонические, но это не правда. — Яндекс
Здравствуйте.
Пожалуйста не проходите мимо. У меня вот такая проблема:
всего товаров выставлено >800, в поиске всего 320,
http://joxi.ru/PafHU_3JTJDfRxZa8fc
остальные страницы исключены как неканонические. Обратилась техподдержку, где арендован магазин, Что у них там с каноническими урлами.. у них все ок.
вот пример:
выставлены на сайт 800. товаров, не страниц. это значит что_500 ТОВАРОВ_ отсутствуют в поиске. страниц же за счет дублирования в разных категориях значительно больше.
вот результат по товару, которое находится в 4 категориях- все 4 страницы с одним платьем не участвуют в поиске. т.е.- одна страница должна участвовать в поиске. а не участвует НИ ОДНА. и ни одна из этих страниц не является _новой_.
http://joxi.ru/hZzHU4wyTJDELl7Tz_w
http://joxi.ru/m5zHU4wyTJBSOENc2o0
http://joxi.ru/uJzHU4wyTJBROC1oB70
http://joxi.ru/_pzHU_3JTJDjR_PLvLE
http://joxi.ru/FZ3HU_3JTJDoR_pDzxI
техподдержка платформы дала такой ответ и отправила с вопросом к яндексу:
Каждый товар, помимо того, что доступен по отдельному адресу в каждой из категорий, где он расположен, имеет ещё 2 адреса.
Если говорить о товаре «Свадебное платье Тесс», то эти адреса:
…./product/svadebnoe-platie-tess
…/product_by_id/27108258
,которые каноническими не являются и не должны таковыми быть.
Что касается категорий, то канонический адрес вот этот:
…./collection/kategoriya/product/svadebnoe-platie-tess
Собственно, он попадает в исходный код для всех страниц-дублей, здесь всё верно. Если Яндекс по-прежнему считает каноническим адрес с какой-либо другой категорией, имеет смысл уточнить непосредственно у специалистов поддержки Яндекса, по какой причине так происходит. Их ответ можно будет переслать нам, если что-то будет непонятно.
Ответ яндекса:
Мы проверили, Ваш сайт присутствует в поиске и находится пользователями, но некоторые его страницы, включая ….. /collection/kategoriya/product/svadebnoe-platie-tesshttp:// …/collection/kategoriya/product/svadebnoe-platie-tess, действительно отсутствуют в выдаче, при этом они не являются неканоническими, и никаких санкций на них не наложено. Дело в том, что наши алгоритмы устроены так, чтобы на запросы пользователей давать наиболее полный ответ, и в связи с этим в поисковую базу попадают наиболее релевантные документы ( http://help.yandex.ru/webmaster/yandex-indexing/excluded-pages.xml ).
В то же время наш робот помнит о других страницах сайта, если на них присутствуют ссылки, он периодически посещает их, и со временем они также могут быть включены в поиск. Помимо этого мы всегда работаем над совершенствованием алгоритма, принимающего решение по включению страниц в выдачу. И пример Вашего сайта передан в поисковый отдел нашей компании для анализа и последующего улучшения алгоритма.
Продолжайте работать над развитием Вашего ресурса, ориентируясь на его посетителей, и со временем число его страниц, участвующих в поиске, может увеличиться. С некоторыми нашими рекомендациями Вы можете ознакомиться в Помощи:
http://help.yandex.ru/webmaster/recommendations/targeting.xml ;
http://help.yandex.ru/webmaster/recommendations/presentation.xml .
И я теперь совсем не понимаю, что мне делать. Я пишу/покупаю уникальные тексты, вешаю их постепенно на все страницы, покупаю директ, твиты, посты пр. и прочее и тд. Но что делать, если это бесполезно- у яндекса такие алгоритмы. В приведенном примере- уникальный товар, картинка, описание..
Я буду вам очень признательна за небольшую консультацию.
talk.pr-cy.ru