Rel Canonical или Noindex? Что лучше использовать для закрытия дублирующих страниц?
Чтобы избежать дублирования контента и некачественных страниц при индексации, веб-мастера обычно предпочитают устанавливать теги noindex, nofollow, иногда rel = canonical, а иногда и все вместе. Так как же все таки правильней ?
Теги canonical и noindex в Google
Джон Мюллер (John Mueller) на одной из встреч в Google Webmaster Central рассказал, что поисковик Google при определении качества сайта использует только те страницы, которые разрешены для индексации. То есть, страницы закрыты через теги noindex учитываться не будут, именно поэтому Джон рекомендовал веб-мастерам вместо тега «noindex» использовать rel = canonical для страниц с дублирующим контентом.
При использовании тега noindex все сигналы, связанные с дублирующейся страницей, теряются и не передаются при учете качества сайта в целом. Канонический тег позволяет передать все сигналы с дублирующей страницы, на каноническую.
В случае если Вы будете использовать оба тега одновременно (noindex, nofollow, и rel = canonical)
Общее правило заключается в том, что сигналы передаются и объединены с канонизацией. Когда Google видит два похожих URL адреса с вашего сайта и вы чётко нам указываете на то, какой из них вы предпочитаете, мы попытаемся их объединить и будем учитывать только один (обычно более весомый) URL. Редиректы, rel=canonical, внутренние и внешние ссылки, sitemaps, hrflang и так далее — всё это говорит нам о ваших предпочтениях и чем больше вы их настроите, тем больше мы будем следовать им и использовать их для выбора канонического адреса (пересылая при этом все сигналы на выбранную страницу).
С другой стороны, noindex и disallow в robots.txt не являются признаками канонизации. Т.е. их наличие на странице не говорит нам, что вы хотите чтобы она сочеталась с какой-либо другой и что её сигналы нужно перенаправить. Disallow в robots.txt нам труднее понять, потому что мы даже не знаем соответствует ли указанная в нём страница чему-либо ещё на вашем сайте, есть ли похожие страницы, поэтому мы не можем использовать данный файл для канонизации, если бы захотели.
Отсюда следует: вы не должны смешивать noindex и rel=canonical так как для нас это очень противоречивая информация. Обычно мы выбираем rel=canonical и используем его поверх noindex, поэтому в любое время, когда вы полагаетесь на интерпретацию компьютерным скриптом (ботом), вы уменьшаете вес вашего входа (а SEO — во многом сводится на тем, чтобы указать боту ваши предпочтения).
Яндекс
Поисковая система Яндекс также распознает и учитывает оба тега, но комментариев от представителей Яндекса по вопросу можно ли использовать оба тега одновременно я не нашел. Но логически понятно, если теги распознаются также как и в Google, правила их использования должны быть теже.
Бороться с дублированием контента на сайте Яндекс также рекомендует в большей с помощью тега
Google: noindex и rel=canonical нельзя смешивать
Специалист отдела качества поиска Google Джон Мюллер рассказал о различиях между сигналами noindex и rel=canonical и объяснил, почему они не должны смешиваться.
По словам Мюллера, Google нужны четкие и понятные сигналы. Если на сайте сообщается, что один URL важнее другого, но при этом другой сигнал утверждает противоположное, или используется noindex (чтобы скрыть менее важные страницы, при этом передавая ссылочный вес другим страницам), то в конечном итоге Google может сделать совсем не то, что нужно владельцу ресурса.
Также Мюллер сообщил следующее:
Когда Google видит два URL с одного сайта, которые выглядят одинаково, а вы четко сообщаете о своих предпочтениях, то мы стараемся объединить их и обрабатывать как один (более сильный) URL вместо двух. Редиректы, rel=canonical, внутренние и внешние ссылки, файлы Sitemap, heflang и т.д. демонстрируют нам ваши предпочтения, поэтому чем более согласованно они применяются, тем скорее мы им последуем и используем их для канонической версии страницы.
С другой стороны, noindex (один) и директива disallow в файле robots.txt не являются четкими сигналами для каноникализации. Наличие на странице лишь тега noindex не говорит нам, что вы хотите объединить его с чем-то еще и что сигналы необходимо перенаправить. А директива disallow в файле robots.txt еще сложнее для понимания, так как мы не знаем, есть ли на сайте похожие страницы, поэтому не можем использовать данный сигнал для каноникализации.
Отсюда вытекает правило: нельзя смешивать noindex и rel=canonical: для нас это очень противоречивые сигналы. Обычно мы учитываем rel=canonical как более важный сигнал. Однако всякий раз, когда вы полагаетесь на интерпретацию со стороны компьютерного скрипта, вы уменьшаете вес вашего входа. А SEO сводится к передаче компьютерным скриптам информации о ваших предпочтениях.
Напомним, на днях Google также поделился свежими фактами о работе поисковой системы.
Источник: Search Engine Roundtable
Атрибут canonical и пагинация страниц: разногласия в рекомендациях Яндекса и Google
SEO-аналитик SiteClinic.ru
Тема настройки пагинации на сайте не нова. Кто-то советует закрывать все страницы пагинации от индексации, кто-то, наоборот, считает, что страницы должны быть полностью доступны роботам поисковиков. И это только два радикально противоположных подхода, единого мнения среди вебмастеров нет. Если вы хотите ознакомиться с различными подходами, рекомендую вебинар Сергея Кокшарова.Но сегодня поговорим не о подходах. Проблема, которую хочу поднять, заключается в том, что единого мнения о настройке пагинации, как оказалось, нет и у Яндекса с Google.
Давайте разбираться.
По настройке пагинации у Google уже давно есть рекомендации для сайтов.
Если кратко, то это три варианта действий:
— Оставить все, как есть, так как робот Google умеет распознавать разбиение на страницы и сможет определить, нужно ли их показывать в поисковой выдаче.
— Создать страницу «Показать все», где собрана вся информация, и указать ее как каноническую. В поисковой выдаче будет отображаться страница
— Использовать rel=»next» и rel=»prev», чтобы показать роботу Google взаимосвязь между страницами. В поисковой выдаче в этом случае будет показываться первая страница.
Ознакомиться с рекомендациями можно по этой ссылке.
У Яндекса отдельных рекомендаций или способа как-то указать роботу, что это страницы пагинации, не было, и нет. Но в конце 2015 г., давая советы вебмастерам, работающим с интернет-магазинами, сотрудники Яндекса дали рекомендации и по настройке пагинации.
Платон Щукин порекомендовал со всех страниц пагинации настраивать каноническую ссылку на первую страницу. Это позволит указать роботу Яндекса, что именно первую страницу нужно отображать в выдаче. При этом не возникнет проблем с индексацией товаров, так как по ссылкам на неканонических страницах робот Яндекса также будет переходить.
«Ссылки на товары, которые находятся на неканонических страницах, также будут известны индексирующему роботу».
Прочитать рекомендацию можно тут(п.2).
Проблема заключается в том, что подобное использование rel=»canonical» специалисты Google называют ошибкой.
И пишут об этом на официальном блоге
Здесь можно прочесть статью в переводе
Понятно, что Яндекс не обязан сверять свои требования с коллегами-конкурентами, но рекомендации рассчитаны на вебмастеров, а они, как правило, хотят подружить свои проекты с двумя лидирующими поисковиками. Что им делать?..
Чтобы как-то прояснить ситуацию, я уточнил, будет ли такая настройка ошибкой, у представителей Google, а в комментариях под рекомендациями Яндекса пояснил проблему и попросил прокомментировать.
Ответ от официального представителя Google удалось получить на одной из видеовстреч с вебмастерами. Андрей Липатцев (Google) подтвердил, что указывать первую страницу канонической в серии пагинации Google не рекомендует (смотреть с 15:30).
После нескольких уточняющих вопросов и ссылки на видеовстречу представители Яндекса ответили на вопрос уклончиво. Вместо ответа о противоречивых рекомендациях сказали, что можно указывать в качестве канонической страницы «Показать все»:
На этом я, честно говоря, потерял надежду получить новые универсальные рекомендации от Платона и перестал мучить поддержку Яндекса. Но тема «не заглохла».
После серии вопросов вебмастеров Платон не отказался от своей рекомендации указывать первую страницу канонической, но написал, что «параметр можно и не устанавливать». В целом, то, что это вариант решения, а не требование Яндекса, было понятно еще из первого поста. Альтернативного решения Платон не предложил.
Очень надеюсь, что сотрудники Яндекса наконец дадут полный развернутый ответ и подскажут вебмастерам, как поступить со страницами пагинации, чтобы это не противоречило требованиям ни Яндекса, ни Google. Ведь вопросы по настройке пагинации продолжают появляться на блоге Яндекса.
Если читатели статьи поддержат вопрос и также попросят дать сотрудников Яндекса развернутый ответ, шансы на успех, полагаю, значительно возрастут.
В заключение хочу дать несколько рекомендаций по настройке пагинации, описав те проблемы, с которыми я и мои коллеги из SiteClinic чаще всего сталкиваются, проводя аудиты сайтов.
1.Не забывайте про базовые моменты:
— текст описания, размещенный на первой странице, не должен дублироваться на страницах пагинации;
— уникализируйте заголовки страниц пагинации (title), добавляя в них номер страницы. Description и Keywords на страницах пагинации можно не использовать;
— ссылка на первую страницу пагинации не должна создавать дубль первой страницы категории.
2. Закрытие страниц пагинации от индексации может ухудшить индексацию товарных карточек. Мы обычно не рекомендуем такое радикальное решение.
3. Перед тем как предпринимать какие-то действия со страницами пагинации, проверьте, не приносят ли они поисковый трафик. Об этом пишут и сотрудники Яндекса:
Не стоит специально планировать использовать страницы пагинации как посадочные. Для этих целей есть много других вариантов. Например, теги или подкатегории. Но если трафик уже есть, то терять его, конечно, не желательно.
4. Нередко встречается рекомендация использовать для страниц пагинации
< metaname=»robots» content=»noindex, follow»/> – не индексировать текст страницы, но переходить по ссылкам.
В целом – логичное решение, но специалисты Яндекса пишут про недостатки этого метода:
Пояснить, что это за «некоторые показатели», Платон, по понятным причинам, отказался.
5. И последняя рекомендация уже не совсем технического плана.
Базовых настроек, которые мы указали в первом пункте, для большинства проектов вполне достаточно. Бороться с 5-10 страницами пагинации обычно нет смысла. Google в таких случаях рекомендует «не совершать действия».
Использовать дополнительные указания поисковым роботам обычно нужно, только если из-за страниц пагинации есть проблемы с индексацией или ранжированием основных страниц, содержащих полезный контент.
Google — нельзя смешивать noindex и rel=canonical на странице
Специалист качества поиска Джон Мюллер в дискуссии сайта Reddit поделился официальной информацией о различиях для Google между noindex и rel=canonical на странице и почему их нельзя использовать одновременно.
Джон заявил:
Общее правило заключается в том, что сигналы передаются и объединены с канонизацией. Когда Google видит два похожих URL адреса с вашего сайта и вы чётко нам указываете на то, какой из них вы предпочитаете, мы попытаемся их объединить и будем учитывать только один (обычно более весомый) URL. Редиректы, rel=canonical, внутренние и внешние ссылки, sitemaps, hrflang и так далее — всё это говорит нам о ваших предпочтениях и чем больше вы их настроите, тем больше мы будем следовать им и использовать их для выбора канонического адреса (пересылая при этом все сигналы на выбранную страницу).
С другой стороны, noindex и disallow в robots.txt не являются признаками канонизации. Т.е. их наличие на странице не говорит нам, что вы хотите чтобы она сочеталась с какой-либо другой и что её сигналы нужно перенаправить. Disallow в robots.txt нам труднее понять, потому что мы даже не знаем соответствует ли указанная в нём страница чему-либо ещё на вашем сайте, есть ли похожие страницы, поэтому мы не можем использовать данный файл для канонизации, если бы захотели.
Отсюда следует: вы не должны смешивать noindex и rel=canonical так как для нас это очень противоречивая информация. Обычно мы выбираем rel=canonical и используем его поверх noindex, поэтому в любое время, когда вы полагаетесь на интерпретацию компьютерным скриптом (ботом), вы уменьшаете вес вашего входа 🙂 (а SEO — во многом сводится на тем, чтобы указать боту ваши предпочтения).
По теме: Джон Мюллер ответил влияют ли рейтинг и отзывы на ранжирование в Google.
Источник: Reddit
Следите за нами в Telegram
Google рассказал про 5 частых ошибок rel=canonical
Google напомнил вебмастерам о пяти распространенных ошибках при использовании атрибута rel=canonical.
Ошибка 1: rel=canonical использован для первой страницы серии пагинации
Статья на сайте может иметь несколько страниц. Применение атрибута rel=canonical с указанием первой страницы как канонической будет неправильным, так как вторая, третья и последующие страницы статьи не являются дубликатами. В данном случае подобная ошибка приведет к тому, что поисковик не будет индексировать страницы 2 и 3.
В случаях многостраничного контента Google рекомендует использовать rel=canonical для всех компонентов статьи, указывая адрес, где размещен текст целиком или применять rel=”prev” и rel=”next”.
Ошибка 2: абсолютные URL ошибочно записаны как относительные
Абсолютные URL требуют полного написания адреса, включая http://. Если вебмастер по ошибке напишет < link rel=canonical href=“example.com/cupcake.html” /> вместо http://example.com/example.com/cupcake.html, алгоритмы поисковика могут проигнорировать rel=canonical.
Ошибка 3: непреднамеренное использование rel=canonical, использование атрибута к нескольким страницам
Иногда вебмастера копируют шаблон страницы, забывая изменить rel=canonical. Такие ошибки совершаются непреднамеренно, однако приводят к негативным последствиям.
Другая распространенная проблема – прописывание rel=canonical несколько раз по отношению к разным страницам.
Зачастую это случается при использовании плагинов, которые по умолчанию содержат атрибут. В подобных случаях Google, вероятнее всего, проигнорирует все прописанные rel=canonical.
Ошибка 4: раздел страницы ссылается на определенную статью
Представьте, что у вас есть несколько разделов на сайте, куда ежедневно размещаете несколько статей. Страница раздела имеет тот же контент, что и страница со статьей. Чтобы избежать дубликатов, вы прописываете rel=canonical, устанавливая страницу со статьей в качестве канонической. Поисковик не будет отображать в выдаче страницу с разделом, поэтому в данном случае лучше не прописывать атрибут вообще.
Ошибка 5: rel=canonical используется в <body>
Атрибут rel=canonical должен быть включен только в раздел < head> документа HTML. Если он попадает в раздел < body>, то поисковики его не учитывают.
Общие рекомендации, которые дают специалисты Google при использовании атрибута, заключаются в следующем:
— дублированные страницы должны ссылаться на канонический адрес;
— проверьте, существует ли страница, на которую вы ссылаетесь с использованием rel=canonical;
— убедитесь, что страница не закрыта с помощью мета тега noindex;
— проверьте, нужная ли страница (а не ее дубликат) отображается в результатах поиска;
— добавьте элемент < link> с атрибутом rel=canonical в раздел < head> неканонической версии страницы или укажите каноническую версию в HTTP-заголовке;
— используйте не более одного атрибута rel=canonical для страницы, иначе поисковая система проигнорирует их все.
Canonical и другие мета теги
Теперь Яндекс как и Google, Yahoo и MSN поддерживает атрибут rel=”canonical”, факт, несомненно, положительный. Но как вообще поисковики относятся к содержанию мета тегов, к указаниям для поисковых роботов?
В разделе помощи для вебмастеров Яндекс перечисляет «методы управления поведением» робота Яндекса, но в их описаниях подчеркивает, что все указания МОГУТ учитываться или использоваться, т.е. не являются обязательными для поискового робота, например:
<meta name=»keywords» content=»…»/> — может учитываться при определении соответствия страницы поисковым запросам
meta name=»description» content=»…»/> — может использоваться в сниппетах (описаниях сайтов на странице результатов поиска)
Содержание (content) этих мета тегов должно помогать роботу описывать страницу сайта, но робот, видимо, проверяет соответствие указанных ключевых слов или описания содержанию страницы. Это вполне логично, ведь по ошибке или преднамеренно в keywords и description могут быть использованы ключевые слова, которые не релевантны, и пользователь напрасно будет искать их на странице.
canonical
Атрибут rel=»canonical» мета тега <link> вебмастер может использовать, если на сайте есть «группы схожих по контенту страниц», т.е. страницы доступны по разным url. Чтобы избежать индексации дублей можно предпочитаемый (канонический) url, т.е. url страницы, которую вебмастер хочет видеть в результатах поиска, указать в разделе head страниц с неканоническими url.
Например, одна и та же страница с некоторыми отличиями содержимого или без отличий может открываться по url, которые содержат id сессий, переменные для сортировки и т.п.: www.сайт.ru/page50&category=2 или www.сайт.ru/page50&category=3.
<link rel="canonical" href="www.сайт.ru/page50">
Другой случай — одна и та же страница с url www.сайт.ru и сайт.ru.
Возможности атрибута canonical ограничены: «не рекомендуется создавать цепочки», т.е. если уж url указан как канонический, на странице с этим url не должно быть ссылки на другой канонический url, иначе смысл атрибута нивелируется.
Кроме того, каноническим может быть url только на том же домене. При переносе страниц на другой домен следует использовать постоянный редирект (301).
Также высказывается мнение, что редирект 301 надежнее использовать, если изменяются url страниц при смене движка, чтобы не потерять позиции в выдаче, т.е. полностью передать вес со старых.
noindex не работает?
Указание роботу в мета теге с name=»robots» работает однозначно, например
<meta name=»robots» content=»noindex»/>
запрещает индексацию текста страницы,
content=»nofollow» запрещает индексацию и переходы по всем ссылкам на странице, а
content=»none» или content=»noindex, nofollow» запрещает индексировать и то и другое.
Яндекс говорит, что ссылки на странице с nofollow не будут индексироваться, для робота они как бы не существуют.
Предполагается, что аналогично закрывает текст от индексации тег <noindex>, кстати его можно применять в формате
<!--noindex-->текст<!--/noindex-->
Закрывает ссылку атрибут rel=»nofollow» в теге <a>:
<a href="url" rel="nofollow">текст ссылки</a>
Но здесь есть свои тонкости. Например, есть мнение, что (как показывают эксперименты) тег noindex работает не всегда, например, работает, когда закрывает целый блок текста, а при попытке закрыть отдельные слова игнорируется. В чем дело?
Понятно, что страница, закрытая от индексации, просто не должна попадать в поисковую выдачу. Если в noindex закрыта часть текста, ситуация становится неоднозначной. Возможны случаи, когда в неиндексируемой части содержится действительно нежелательный текст, который делает нежелательной всю страницу в целом? Получается, что поисковик просто обязан читать и учитывать текст внутри noindex.
Источник – блог Яндекс.Поиска, ‘Canonical и другие мета теги’