Закрывать ли страницы пагинации от индексации — если да, то как? — Сосновский.ру

Закрывать или не закрывать страницы пагинации? Вот в чем вопрос! Столько мифов и заблуждений вокруг индексации листинга товаров, что даже опытные оптимизаторы и seo-студии начинают путаться. Давайте окончательно разберемся, стоит ли запрещать индексировать пагинацию? Если да, то как?

Для тех, кто в танке .

Страницы пагинации (или листинга) — это навигационный элемент сайта, разбивающий большой объем контента на более мелкие части. Так, например, в категории интернет-магазина аккуратно и быстро показываются 20-30 товаров вместо всех 3564 штук. Или в блоге симпатично выводится 7-10 постов раздела вместо всех мыслей автора за последнюю дюжину лет.

Главная задача блока — облегчить и ускорить навигацию посетителя на сайте. Естественно, такой элемент есть и в моем блоге. Он же присутствует практически на каждом сайте. Именно поэтому вопрос носит массовый характер.

Сегодня я буду говорить про Рунет, где оптимизаторам приходится налаживать отношения не только с «отечественным зеркалом» (Яндексом), но и зарубежным big brother (Гуглом). В примеры буду ставить интернет-магазины, но правила также справедливы и для всех остальных типов ресурсов.

Проблема в том, что до сих пор нет универсального правила, которое бы отражало волю поисковых систем и решала задачи по SEO. Чтобы прийти к решению, которое устраивало бы всех, нужно ухищряться и прибегать к здравому смыслу. Забегу немного вперед — одно из них, на самом деле, очень простое

Что рекомендует Яндекс?

Платон в своем посте (пункт №2) советует ставить атрибут rel=»canonical» со всех страниц пагинации на первую.

…советую настраивать атрибут rel=»canonical» тега <link> на подобных страницах и делать страницы второй, третьей и дальнейшей нумерации неканоническими, а в качестве канонического (главного) адреса указывать первую страницу каталога, только она будет участвовать в результатах поиска.

Особенности:

1. Карточки товаров будут индексироваться как обычно.
2. Предотвращает возможное дублирование.
3. Помогает поисковику определить корректную посадочную страницу.
4. Для Яндекса rel=»canonical» не является строгой директивой. По опыту могу судить, что Яндекс иногда не учитывает или пропускает указания каноникала.
5. rel=»canonical» позволяет передать на основную страницу «некоторые показатели неканонических адресов».
6. В комментариях Платон ответил, что оказывается можно ссылаться не на первую страницу пагинации, а на документ со всем количеством товаров (если таковой имеется). Возникает вопрос — почему эту информацию не вывели в содержание записи?
7. В марте 2018 года Платон ответил в комментариях фразой «Если страницы со всеми товарами нет, на страницах пагинации атрибут rel=»canonical» можно не устанавливать«.  Ставьте каноникал на первую страницу. Хотя нет, на документ с общим ассортимент. Но если его нет, то вообще не ставьте. Так, ставить или не ставить, и куда? 
   .

…в то время как атрибут rel=»canonical» указывает на каноническую страницу и позволяет передавать ей некоторые показатели неканонических адресов (источник — все тот же пост).

Вы правы, момент с наличием страницы, на которой собран весь товар раздела, я упустил. Если такая страница присутствует на сайте, действительно, лучше указывать в качестве канонической именно её (источник — комментарии к посту).

Робот считает ссылку с атрибутом rel=»canonical» не строгой директивой, а предлагаемым вариантом, который учитывается, но может быть проигнорирован (источник).

Получается, что идеальный вариант для Яндекса — rel=»canonical» на отдельную страницу со всем ассортиментом продукции категории. Почему это не подходит для большинства сайтов?

• Во-первых, на многих сайтах нет подобного функционала.
• Во-вторых, такая страница должна быть основным документом категории и быть прописана в меню. Иначе ее внутренний вес будет минимальным. Или ставить дополнительно rel=»canonical» со стандартной категории на документ со всем ассортиментом раздела. Сюда же ее оптимизация: Title, Description, h2. На мой взгляд, много сомнительных манипуляций. Непонятно, как на это еще отреагируют поисковые системы.
• В-третьих, самое главное — теряется значение пагинации: посетители с поисковиков будут переходить на большую страницу с общим ассортиментом.
• В-четвертых, документ будет «тяжелее». От этого будет страдать скорость загрузки, которая, в свою очередь, влияет на ранжирование. Получается, ловим одно, но топим другое .

Как велит поступать Google?

1. Оставить как есть. Гениальный совет — распечатать и поставить на полку к «Развивайте сайт» .
2. Добавить страницу «Показать все». Аналог идеального решения Яндекса, но которое не вяжется с реальным положением дел.
3. UPD. Google перестал учитывать rel=»next» и rel=»prev». Использовать атрибуты rel=»next» и rel=»prev». Они указывают связь между документами пагинации (подробнее по ссылке выше). Удобно, но есть одно «но» — атрибуты не поддерживаются Яндексом.

Важно! Google считает вариант Яндекса с rel=»canonical» на первую страницу категории ошибкой. Подтверждение тому видео (начинает показываться с нужного момента).

Закрывать или не закрывать?

Мнение Яндекса — закрывать (из комментариев к той же записи):

Для пользователей сайта, несомненно, страницы пагинации нужны, но посетителям сайта из поисковой выдачи удобнее попадать сразу в начало каталога — как раз на первую страницу, поэтому я советую оставлять для робота только её.

Мнение Google — не закрывать. Либо поисковик сам разберется, что лучше держать в индексе и ранжировать, либо создайте для него отдельную страницу.

Основной вывод один — я бы крайне не советовал оставлять все на волю поисковых систем. Приведу несколько причин:

1. Мигающая индексация. Яндекс любит, то добавлять пагинацию в индекс, то исключать (статус «некачественная страница»).
2. Постоянно меняются посадочные в связи со схожей релевантностью и пунктом №1. Посетители из ПС постоянно попадают на разные документы. В поисковой выдаче они конкурируют с основной категорией (особенно если на ней нет дополнительного контента).
3. Пользователи не попадают на нужный набор товаров. Например, вы сделали наиболее привлекательную сортировку. В начале листинга показываются товары в наличие или по скидке, но потенциальный клиент может попасть на любую из страниц пагинации с распроданным ассортиментом.

Простой способ для новичков

Итак, что же делать в итоге? Самый простой вариант, который подойдет для большинства сайтов в Рунете — добавить на страницы листинга в рамках тега head строчку:

<meta name=»robots» content=»noindex, follow» />

Поисковые роботы не будут индексировать пагинацию — noindex, но будут следовать по ссылкам на ней — follow (например, чтобы лучше индексировать карточки товаров).

Все ! Единственное «но». Джон Мюллер из Google в конце прошлого года в видео-встрече с вебмастерами сообщил, что со временем noindex follow алгоритмами могут восприниматься как noindex nofollow. Когда же это случается — осталось тайной.

Популярные ошибки

А теперь несколько распространенных ошибок, которые нередко мешают продвижению:

1. Запрет индексации пагинации в robots.txt. Так делать неправильно. Во-первых, может пострадать индексация карточек товаров. Во-вторых, Google не особо любит правила в этом файле.
2. Дубли дополнительного контента на странице основной категории и листинга. Например, вы написали текст на продвигаемый раздел, а он также показывается на всех документах пагинации. Если она закрыта к индексированию, то еще ничего страшного, но если открыта, то получаются внутренние дубли.
3. Первая страница листинга доступна по адресу https://site.ru/nazvanie-categorii/page-1 и дублирует содержание основного документа категории https://site.ru/nazvanie-categorii/ . Нужен 301-редирект.
4. Добавление пагинации в sitemap. Делать такое не нужно. Не настолько это важные документы.
5. Одинаковые теги Title (опционально description). Даже если листинг запретили индексировать, то по-хорошему к тайтлам необходимо добавить номер страницы (его все-таки видит посетитель).
6. Все оставить на усмотрение поисковой системы (не запрещать индексировать). Выше написал, почему это может быть плохо. Потенциальное увеличение статического веса карточек товаров не перекроет проблем с дублями и мигающей индексацией. Некоторые даже советуют оптимизировать документы листинга под разные запросы и писать на каждую свой уникальный текст. Если вам нечем заняться и все задачи по сайту выполнены, то можете поэкспериментировать в данном направлении. Но зачастую это сомнительное и неэффективное мероприятие с элементами манипуляции над поисковой выдачей (спамом).

Пагинация через Javascript и «бесконечная» прокрутка

Есть и такой вариант вывода дополнительных карточек товаров — через javascript. Это либо динамическая «бесконечная прокрутка» (новые товары автоматически появляются сразу, как только посетитель прокручивает до конца списка), либо кнопка «Показать еще».

Главный плюс — нет проблем с пагинацией. Ее, по сути, просто нет. Главный минус — возможные проблемы с индексацией карточек товаров. Также у поисковой системы пропадает возможность оценить широту ассортимента категории, а это один из коммерческих факторов ранжирования.

Если у вас товары выводятся с помощью javascript, то Яндекс советует следующее:

Часто вместо пагинации сайты используют динамическую прокрутку, когда для посетителя, пролиставшего каталог до определённого момента, с помощью JavaScripts загружаются другие товары в данной категории. В такой ситуации необходимо проследить, чтобы весь контент таких страниц отдавался индексирующему роботу, либо чтобы роботу становилась доступна статическая пагинация товаров.

Здесь 2 варианта:

1. К динамической прокрутке добавлять обычную систему пагинации и действовать по общему алгоритму. Советую этот пункт.
2. Следить за объемом карточек товаров в sitemap.xml и перелинковкой, чтобы страницы продуктов индексировались максимально полно. Совет полезен и для всех остальных сайтов .

Тема вроде узкая, а получилась на 10.000 символов. Много нюансов, которыми нельзя пренебрегать.

А к чему склоняетесь вы? Закрываете ли пагинацию? Если да, то как? С нетерпением жду ваши отзывы и буду рад вопросам в комментариях .

sosnovskij.ru

Как скрыть текст или статью от индексации

Здравствуйте, уважаемые читатели блога Infomehanik.ru. Сегодня я подготовил инструкцию, как скрыть текст от индексации поисковиками Яндекс и Гугл. Это связано с тем, что бывают случаи когда очень хочется или нужно поделиться на своем сайте какой-то интересной информацией, которая уже опубликована в других источниках. Если просто опубликовать такой контент, поисковик скорей всего решит, что это плагиат и сделает вам «нехорошо» 🙂 Как же поступить в такой ситуации?

Закрываем весь текст от индексирования

Содержание статьи:

Поискав информацию по этому вопросу, я понял, что подробной инструкции в поиске нет. Есть какие-то отрывочные советы, часть из которых уже устарела, а в целом этот вопрос не освещен. В итоге я собрал разрозненную информацию и решил опубликовать ее здесь, в качестве наглядной инструкции для себя и моих читателей.

Итак, способы закрытия контента от Яндекса и Гугла отличаются. Чтобы закрыть текст от Яндекса, достаточно включить его в тег «NOINDEX». Делается это так:

<!—noindex—>Ваш скрываемый текст<!—/noindex—>

После этого Яндекс не будет индексировать эту часть текста. Так можно закрыть хоть всю страницу.

Для всевидящего ока Гугла ситуация показалась мне вначале сложнее. Так, некоторые авторы рекомендуют закрывать текст путем включения соответствующей записи в ROBOTS.TXT. Это слишком сложный путь и как оказалось неверный, т.к. в рекомендациях для вебмастеров Google четко сказано, что так не надо делать:

Как вариант, предлагается вставить в раздел <head> метатеги:

<meta name=”robots” content=”noindex”>

В этом случае, от индексации будет закрыта вся страница для всех поисковых систем. Чтобы закрыть только для Гугла, нужно использовать следующую конструкцию:

<meta name=”googlebot” content=”noindex”>

Такой вариант может вызвать трудности у неопытных пользователей, поскольку вставить в WordPress такое без вскрытия системных файлов практически не возможно. Конечно, вы можете заплатить N-сумму фрилансеру и он вам это сделает, вот только вопрос – готовы ли вы на это?

Простой способ скрыть текст

Как оказалось, существует простой способ для скрытия текста от индексации Гуглом с помощью специальных тегов. Выглядит это так:

<!—googleoff: index—>Ваш скрываемый текст<!—googleon: index—>

Таким способом можно закрыть любой текст или часть текста от Гугла. В Вордпресс это легко осуществить в режиме HTML-кода редактора. Если нужно скрыть текст и для Яндекса и для Гугла, используйте следующую комбинацию:

<!—noindex—><!—googleoff: index—>Ваш скрываемый текст<!—googleon: index—><!—/noindex—>

Для удобства я подготовил этот код, чтобы каждый раз не набирать его вручную. Вы можете его скачать в отдельный файлик и тоже использовать для себя:

infomehanik.ru

Как закрыть ссылку от индексации

Здравствуйте читатели. Вы не представляете, как меня достала эта учеба, но дотянуть все-таки нужно, осталось совсем чуть-чуть и все закончится…

Пользуясь небольшим перекуром, решил вам рассказать про влияние внешних ссылок на трас блога, а также новый способ, как закрыть ссылки от индексации (внешние и внутренние).

Периодически меня просят о такой услуге, как настройка блога WordPress или установить код контекстной рекламы от Яндекс Директ и Google Adsense.

Как правило, в конце выполненной работы большинство клиентов спрашивает, не мог бы я указать на какие-нибудь ошибки их проектов. После нескольких бесплатных анализов я заметил одну закономерность…

По неизвестным мне причинам начинающие блоггеры не уделяют должного внимания внешним ссылкам на своих площадках. Вы бы только знали, какие мне приходится созерцать помойки линков, хотя автор уверен, что у него отменный блог с незначительными ошибками.

Мало того что в каждой статье все ссылки открыты для индексации поисковиками, так еще и в сайдбаре у некоторых стоит по 5 счетчиков. Жесть и только, а еще все удивляются почему их блоги плохо выходят в ТОП и не растут пузомерки ТИЦ и PR.

Поэтому я решил рассказать своим посетителя об одной методике, благодаря которой я закрываю от индексации поисковиками внешние ссылки своего проекта с помощью тегов noindex и rel=nofollow и плагина WP-NoExternalLinks.

Перед тем как я начну вас учить да поучать, сообщаю несколько последних новостей:

Новость 1. В ближайшее время запущу на блоге БЕСПЛАТНЫЙ АНАЛИЗ САЙТОВ. Да именно бесплатный, возможно в будущем начну и платные делать.

Естественно всем подряд сделать не получится, а вот несколько блогов в месяц проанализирую точно. Не провороньте возможность отдать мне свой блог на растерзание.

Новость 2. В первые записался на платный марафон, который будет длиться все лето и называется “Seo – это просто!” Наставником у меня будет автор блога kolobochek.ru, который покажет, как он вывел один сайт на посещаемость 4000 уников в сутки, без покупки ссылок.

Периодически буду делиться с вами моими успехами в марафоне. Кстати старт 14 июня, остались считанные минуты.

Зачем закрывать исходящие ссылки на сайте

Давайте продолжим говорить про ссылочную массу, а также их влияние на траст блога. Все мы знаем, что каждая страница на сайте обладает собственным весом, который учитывается поисковиками. А с помощью внешних и внутренних ссылок этот вес можно передавать другим страницам.

Претензий к внутренним ссылкам нет, так как вес одной страницы перераспределится с другой и останется на вашем блоге. А вот если внешняя ссылка будет открыта, тогда он просто перейдет на другой сайт.

Поэтому вам нужно стремиться, как можно меньше растрачивать вес страниц, ведь именно от него зависит, как будут расти показатели ТИЦ, PR, и ранжироваться страница.

Многие допускают ошибку, начиная продавать ссылки с сайта. Мало того что больших денег здесь не заработаешь, так в придачу каждая исходящая ссылка будет постепенно убивать проект.

Если в качестве примера взять seoslim.ru так за все время я не продал не одной ссылки, кроме платных обзоров, где я рассказываю о каком-то сервисе или продукте.

Да и то, я делаю только тематические обзоры, как правило на высокотрастовые сайты, чтобы нанести минимальный вред блогу. А также я открываю ссылку на блог того блоггера, у которого беру «Интервью».

Бытует мнение, что если вообще ни на кого не ссылаться, тогда поисковики могут посчитать такую площадку мертвой и наложить фильтр.

Смотрите, что я заметил, если все делать по таким простым правилам, траст блога начинает постепенно расти. В сети есть такой сервис — Xtool позволяющий рассчитывать траст любого проекта.

Например, на сегодняшний день мой траст равен 8, а сама шкала измеряется от 1 до 10.

Скажу вам что это очень хороший результат, так как данный сервис считает, что на такой площадке эффект от размещения ссылки будет практически максимальным.

И так считают многие рекламодатели, которые постоянно присылают мне письма с предложением купить постовой в статье. Однако еще не те времена для блога, чтобы можно было барыжить ссылками.

Ручной способ

Но что делать, если все же нужно сослаться в статье на какой-нибудь сервис, который будет полезен читателям? В этом случае стоит провесит несколько манипуляция над URL, чтобы в конечном итоге она была закрыта от индексации роботами Яндекса и Google.

Это делается несколькими способами, как при помощи различных плагинов, так и при помощи тегов.

Разные поисковые системы учитывают разные теги, для скрытия ссылок. Яндекс работает с тегом noindex, а с недавнего времени и rel=»nofollow», а Google только с rel=»nofollow».

Возьмем в качестве примера простой образец анкорной ссылки в виде HTML на мой блог.

<a href=»https://seoslim.ru/»>Блог Максима Войтика</a>

Если вы такую ссылку поставите у себя, тогда я получу частичку вашего веса себе, все зависит, какие параметры у вашей площадки и где будет стоять ссылка.

Для того чтобы этого не происходило нужно окружить url тегом noindex и прописать в ее коде rel=»nofollow».

Для Яндекса ссылка закрывается по такому принципу:

<noindex>
<a href="https://seoslim.ru/">Блог Максима Войтика</a>
</noindex>

<noindex> <a href=»https://seoslim.ru/»>Блог Максима Войтика</a> </noindex>

Для Google ссылка закрывается по такому принципу:

<a rel="nofollow" href="https://seoslim.ru/">Блог Максима Войтика</a>

<a rel=»nofollow» href=»https://seoslim.ru/»>Блог Максима Войтика</a>

Чтобы скрыть от индексации ссылку от обоих поисковиков нужно оба тега применить вместе:

<noindex>
<a rel="nofollow" href="https://seoslim.ru/">Блог Максима Войтика</a>
</noindex>

<noindex> <a rel=»nofollow» href=»https://seoslim.ru/»>Блог Максима Войтика</a> </noindex>

Именно по такому принципу прячут исходящие ссылки практически все вебмастеры, однако Яндекс дал конкретные разъяснения, что он тоже учитывает тег nofollow. Более подробно читайте на оф. сайте Яндекса здесь.

И вообще, если следовать указаниям Яндекса, то тегом noindex получается можно закрывать от индексации только участки текста, а не саму ссылку. Но все равно, все ставят его по привычке, в том числе и я.

Автоматический способ — плагин WP-NoExternalLinks

Теперь можно поговорить об автоматическом способе, как скрыть внешние линки на другие сайты. Для этого я использую плагин WP-NoExternalLinks, который работает по принципу редиректа.

После установки на блог и активации перейдите в настройки этого плагина.

Здесь нужно поставить галочки напротив тех разделов, настройки которых вы хотите учитывать при работе. Далее можно изменить имя разделителя между ссылками.

Ну и самое главное это то, что если необходимо открыть доступ к какому-либо сайту достаточно вписать его URL в специальную форму.

Так как же работает данный плагин? Все очень просто, он превращает все внешние ссылки во внутренние с помощью редиректа. Если вернемся к ссылке на мой блог, тогда он превратится из такого вида:

https://seoslim.ru/

в такой

http://ваш-сайт.ru/goto/https://seoslim.ru/

Рекомендую обязательно использовать этот плагин, согласитесь жизнь упрощает вебмастерам раз в 10.

Более подробно о нем рассказывает следующее видео.

Данный плагин закроет внешние ссылки только в статьях, но не во всем шаблоне площадки. Поэтому часть ссылок придется убирать ручным способом.

На этом у меня все. Следите за обновлением блога по почте. Буду рад, если вы расскажите в комментариях, каким образом убираете исходящие ссылки у себя на площадках. Пока!

seoslim.ru