Учитывает ли яндекс noindex: Как запретить индексирование сайта или страниц | Дропшиппинг

Содержание

Какие теги учитывает Яндекс – Блог Святослава Чернецкого

Методы управления поведением робота
Мета-тегиМета-теги позволяют вебмастерам указывать метаданные о странице сайта. Ряд мета-тегов также используется роботами поисковых систем. Робот Яндекса учитывает содержание следующих тегов:

Также робот Яндекса учитывает указания в тегах:

Робот не узнает о документах, если ссылки на них стоят со страницы, содержащей мета-тег со значением nofollow, тем не менее, они могут быть проиндексированы, если где-либо еще на них указаны ссылки без nofollow.

Если мета-теги не указаны, по умолчанию они имеют положительное значение (index, follow, archive). В случаях конфликтов между тегами робот делает выбор в пользу значения по умолчанию.

Пример:
<meta name=»robots» content=»all»/>
<meta name=»robots» content=»noindex, follow»/>
Робот выберет значение all, текст и ссылки будут проиндексированы.

Тег со значением all не распространяется на noarchive.

Пример:
<meta name=»robots» content=»all»/>
<meta name=»robots» content=»noarchive»/>
Текст и ссылки будут проиндексированы, но ссылки на сохраненную копию в результатах поиска не будет.

Тег <noindex>

Для запрета индексирования служебных участков текста вы можете использовать тег <noindex>. Тег работает аналогично мета-тегу noindex, но распространяется только на контент, заключенный внутри тега в формате:
<noindex>текст, индексирование которого нужно запретить</noindex>

Тег noindex не чувствителен к вложенности (может находиться в любом месте html-кода страницы). При необходимости сделать код сайта валидным возможно использование тега в следующем формате:
<!—noindex—>текст, индексирование которого нужно запретить<!—/noindex—>

Атрибут rel=»nofollow» тега <a>

Атрибут rel=»nofollow» используется в теге <a> в формате:

<a href=»url» rel=»nofollow»>текст ссылки</a>

Атрибут работает аналогично мета-тегу со значением nofollow, но распространяется только на ссылку, для которой указан.

Тег noindex Яндекс — закрытие кода от индексации в Yandex

Тег НоуИндекс и Яндекс

Иногда, при внесении каких-то технических изменений на сайте или продолжительном ведении блога, появляются материалы и куски кода, которые могут навредить поисковому продвижению сайтов. В данной статье коснусь, прежде всего, Яндекса и опишу его «специфический» HTML-тег noindex.

В чём вообще здесь суть? Как известно, продвигая сайт в поисковых системах, необходимо учитывать следующее:

материал (прежде всего, текст) отдельной страницы должен быть уникальным
и должен соответствовать какому-либо ключевому слову (запросу), под которое эта страница SEO-оптимизируется.

Но если имеются (или появляются со временем) тексты или коды, негативно влияющие на эти 2 пункта, то продвижение может ухудшиться.

Что это конкретно и как влияет?

Что это

Здесь может быть много всего:

куски неуникального текста, взятые вами с чужого сайта и вставленные в вашу уникальную (изначально) статью,
обилие кодов рекламы — тизеры, баннеры, контекстная реклама и другая,
множество JavaScript-скриптов и кодов flash-приложений,
разные блоки ссылок в сайдбаре вроде «наши друзья»,
куча установленных счётчиков,
и др.

Как влияет

Исходя из двух пунктов списка, указанных в начале статьи, влияет это так:

портится уникальность текстов;

происходит «разбавление» плотности ключевых слов страниц сайта.

Поэтому неплохо бы закрыть все лишние части материалов от индексации поисковыми роботами.

Тег Noindex Яндекса и скрытие кода от его роботов

К сожалению (а может, и нет), закрыть от индексации отдельные участки HTML-кода позволяет лишь Yandex. Возможно, со временем Google и Bing также предложат что-нибудь аналогичное. А может, их разработчики просто не считают это необходимостью.

В общем, тега noindex в Google нет! — особо указываю на это из-за того, что в Сети полно разговоров по данному поводу. Зато поисковик Гугл позволяет скрывать всю страницу от роботов через X Robots tag, а также стандартными средствами — как и остальные ПС:

Использование Noindex в Яндексе

Пользоваться им не сложнее, чем любым другим HTML-тегом. Обычно выглядит всё так:

Возможен и альтернативный вариант — тег ноиндекс в виде стандартного HTML-комментария. Вот, к примеру, как можно скрыть контекст от AdSense:

AdSense «завёрнут» в noindex tag

— т.е. всё то же самое, но добавляем указание на то, что это комментарий. На мой взгляд, такой вариант предпочтительней.

Кстати, чтобы узнать, где на веб-странице расставлены блоки тегов ноуиндекс, можно поставить:

Они будут буквально «подсвечивать» участки кода, «завёрнутые» в этот тег. Правда, RDS bar иногда не подсвечивает вариант в формате комментария — noindex.

Когда использовать?

Как и писал выше, noindex в Яндекс нужен для скрытия ненужных кусков кода, чтобы не уменьшалась уникальность текстов и релевантность статей запросам. Будет вполне логично, если возникнет мысль закрыть всё-всё, кроме текста оптимизированной статьи в тег ноиндекс — включая анкоры ссылок в верхнем меню, шапку сайта, комментарии и прочее.

На самом деле, так разгоняться не стоит. На это есть две причины:

Подобные манипуляции (если переборщить) могут быть расценены Яндексом как поисковый спам.

Роботы современных ПС способны различать, где, например, находится блок со статьёй, а где — комментарии к ней. Yandex тоже может — где-то 10 месяцев назад я у них это лично выяснил, т.к. планировал позакрывать все блоки с комментариями в Noindex.

С комментариями получается довольно интересно — поисковикам нравится обилие комментариев, т.к. это свидетельствует о хорошем поведенческом факторе. Поэтому не надо переживать, что тексты комментаторов уменьшат релевантность статьи запросу — лучше подумать об их защите от спама.

Также, на мой взгляд, лучше закрыть блоки AdSense от «глаз» Яндекса (как и любые другие рекламные коды) — чтобы этот поисковик не посчитал ваш сайт «слишком» рекламным и не применил некоторые поисковые санкции. НО оставить открытыми блоки РСЯ.

Смысл в том, что в РСЯ принимаются только качественные ресурсы с точки зрения Яндекса, поэтому наличие данной рекламы может намекнуть этой ПС о «качественности» вашего проекта и повысить такую абстрактную характеристику, как траст сайта.

Noindex и закрытие внешних ссылок

Одно время (когда Yandex не поддерживал nofollow), нежелательные внешние ссылки с веб-сайта приходилось «заворачивать» в noindex и дополнительно приписывать к тегу ссылки rel=’nofollow’, т.е. весь код закрываемой ссылки мог выглядеть так:

Закрытие ссылок в Яндекс через ноуиндекс

— при закрытии ссылки от индексации, нужно было учитывать и предпочтения Yandex, и предпочтения других поисковиков.

Теперь данная ПС поддерживает nofollow и можно обойтись без «заворчивания» ссылки в «noindex» и пользоваться стандартным приёмом с nofollow. Подробнее про атрибут Rel=nofollow читайте тут.

Кажется, это всё, что можно рассказать про тег Noindex и Яндекс. Имейте всё это в виду и используйте грамотно

Loading…

полный гид для начинающих по поисковой оптимизации сайта

Если вы владелец сайта и хотите, чтобы его можно было не только найти в поисковых системах Яндекс и Google, но и попасть в топ поисковой выдачи, то эта статья для вас. Данный материал будет неким введением в поисковую оптимизацию (SEO) и обзором обязательной маркетинговой тактики.

Что вы узнаете из данного руководства по SEO для начинающих:

Что такое SEO и почему оно так важно?
Работа с ключевыми словами
Оптимизация страниц: основные принципы
Архитектура сайта и внутренняя перелинковка
Как совместить контент-маркетинг и линкбилдинг?
Технические ошибки и методы их решения
Результаты SEO: отслеживание и измерение
Дополнительные SEO-практики

К тому моменту, как вы дочитаете это руководство, у вас будет четкое понимание того, что такое SEO, как его применить, почему оно имеет весомое значение для сайта и бизнеса в целом и, наконец, как добиться видимых результатов в постоянно меняющиеся среде SEO.

1. Что такое СЕО и почему это важно?

Вы наверняка слышали о SEO. А если не слышали, то просто могли бы прочитать определение термина в Википедии. Но понимание, что SEO — это “комплекс мероприятий по внутренней и внешней оптимизации для поднятия позиций сайта в результатах выдачи поисковых систем по определенным запросам пользователей” на самом деле не поможет решить проблемы вашего бизнеса и сайта. Например:

Как оптимизировать свой сайт или сайт клиента под поисковые системы?
Как увеличить показатель видимости вашего сайта в органической выдаче так, чтобы пользователи могли легко найти контент?
Как узнать, сколько времени нужно потратить на SEO?
Как отличить “хорошие” советы по SEO от “плохих” или даже “вредных”?

И что точно будет вам интересно, как владельцу бизнеса или сотруднику, так это то, как вы можете эффективно использовать SEO, чтобы привлечь больше релевантного трафика на сайт, потенциальных клиентов, продаж и, в конечном итоге, дохода и прибыли для вашего бизнеса. Именно на это мы и хотим обратить внимание в нашем гиде.

Почему вам стоит обратить внимание на SEO?

Миллиарды людей каждый день ищут что-то в интернете. Органический трафик чрезвычайно мощный не только потому, что он большой в количественном измерении, но и еще потому, что он состоит из специфических запросов, часто содержащих в себе определенный интент.

Давайте представим ситуацию. Например, вы продаете видеорегистраторы. Вы бы предпочли предлагать свой товар с помощью билборда в определенном районе города так, чтобы каждый владелец автомобиля в этом районе видел эту рекламу (независимо от того, нужен ему видеорегистратор или нет)? Или же предлагать товар каждый раз, когда кто-либо печатает запрос: “купить видеорегистратор” в поисковую строку? Вероятнее, второй вариант, потому что эти пользователи имеют коммерческий интент в своем запросе. То есть они буквально встают и говорят, что хотят купить то, что предлагаете вы.

Что действительно помогает увеличивать трафик из поисковых систем?

ТОП-10 поисковых систем в России (на конец 20-го года):

Google — 53.9% (73,5 млн переходов)
Яндекс — 43.1% (58,7 млн переходов)
Search.Mail.ru — 2.7% (3,6 млн переходов)
Rambler — 0.1% (181 тыс. переходов)
Bing — 0.1% (147 тыс. переходов)
Tut.by — 0,01% (12 тыс. переходов)
Yahoo — 0,001% (6,5 тыс. переходов)

Доля трафика в России сейчас делится между поисковыми системами примерно в таком соотношении, но неизменно лидирующие позиции занимают Яндекс и Google. Поэтому большинство seo-специалистов в России обычно ориентируются на них. Чтобы попасть в поисковую выдачу этих двух поисковиков, необходимо понимать основные принципы работы их алгоритмов и принципы ранжирования сайтов.

Алгоритмы поисковых систем постоянно обновляются, и с каждым годом становится все сложнее попасть в топ выдачи и удержать там свои позиции. А многие дешевые и простые способы повысить рейтинг стали чрезвычайно рискованными и грозят санкциями со стороны поисковых систем.

Так что же работает? Как Google и Яндекс определяют, какие страницы возвращать в ответ на то, что ищут люди? Как получить весь этот ценный трафик на свой сайт?

Алгоритм Google чрезвычайно сложен, и вот основные принципы, которыми он руководствуется при ранжировании сайтов:

Google ищет страницы, содержащие качественную и актуальную информацию о запросе пользователя
Он определяет релевантность, «просматривая» контент вашего сайта и оценивая (при помощи алгоритмов), соответствует ли этот контент тому, что ищет пользователь, как правило, на основе содержащихся в контенте ключевых слов
Google определяет «качество» сайта по разным параметрам, но по-прежнему важным для него является количество и качество других веб-сайтов, которые ссылаются на вашу страницу и на ваш сайт в целом

Алгоритм Google также оценивает дополнительные элементы, чтобы определить, где ваш сайт будет ранжироваться, например:

Как люди взаимодействуют с вашим сайтом (находят ли они нужную информацию и остаются на сайте, или возвращаются на страницу поиска и переходят по другой ссылке? Или они просто игнорируют вас в результатах поиска?)
Скорость загрузки вашего сайта и удобство для мобильных устройств
Сколько у вас уникального контента (по сравнению с малоценным контентом или дублированным контентом)

Алгоритм Google учитывает сотни факторов ранжирования в ответ на поисковые запросы, и они постоянно обновляют и совершенствуют свой процесс.

Факторы ранжирования в Яндекс во многом пересекаются с факторами Google. Но есть и свои особенности. Так в 2021 году Яндекс назвал основные параметры на примере интернет-магазинов:

индекс качества «Яндекса» (ИКС) по-прежнему остается решающим;
голосовой поиск;
физические величины HTML-кода;
количество качественных страниц в индексе;
качество и число ссылок, которые ведут на сторонний ресурс;
качество входящих ссылок;
присутствие ресурса в соцсетях;
количество переходов из поиска и поведенческие факторы — время присутствия, глубина просмотра, число отказов и last click;
ALT-атрибуты и количество слов в каждом из них;
качество доменов, на которых есть ссылка на ваш сайт;
визиты на сайт;
число слов во внутренних ссылках;
количество прямых заходов на ресурс;
присутствие сайта на YouTube;
количество переходов из соцсетей и почты.

Хорошая новость заключается в том, что вам не нужно быть seo-специалистом, чтобы получить высокие позиции в результатах поиска. Мы рассмотрим проверенные методы оптимизации сайтов, которые помогут вам направлять целевой трафик через поиск.

2. Поиск и распределение ключевых слов

Первый шаг в поисковой оптимизации — это правильно определить, для чего вы на самом деле его оптимизируете. Это означает определение запросов, которые люди ищут или ключевые слова, по которым вы хотите, чтобы ваш сайт ранжировался в поисковых системах.

Звучит достаточно просто, правда? Я хочу, чтобы моя компания появлялась в поиске, когда люди ищут “видеорегистраторы”, и, возможно, когда они вводят “купить видеорегистратор”.

Но на самом деле не все так просто, как кажется. При определении ключевых слов, по которым вы хотите продвигать свой сайт, следует учитывать несколько ключевых факторов:

Объем поиска. Первый фактор, который следует учитывать, — это количество людей (если таковые вообще имеются), которые ищут по данному ключевому слову. Чем больше людей вбивают в поиск ключевое слово, тем шире аудитория, которую вы хотите охватить. И наоборот, если никто не выполняет поиск по ключу, то нет и аудитории, которая могла бы найти ваш контент с помощью поиска.

Релевантность. Если какой-то товар или услугу часто ищут, это замечательно. Но что, если этот запрос не полностью актуален для ваших потенциальных клиентов?

Поначалу релевантность кажется очевидной: если вы продаете программное обеспечение для автоматизации корпоративного электронного маркетинга, вы не хотите появляться по поисковым запросам, которые не имеют ничего общего с вашим бизнесом, например, «товары для животных». Но, кроме этого, следует учитывать, для каких именно компаний вы продаете свой товар, на какой территории и другие не менее важные факторы.

Конкуренция. В SEO также вы должны учитывать потенциальные затраты и вероятность успеха. Для SEO это означает понимание относительной конкуренции (и вероятности ранжирования) по конкретным условиям.

Для начала вам нужно понять, кто ваши потенциальные клиенты, и что они, скорее всего, будут искать. Если вы еще не понимаете, кто ваша аудитория, подумайте. Это хорошее начало не только для SEO, но и для бизнеса в целом.

Чтобы лучше понять свою аудиторию, задайте несколько вопросов:

Что их интересует?
Какие у них проблемы?
Какой язык они используют, чтобы описать потребности, ввести запрос?
У кого еще они покупают вещи или услуги? (Это могут быть ваши конкуренты. Но, кроме того, ответ на этот вопрос может дать косвенные подсказки в определении вашей целевой аудитории).

После того как вы ответите на эти вопросы, у вас будет начальный «исходный список» возможных ключевых слов и доменов. Этот список поможет вам получить дополнительные варианты ключей, определить объем поиска и показатели конкуренции.

Возьмите список основных запросов, которыми ваши потенциальные клиенты и клиенты описывают то, что вы делаете, и начните вводить их в инструменты подсказки ключевых слов. Например, у Яндекса это инструмент подбора слов Wordstat.

Удобный и функциональный инструмент анализа ключевых слов есть у Serpstat:

Вы можете использовать различные инструменты подсказки ключевых слов, но основная идея в том, что на начальном этапе вам нужно будет постараться собрать максимальное количество наиболее релевантных ключевых слов и выражений.

Если у вас уже есть действующий сайт, то, скорее всего, вы уже получаете определенный трафик из поисковых систем. Инструмент для вэбмастеров Яндекса также может дать подсказки при работе с запросами:

или отследить статистику поисковых запросов по сайту в соответствующем разделе:

Статистику по запросам можно отследить и в Google Search Console:

Для расширенного сбора семантики не только по высокочастотным запросам, но и средне- и низкочастотным отлично подойдет Key Collector. Кроме сбора ключевых запросов, можете смело использовать эту программу для кластеризации.

После того как вы поняли, кто ваши потенциальные клиенты, что они ищут и как вводят запрос; проанализировали ключевые слова, приносящие трафик конкурентам, и изучили запросы, привлекающие трафик, вам нужно определить, по каким критериям может ранжироваться ваш сайт, и на что направить основные усилия в SEO.

3. Постраничная оптимизация

Когда у вас есть список ключевых слов, следующим шагом будет внедрение целевых ключевых слов в контент вашего сайта. Каждая страница должна быть ориентирована на основной запрос или группу запросов.

Давайте рассмотрим несколько важных базовых элементов страницы, которые обязательны, если вы хотите привлечь целевой трафик на свой сайт:

Title

Этот тэг помогает поисковым системам понять фактическое значение страницы, о чем она, а также распознает запросы, по которым вы хотите ранжироваться. И это самое эффективное место, где можно разместить ключевые слова. Но не стоит забывать, что Яндекс и Google по-прежнему наказывают за агрессивное и манипулятивное использование ключевых слов.

Тег Title не является основным заголовком вашей страницы. Заголовок, который вы видите на странице, обычно представляет собой HTML-элемент h2 (или, возможно, h3). Тег Title — это то, что вы видите в самом верху браузера, и он заполняется исходным кодом страницы в метатеге:

Длина Title, которая показывается в Google, будет варьироваться (она высчитывается на основе пикселей, а не на количестве символов), но в среднем 55-60 символов — идеальный размер, как показывает практика.

В случае с Яндексом оптимальная длина тега Title составляет 65-70 символов. При этом не последнюю роль играет длина и вхождение ключевого запроса, составляющего текст заголовка.

При составлении Title помните, что это то, что видит пользователь в результатах поиска, то, что попадает в сниппет.

Заголовок должен давать ответ на основной интент пользователя, не обрываться на половине слова и написан человеческим языком, а не “Видеорегистратор купить Москва”.

Description

В то время как тег Title фактически является заголовком вашего сайта в поисковой выдаче, Description (еще один мета-элемент HTML, который может быть обновлен в коде сайта, но не отображаться на странице) фактически является дополнительной рекламой сайта.

Google допускает некоторые вольности в отношении того, что отображать в сниппете, поэтому ваше метаописание может появляться не всегда. Вместо этого, поисковый робот Google может вырвать кусок контента, наиболее подходящий под описание страницы по его мнению.

Но если у вас получится составить привлекательное описание страницы, которое убедит людей щелкнуть по ссылке, то вы можете значительно увеличить трафик на сайт. (Помните: появление в результатах поиска — это только первый шаг! Вам все равно нужно, чтобы поисковики приходили на сайт).

Пример Description в поисковой системе Google:

Пример Description в поисковой системе Яндекс:

Body. Содержание страницы

Разумеется, кроме мета-описания (Title и Description) важно и само фактическое содержание страницы. Разные страницы служат различным целям.

Google и Яндекс все больше отдают предпочтение определенным типам контента, и при создании любой из страниц своего сайта следует помнить о нескольких вещах:

Объемный и уникальный контент. Волшебного числа с точки зрения количества слов не существует, и если у вас есть несколько страниц контента на вашем сайте с несколькими сотнями слов, вы не потеряете благосклонность поисковых систем. Но чаще отдается предпочтение более длинному уникальному контенту.
Если у вас большое количество очень коротких (50-200 слов) страниц или много дублированного контента, где ничего не меняется, кроме тега Title страницы, это может негативно отразиться на позициях сайта.
Посмотрите на свой сайт в целом: большой процент ваших страниц является “тощими”, дублированным и малоценными или маловостребованными?
Если да, попробуйте найти способ «сделать» эти страницы более качественными, наполненными контентом. Проверьте свою аналитику, чтобы увидеть, сколько трафика получают эти страницы, и просто исключите их (с использованием метатега noindex) из результатов поиска, чтобы поисковикам не показалось, что вы пытаетесь завалить их индекс множеством малоценных страниц, пытаясь повысить их рейтинг.

Найти на сайте малоценные и низкокачественные страницы поможет инструмент для вебмастеров. Например, Яндекс Вебмастер поможет найти такие страницы через Индексирование, далее — Страницы в поиске, здесь выбираем Исключенные страницы, в фильтре Статус выбираем необходимые параметры, в нашем случае — малоценная или маловостребованная страница.

Вовлеченность. Поисковые системы, особенно Google, уделяют все больше внимания показателям вовлеченности и пользовательского опыта. Позитивно повлиять на эти показатели можно, убедившись, что ваш контент отвечает на запрос пользователя, он (контент) действительно полезен, интересен и с ним можно взаимодействовать.

Убедитесь, что страницы загружаются быстро и не содержат лишних элементов дизайна или, например, чрезмерно агрессивной рекламы над контентом.

“Sharability” или “возможность совместного использования”, т.е. возможность поделиться данным конкретным контентом в социальных сетях.

Атрибуты Alt

То, как вы размечаете свои изображения, может повлиять не только на то, как поисковые системы воспринимают вашу страницу, но и на объем поискового трафика, генерируемого поиском изображений на сайте.

Атрибут alt — это элемент HTML, который позволяет вам предоставить альтернативную информацию для изображения, если пользователь не может его просмотреть. Ваши изображения могут со временем сломаться (файлы удаляются, пользователи не могут подключиться к сайту и т. д.), поэтому полезное описание изображения может быть важно с точки зрения удобства использования в целом. Это также дает вам еще одну возможность — помимо контента — помочь поисковым системам понять, о чем страница.

Совсем необязательно “набивать” ключевыми словами Alt. Достаточно не пропустить его и постараться дать полное и точное описание изображения (представьте, что вы описываете его кому-то, кто его не видит — вот для чего действительно нужен атрибут Alt!). Подробнее можно прочитать про атрибуты ATL и title для картинок в справке Яндекса.

Структура URL

Структура URL-адреса вашего сайта может быть важна как с точки зрения отслеживания (вы можете более легко сегментировать данные в отчетах, используя сегментированную логическую структуру URL-адресов), так и с точки зрения возможности поделиться URL страницей (более короткие описательные URL-адреса легче копировать и вставлять и, как правило, ошибочно обрезаются реже). Еще раз: не пытайтесь втиснуть как можно больше ключевых слов; создайте короткий описательный URL.

Более того: если вам не нужно, не меняйте свои URL-адреса. Даже если ваши URL-адреса не «красивы», если вы не наблюдаете, что они негативно влияют на пользователей и бизнес в целом, не меняйте их так, чтобы они были больше ориентированы на ключевые слова для «лучшего SEO». Если вам действительно нужно изменить структуру URL-адресов, убедитесь, что вы используете правильный постраничный 301 редирект. Это распространенная ошибка, которую совершают компании при изменении дизайна своих сайтов, на эту тему у нас есть отдельная классная статья: “Редизайн сайта или как сохранить свой рейтинг в поисковых системах без потерь позиций и трафика”.

Разметка schema.org

Наконец, как только основные элементы страницы будут заполнены, вы можете пойти дальше и помочь поисковым системам понимать страницы вашего сайта. Разметка schema.org делает сниппет на выдаче более упорядоченным и привлекательным для пользователей:

Разметка не делает вашу страницу выше в результатах поиска (в настоящее время это не фактор ранжирования), но тем не менее дает некоторое преимущество перед сайтами конкурентов, которые не используют schema.org. Про поддерживаемые форматы разметки схема.орг в ПС Яндекс можно прочитать тут.

Существует множество различных типов разметки, которые вы можете включить на свой сайт. Например, для корректного отображения ссылки в социальных сетях используйте разметку Open Graph.

4. Информационная архитектура и внутренние ссылки

Информационная архитектура описывает то, как вы организуете страницы. Построение сайта и перелинковку между страницами, может повлиять на ранжирование различного контента на вашем сайте.

Причина этого в том, что поисковые системы в основном воспринимают ссылки как «вотум доверия» и средство, помогающее понять, о чем страница и насколько она важна (а также, насколько ей стоит доверять).

Поисковые системы также учитывают текст, который вы используете для ссылки. Этот текст называется анкорным — использование описательного текста для ссылки помогает Google и Яндекс понять, о чем эта страница. Но не стоит забывать, что слишком агрессивное использование ключевых слов в анкорах грозит сайту санкциями.

Ссылка с крупного СМИ является показателем того, что ваш сайт может быть важен для поисковых систем и пользователей, и если вы неоднократно активно ссылаетесь на определенную страницу со своего сайта, то это является показатель для поисковых систем, что именно эта конкретная страница очень важна для сайта. В дополнение можно сказать: страницы, получившие наибольшее количество ссылок с внешних ресурсов, имеют наибольшую силу, чтобы помочь другим страницам вашего сайта занять место в результатах поиска.

Этот принцип относится к концепции, называемой «PageRank». Давайте рассмотрим краткий пример. Он поможет вам понять концепцию того, как соотношение ссылок (или количество и качество ссылок, ссылающихся на страницу) влияет на архитектуру сайта и на то, как вы оформляете перелинковку. Представим, что у нас есть сайт, предлагающий услуги по уборке снега:

Мы публикуем интересное исследование о влиянии снега на строительство зимой в условиях холодного климата. На него ссылаются со всего интернета.
Исследование опубликовано на главной странице сайта. Все остальные страницы представляют собой простые, ориентированные на продажи страницы, объясняющие различные аспекты предложений компании по уборке снега. Ни один внешний сайт не ссылался ни на одну из этих страниц.
Само исследование может занять хорошие позиции в результатах поиска по различным фразам. Страницы, ориентированные на продажи — намного меньше. Однако, размещая ссылки из нашего исследования на наиболее важные страницы, ориентированные на продажи, мы можем передать им часть веса, ссылающихся на исследование сайтов. Эти страницы, конечно, не будут также хорошо позиционированы для ранжирования в результатах поиска, как наше исследование, но они будут в гораздо лучшем положении, чем когда у них не было никаких авторитетных источников (на нашем или других сайтах), указывающих на них. Очень важно иметь стратегические ссылки на самые важные страницы вашего сайта со своей домашней страницы.

Информационная архитектура может быть крайне сложной темой, особенно для крупных сайтов, но наиболее важными вещами, о которых следует помнить, являются следующие:

Постарайтесь понять, на какие страницы чаще всего ссылаются (можно использовать такие инструменты, как Ahrefs, Serpstat или просмотрите отчеты о самых популярных страницах в Яндекс Метрике).
Держите самые важные страницы (которые вы используете для таргетинга на наиболее ценные ключевые слова) «высоко» в архитектуре сайта. Это значит, что вы часто будете ссылаться на них в элементах навигации и по возможности со страниц, на которые чаще всего ссылаются.
В общем, если вам нужна объемная и эффективная информационная архитектура сайта, вам нужно как можно больше ссылаться с домашней страницы и наиболее упоминаемых на те, которые вы хотите “прокачать”.

5. Контент-маркетинг и линкбилдинг

Поскольку поисковые системы в ранжировании по-прежнему учитывают влияние ссылочной массы сайта (особенно алгоритм Google в значительной степени основан на ссылках), то наличие ряда качественных ссылок на ваш сайт важно для привлечения поискового трафика. Можно максимально качественно выполнять работы по внутреннему SEO, но если на ваш сайт не будут ссылаться другие ресурсы, то шансы отображаться на первой странице результатов поиска крайне малы.

Есть несколько способов получить ссылки на ваш сайт. Но так как с каждым годом Google и Яндекс становятся все более и более изощренными, то многие из таких способов становятся рискованными (даже если они все еще эффективны в краткосрочной перспективе). Если вы новичок в SEO, то рискованные и агрессивные способы получения ссылок — не ваш вариант. Вы не будете знать, как правильно оценивать риски и обходить “ловушки”. Кроме того, попытки создать ссылки специально для увеличения рейтинга в поисковых системах не даст никакой ценности бизнесу. А в случае изменения/обновления алгоритмов поисковых систем, сайт может резко просесть в позициях.

Более подходящий способ наращивания ссылочной массы — это сосредоточить свое внимание на общих маркетинговых подходах, таких как создание и продвижение полезного контента, который также включает в себя конкретные запросы, по которым вы хотите ранжироваться.

Процесс создания и продвижения контента, который будет содержать ссылки и репосты в социальных сетях, является трудоемким. Есть много разных способов эффективно создавать контент и хорошо ранжироваться в результатах поиска. Однако большинство подходов в любом случае потребуют от вас выполнения вариаций следующих трех основных шагов:

1. Определите и изучите аудиторию, которая будет на вас ссылаться

Если вы можете быть полезными для создателей контента в своей нише, вы начнете строить мощные отношения, которые будут приносить дивиденды.

Прежде чем вы создадите основную часть контента, вы должны подумать о том, как им будут делиться: кто будет делиться и зачем?

2. Определите, какой контент вы можете создать и как его будете продвигать

На этом этапе вы должны понять, какой контент будет полезен вашей целевой аудитории, и каким именно захотят делиться другие люди.

Есть несколько различных типов такого контента:

Создавайте что-то, что сможет решить проблемы ваших потенциальных клиентов.
Используйте то, что уже работает. Изучите информацию в своей нише у конкурентов и создайте что-то в два или три раза лучше. Таким образом, вы сможете снизить риск и сделать свой контент максимально отказоустойчивым.
Воспользуйтесь экспертным мнением. Расскажите о чем-то, чем вы пользуетесь каждый день, получите обратную связь от заинтересованных людей из вашей ниши и поделитесь этим контентом (позиционируя этих людей как экспертов). Когда вы упоминаете кого-то или рассказываете о чьем-то продукте, то, скорее всего, этим контентом поделятся и помогут продвинуть.

3. Используйте ключевые слова

И, конечно, не забывайте использовать ключевые запросы в своем контенте.

Это не означает, что вам нужно вставлять ключевые слова везде, где придется, когда вы создаете какой-то контент. Это значит, что вы можете использовать ключевые слова и фразы как средство обнаружения болевых точек вашей целевой аудитории (если люди обращаются к поисковым системам, когда что-то ищут, значит им нужен ответ на волнующий их вопрос!).

6. Технический SEO-аудит: общие методы

В последнее время линкбилдинг и создание качественного контента стали наиболее важными аспектами продвижения сайта в поисковых сетях. Но тем не менее не стоит забывать о так называемом “традиционном SEO”, оно по-прежнему принципиально важно для генерации трафика на ваш сайт.

Техническое SEO для более крупных и сложных сайтов — это, на самом деле, отдельная история. Но все же есть некоторые распространенные ошибки и проблемы, с которыми сталкивается большинство сайтов. Эта информация будет полезна для любого бизнеса, продвигающегося в интернете:

Скорость страницы

Поисковые системы уже давно уделяют больше внимания сайтам с быстрой загрузкой — хорошая новость в том, что это полезно не только для поисковых систем, но также удобно для ваших пользователей и коэффициентов конверсии сайта. У Google есть полезный инструмент, который дает несколько конкретных предложений о том, что можно изменить на вашем сайте, чтобы увеличить скорость его загрузки.

Удобство для мобильных

Если ваш сайт привлекает (или может привлекать) значительный трафик из поисковых систем с мобильных устройств, то, тот факт насколько он адаптирован, будет влиять на ваш рейтинг. В 2021 году во многих нишах мобильный трафик уже превышает десктопный.

Сначала Google, а следом за ним в 2016 году и Яндекс запускают алгоритмы, которые учитывают при ранжировании адаптивность сайта для мобильных устройств. Такие сайты получали самые высокие позиции в мобильной выдаче. Так что, пожалуй, на сегодняшний день — это один из решающих факторов ранжирования сайтов и не стоит им пренебрегать.

Проверить свой сайт на адаптивность можно в простом и бесплатном инструменте Google.

Более расширенный функционал у сервисов: Adaptivator, Screenfly и других.

Ответ сервера

Коды ответа сервера — важная техническая особенность SEO. Если вы не особо разбираетесь в технических вопросах, то для вас это может быть сложная тема. Но все же вам необходимо убедиться, что рабочие страницы возвращают правильный код (200), и что страницы, которые не найдены, также возвращают код и показывают, что их больше нет (404). Ошибочный ввод этих кодов может указать Google и Яндекс, например, что страница с ответом «Страница не найдена» на самом деле является действующей страницей. Такая ошибка может негативно отразиться на ранжировании сайта и в целом на его индексировании поисковыми системами.

В таком случае используйте средства проверки ответа сервера, например, в Яндекс Вебмастере:

Редиректы

Неправильная реализация переадресации на вашем сайте может серьезно повлиять на результаты поиска. Если вы хотите перенести контент сайта с одного URL на другой, вы должны помнить, что существует 301-редирект (или постоянный) и 302-редирект (временный). Не нужно использовать 301-редирект, если для этого нет действительно веской причины.

Подробную инструкцию по редиректам можно посмотреть в нашем материале: как настроить 301 переадресацию и редирект htaccess.

Дублированный контент

“Тощий” и дублированный контент — еще одна область, на которую обращают внимание поисковые роботы. Дублируя контент (размещая один и тот же или почти идентичный контент на нескольких страницах), вы уменьшаете количество ссылок между двумя страницами вместо того, чтобы концентрировать их на одной странице.

Наличие большого количества дублированного контента делает ваш сайт “загроможденным”, некачественным (и, возможно, манипулятивным) контентом в глазах поисковых систем.

Проблему дублированного контента может быть сложно диагностировать, но вы можете посмотреть страницы с дублированным контентом в инструментах для вебмастеров. В Вебмастере Яндекса их можно посмотреть: Индексирование — Страницы в поиске — Исключенные страницы и отсортировать в фильтре Дубль.

Удобный инструмент для поиска недостаточно качественного и дублирующегося контента — Labrika. Во вкладке seo-аудит можно найти все основные ошибки, касающиеся контента.

sitemap.xml

Sitemap.xml помогает роботам Яндекса и Google (и другим поисковым системам) лучше понять структуру вашего сайта и правильно найти его содержимое.

Просто убедитесь, что не включали бесполезные страницы, и знайте, что отправка страницы в поисковую систему через карту сайта не гарантирует, что страница действительно будет ранжироваться. Карта сайта лишь помогает увидеть эту страницу. Существует множество бесплатных инструментов для создания XML Sitemaps. Кроме того, во многих cms сайта можно создать карту сайта самостоятельно.

Robots.txt, Meta NoIndex и Meta NoFollow

И, наконец, вы можете указать поисковым системам, как вы хотите, чтобы они обрабатывали определенный контент на вашем сайте (например, если вы не хотите, чтобы они сканировали определенный раздел сайта) в файле robots.txt. Этот файл обычно создается для сайта на начальном этапе продвижения, и, скорее всего, он уже есть на вашем сайте по адресу yoursite.ru/robots.txt.

Вам нужно убедиться, что этот файл в настоящее время не блокирует необходимые страницы сайта, а также закрывает от индексации ненужные или мусорные страницы.

Вы можете использовать теги meta noindex и meta nofollow для аналогичных целей, хотя каждый из них функционирует по-разному.

7. Как отслеживать и измерять результаты SEO

Итак, после создания полезного и интересного контента на своем сайте и реализации всех описанных выше шагов (а может, и больше), как вы планируете отслеживать, насколько хорошо работает сайт?

На первый взгляд, на этот вопрос есть довольно простой ответ — отслеживать по ключевыми показателями, на которых нужно сосредоточиться. Однако для каждой метрики есть несколько важных факторов, которые нужно учитывать при измерении эффективности SEO вашего сайта.

Статистика по ключевым словам

Определение позиций вашего сайта по списку ключевых слов, конечно же, не является конечным пунктом назначения. Вы не можете платить своим сотрудникам за ранжирование. Кроме того, из-за персонализации поиска стало еще труднее отслеживать результаты.

Но приблизительное представление о том, какие позиции занимает ваш сайт по основным запросам, может быть полезным индикатором состояния сайта. Высокие позиции по целому ряду ключевых слов — хороший показатель видимости сайта в органическом поиске.

Это не значит, что вам нужно слишком зацикливаться на позициях по какому-либо одному запросу. Помните: ваша конечная цель — привлечь больше релевантного трафика, который будет стимулировать рост бизнеса в целом.

Если вы продаете видеорегистраторы, то что для вас важнее: чтобы вы занимали высокие позиции по запросу “купить видеорегистратор” или наметить и реализовать SEO-стратегию, которая поможет вам продавать больше видеорегистраторов наиболее экономичным способом?

Мониторить позиции сайта вам могут помочь различные как платные, так и бесплатные инструменты. Большинство из них схожи в функционале, но также не забывайте про мониторинг позиций в локальной или мобильной выдаче.

Если у вас небольшой бизнес или вы только начинаете заниматься поисковой оптимизацией, мы бы рекомендовали выбрать бесплатный и простой в использовании инструмент и просто следить за несколькими ключевыми запросами, которые вы хотите отслеживать, чтобы оценивать прогресс.

Органический трафик

Органический трафик — лучший индикатор ваших усилий по поисковой оптимизации. Анализируя органический трафик на сайт, вы можете оценить фактический объем посетителей, приходящих на ваш сайт, и то, куда они идут.

Вы можете легко измерить свой органический трафик с помощью большинства инструментов аналитики — они бесплатны и чаще всего используются.

Например, на главной странице Яндекс Метрики вы сразу найдете статистику по источникам трафика:

Более детализированный отчет по органическому трафику можно получить, перейдя в Отчеты:

Именно эта статистика и отчет по позициям дадут вам понимание, как работает SEO и откуда идет трафик на ваш сайт.

Лиды и продажи из органики

Очевидно, что основным способом измерения результатов поисковой оптимизации должны быть фактические лиды, продажи, доход и прибыль. Как и в случае с любым другим маркетинговым инструментом, вам нужно понять: как эта деятельность помогает увеличить вашу прибыль?

Самый простой способ — установить цели или отслеживать электронную торговлю с помощью Яндекс Метрики и Google Analytics. Вы можете использовать эти метрики для просмотра органического трафика и целей (или различных показателей электронной торговли) по целевой странице, что означает, что вы конкретно смотрите на то, кто совершает конверсию среди людей, которые переходят на сайт из органического поиска (по сравнению с людьми, которые могли зайти на ваш сайт из контекстной рекламы, например).

Это кажется довольно просто. И, как правило, для большинства предприятий это хороший способ измерить успех ваших усилий по SEO на первых порах. Но, опять же, есть несколько предостережений и нюансов, о которых следует помнить при использовании этих данных. Веб-аналитика не всегда совершенна. Если вы в своем бизнесе переходите от рекламных щитов или газетной рекламы к онлайн-маркетингу, вы, вероятно, будете впечатлены объемом и точностью доступных данных. Но иногда могут быть проблемы с отслеживанием данных. Поэтому мы советуем относиться к этому с некоторым скептицизмом и время от времени соотносить данные метрик, например, со своим реальным доходом.

8. И еще немного соображений относительно SEO

Для многих компаний правильное понимание технических аспектов SEO, отслеживание ключевых слов и наличие ссылочной стратегии — это все, что нужно знать о SEO. Однако есть некоторые конкретные случаи и типы бизнеса, которые должны быть связаны с определенными типами поиска. Несколько типов поисковых сред, требующих уникальных подходов:

В разных странах и на разных языках — разные подходы к ранжированию сайтов. У всех этих подходов есть свои плюсы и минусы. Поэтому, если вы продвигаетесь не только по России, эти нюансы следует учитывать.

Для небольших компаний и франшиз получение местного рейтинга в Яндекс Справочнике

и Google Мой Бизнес — является очень важным фактором ранжирования и чуть ли не самым ценным доступным органическим трафиком. У нас есть более подробное руководство, что такое и зачем нужен Google My Business

Если у вас есть приложение, которое предлагает основной продукт компании или позволяет мобильным пользователям взаимодействовать с бизнесом, — отображение вашего приложения в результатах поиска среди прочих может быть очень важным.

Узнать подробнее о достаточно новом явлении в оптимизации и быть в курсе последних новостей в этой сфере можно прямо в Telegram-канале Rad ASO.

И что дальше?

Итак, если вы зашли так далеко и дочитали этот лонгрид, то вы должны уже иметь представление о том, как поисковые системы ранжируют сайты, и как вы можете позиционировать свой собственный сайт и бизнес, чтобы генерировать больше поискового трафика из поисковых систем. Что же делать дальше?

Расставьте приоритеты. Ни один сайт не справляется со всеми аспектами поисковой оптимизации безупречно. Подумайте о том, что у вас хорошо получается. И если у вас есть бюджет и ресурсы, то в совокупности это принесет вашему бизнесу максимальную отдачу от инвестиций.

Если у вас хорошо получается создавать и продвигать контент, то определите, какие ключевые слова использовать и сосредоточьте на них свои усилия.

Если у вас большой и сложный сайт, сосредоточьтесь на правильном техническом SEO (или наймите того, кто сможет, например, нас ☺).

Если вы представляете малый бизнес, который выиграет от ранжирования по очень конкретным географическим критериям, но не более того, направьте свои усилия на локальное SEO (а затем, возможно, сконцентрируйтесь на других маркетинговых задачах, как только вы начнете видеть отдачу от ваших усилий в этом направлении).

Всегда помните, что конечная цель любых действий по поисковой оптимизации — увеличить охват и посещаемость вашего бизнеса или контента сайта. Ищите способы, которыми трафик из поисковых систем может помочь не только вашему сайту, но и бизнесу в целом.

теги noindex для ссылок в комментариях.

Flector 4.8

19.09.2014

, обновлено:

Первоначально плагин Noindex Links (бывший WP-Noindex) был создан мной, когда еще Яндекс не учитывал атрибут nofollow у ссылок. Он позволял закрыть все ссылки в комментариях от Яндекса, тем самым делая бесполезным «труд» комментаторов-спамеров. Однако, затем Яндекс начал учитывать nofollow у ссылок и плагин стал не нужен. На несколько лет я забил на него, однако сейчас ситуация изменилась – среди SEO-специалистов появилась теория о том, что хоть напрямую Яндекс ссылки с nofollow и не учитывает (не передает им вес), но они все равно влияют на ранжирование сайта, так как сигнализируют поисковику о социальной активности пользователей сайта.

Конечно, можно не принимать всерьез такую теорию, но в ее пользу говорит то, что в последнее время появилось аж несколько бирж по продаже nofollow комментариев. Причем, биржи эти пользуются популярностью – SEO-специалисты не считают покупку nofollow-комментариев бесполезной тратой денег. А, следовательно, смысл в установке плагина Noindex Links все-таки есть: во-первых, он избавит вас от комментариев работников таких бирж, а, во-вторых, он полностью скроет ссылки в комментариях от Яндекса.

Скачиваем плагин по ссылке в конце страницы и устанавливаем его:

1 Распаковываем архив.

2 Копируем папку noindex-links в /wp-content/plugins/.

3 Заходим в админку блога на вкладку «Плагины» и активируем плагин.

Никаких настроек в плагине нет – он начинает работать сразу после своей активации. В отличие от первой версии, плагин сейчас закрывает в noindex теги все ссылки в комментариях – и ссылки в тексте комментариев, и ссылки авторов комментариев (при заполненном поле «Сайт»).

Опять же, еще одно отличие от первой версии плагина – сейчас в нем используется валидный вариант тега noindex (<!—noindex—> вместо <noindex>). То есть теперь эти теги не будут вызывать ошибки при проверке сайта через различные валидаторы кода.

Проверить работу плагина очень просто – откройте любой комментарий в инспекторе кода браузера, ссылки в тексте комментария будут такими:

А в поле «Сайт» такими:

Плагин маленький и совсем простой – никакой дополнительной нагрузки на сайт он в принципе вызвать не может, а поэтому его установка вам никак не навредит. Даже, если вы не верите, что Яндекс учитывает nofollow ссылки.

Почему я переименовал плагин из WP-Noindex в Noindex Links? Дело в том, что я сейчас выкладываю все свои плагины в официальный репозиторий плагинов, в котором, как выяснилось, какой-то «редиска» уже выложил свой плагин под именем WP-Noindex, поэтому мне и пришлось заняться переименованием.

Noindex Links
Автор плагина: Flector
Рассматриваемая версия: 2.00 от 19.09.2014
Текущая версия: 2.00 от 10.07.2021
Совместимость с версией WordPress: 2.3 и выше
Активных установок плагина: 200+
Скачать плагин версии 2.00 (всего скачено 3 711 раз)

Закрывать ли страницы пагинации от индексации — если да, то как? — Сосновский.ру

Закрывать или не закрывать страницы пагинации? Вот в чем вопрос! Столько мифов и заблуждений вокруг индексации листинга товаров, что даже опытные оптимизаторы и seo-студии начинают путаться. Давайте окончательно разберемся, стоит ли запрещать индексировать пагинацию? Если да, то как?

Для тех, кто в танке

Страницы пагинации (или листинга) — это навигационный элемент сайта, разбивающий большой объем контента на более мелкие части. Так, например, в категории интернет-магазина аккуратно и быстро показываются 20-30 товаров вместо всех 3564 штук. Или в блоге симпатично выводится 7-10 постов раздела вместо всех мыслей автора за последнюю дюжину лет.

Главная задача блока — облегчить и ускорить навигацию посетителя на сайте. Естественно, такой элемент есть и в моем блоге. Он же присутствует практически на каждом сайте. Именно поэтому вопрос носит массовый характер.

Сегодня я буду говорить про Рунет, где оптимизаторам приходится налаживать отношения не только с «отечественным зеркалом» (Яндексом), но и зарубежным big brother (Гуглом). В примеры буду ставить интернет-магазины, но правила также справедливы и для всех остальных типов ресурсов.

Проблема в том, что до сих пор нет универсального правила, которое бы отражало волю поисковых систем и решала задачи по SEO. Чтобы прийти к решению, которое устраивало бы всех, нужно ухищряться и прибегать к здравому смыслу. Забегу немного вперед — одно из них, на самом деле, очень простое

Что рекомендует Яндекс?

Платон в своем посте (пункт №2) советует ставить атрибут rel=»canonical» со всех страниц пагинации на первую.

…советую настраивать атрибут rel=»canonical» тега <link> на подобных страницах и делать страницы второй, третьей и дальнейшей нумерации неканоническими, а в качестве канонического (главного) адреса указывать первую страницу каталога, только она будет участвовать в результатах поиска.

Особенности:

Карточки товаров будут индексироваться как обычно.
Предотвращает возможное дублирование.
Помогает поисковику определить корректную посадочную страницу.
Для Яндекса rel=»canonical» не является строгой директивой. По опыту могу судить, что Яндекс иногда не учитывает или пропускает указания каноникала.
rel=»canonical» позволяет передать на основную страницу «некоторые показатели неканонических адресов».
В комментариях Платон ответил, что оказывается можно ссылаться не на первую страницу пагинации, а на документ со всем количеством товаров (если таковой имеется). Возникает вопрос — почему эту информацию не вывели в содержание записи?
В марте 2018 года Платон ответил в комментариях фразой «Если страницы со всеми товарами нет, на страницах пагинации атрибут rel=»canonical» можно не устанавливать«. Ставьте каноникал на первую страницу. Хотя нет, на документ с общим ассортимент. Но если его нет, то вообще не ставьте. Так, ставить или не ставить, и куда? .

…в то время как атрибут rel=»canonical» указывает на каноническую страницу и позволяет передавать ей некоторые показатели неканонических адресов (источник — все тот же пост).

Вы правы, момент с наличием страницы, на которой собран весь товар раздела, я упустил. Если такая страница присутствует на сайте, действительно, лучше указывать в качестве канонической именно её (источник — комментарии к посту).

Робот считает ссылку с атрибутом rel=»canonical» не строгой директивой, а предлагаемым вариантом, который учитывается, но может быть проигнорирован (источник).

Получается, что идеальный вариант для Яндекса — rel=»canonical» на отдельную страницу со всем ассортиментом продукции категории. Почему это не подходит для большинства сайтов?

Во-первых, на многих сайтах нет подобного функционала.
Во-вторых, такая страница должна быть основным документом категории и быть прописана в меню. Иначе ее внутренний вес будет минимальным. Или ставить дополнительно rel=»canonical» со стандартной категории на документ со всем ассортиментом раздела. Сюда же ее оптимизация: Title, Description, h2. На мой взгляд, много сомнительных манипуляций. Непонятно, как на это еще отреагируют поисковые системы.
В-третьих, самое главное — теряется значение пагинации: посетители с поисковиков будут переходить на большую страницу с общим ассортиментом.
В-четвертых, документ будет «тяжелее». От этого будет страдать скорость загрузки, которая, в свою очередь, влияет на ранжирование. Получается, ловим одно, но топим другое .

Как велит поступать Google?

Гугл с присущей ему демократичностью дает больше вариантов:

Оставить как есть. Гениальный совет — распечатать и поставить на полку к «Развивайте сайт» .
Добавить страницу «Показать все». Аналог идеального решения Яндекса, но которое не вяжется с реальным положением дел.
UPD. Google перестал учитывать rel=»next» и rel=»prev». Использовать атрибуты rel=»next» и rel=»prev». Они указывают связь между документами пагинации (подробнее по ссылке выше). Удобно, но есть одно «но» — атрибуты не поддерживаются Яндексом.

Важно! Google считает вариант Яндекса с rel=»canonical» на первую страницу категории ошибкой.

Закрывать или не закрывать?

Мнение Яндекса — закрывать (из комментариев к той же записи):

Для пользователей сайта, несомненно, страницы пагинации нужны, но посетителям сайта из поисковой выдачи удобнее попадать сразу в начало каталога — как раз на первую страницу, поэтому я советую оставлять для робота только её.

Мнение Google — не закрывать. Либо поисковик сам разберется, что лучше держать в индексе и ранжировать, либо создайте для него отдельную страницу.

Основной вывод один — я бы крайне не советовал оставлять все на волю поисковых систем. Приведу несколько причин:

Мигающая индексация. Яндекс любит, то добавлять пагинацию в индекс, то исключать (статус «некачественная страница»).
Постоянно меняются посадочные в связи со схожей релевантностью и пунктом №1. Посетители из ПС постоянно попадают на разные документы. В поисковой выдаче они конкурируют с основной категорией (особенно если на ней нет дополнительного контента).
Пользователи не попадают на нужный набор товаров. Например, вы сделали наиболее привлекательную сортировку. В начале листинга показываются товары в наличие или по скидке, но потенциальный клиент может попасть на любую из страниц пагинации с распроданным ассортиментом.

Простой способ для новичков

Итак, что же делать в итоге? Самый простой вариант, который подойдет для большинства сайтов в Рунете — добавить на страницы листинга в рамках тега head строчку:

<meta name=»robots» content=»noindex, follow» />

Обновление. Данная методика больше не работает (с августа 2021 года): Google перестал учитывать директиву follow в метатеге robots.

Поисковые роботы не будут индексировать пагинацию — noindex, но будут следовать по ссылкам на ней — follow (например, чтобы лучше индексировать карточки товаров).

Все

! Единственное «но». Джон Мюллер из Google в конце прошлого года в видео-встрече с вебмастерами сообщил, что со временем noindex follow алгоритмами могут восприниматься как noindex nofollow. Когда же это случается — осталось тайной.

Пагинация через Javascript и «бесконечная» прокрутка

Есть и такой вариант вывода дополнительных карточек товаров — через javascript. Это либо динамическая «бесконечная прокрутка» (новые товары автоматически появляются сразу, как только посетитель прокручивает до конца списка), либо кнопка «Показать еще».

Главный плюс — нет проблем с пагинацией. Ее, по сути, просто нет. Главный минус — возможные проблемы с индексацией карточек товаров. Также у поисковой системы пропадает возможность оценить широту ассортимента категории, а это один из коммерческих факторов ранжирования.

Если у вас товары выводятся с помощью javascript, то Яндекс советует следующее:

Часто вместо пагинации сайты используют динамическую прокрутку, когда для посетителя, пролиставшего каталог до определённого момента, с помощью JavaScripts загружаются другие товары в данной категории. В такой ситуации необходимо проследить, чтобы весь контент таких страниц отдавался индексирующему роботу, либо чтобы роботу становилась доступна статическая пагинация товаров.

Здесь 2 варианта:

К динамической прокрутке добавлять обычную систему пагинации и действовать по общему алгоритму. Советую этот пункт.
Следить за объемом карточек товаров в sitemap.xml и перелинковкой, чтобы страницы продуктов индексировались максимально полно. Совет полезен и для всех остальных сайтов .

Тема вроде узкая, а получилась на 10.000 символов. Много нюансов, которыми нельзя пренебрегать.

А к чему склоняетесь вы? Закрываете ли пагинацию? Если да, то как? С нетерпением жду ваши отзывы и буду рад вопросам в комментариях
.

как сделать правильно — Сеотон

Пагинация страниц долгое время была темой горячих дискуссий в SEO-сообществе. Со временем, лучшие практики для её создания эволюционировали и теперь у нас есть довольно понятные определения. Эта статья объясняет лучшие практики создания SEO-пагинации.

Показать, что у категории есть пагинация

Когда поисковик сканирует первую страницу категории, ему нужно знать, что у неё есть пагинация. Длительное время единственным способом узнать, что у страницы есть пагинация было найти ссылки «следующая» или «предыдущая страница». Этот вопрос решили, предоставив добавление элементов linkс атрибутом rel="next"и rel="prev" в head страницы.

Эта инструкция поддерживается Гуглом. Яндекс не учитывает rel="next"и rel="prev"и по завлению представителя «в ближайшем времени учитывать не будет». Он распознает порядок страниц пагинации исключительно своими эвристическими алгоритмами.

Долгое время в SEO-сообществе были дискуссии о том, как сочетать это с rel="canonical". Должна ли страница 2 и выше иметь каноническую ссылку на страницу 1 или на саму себя? Идея заключалась в том, что в основном нужно, чтобы посетители попали из поиска на первую страницу категории. Эта страница обычно наиболее актуальна для большинства пользователей.

Гугл высказал свою позицию однозначно: каждая страница пагинации должна канонизировать на саму себя, то есть /page/2/ должна иметь каноническую ссылку, указывающую на /page/2/.

Представитель Яндекса, в свою очередь, порекомендовал делать каноническую ссылку на первую страницу у пагинаций интернет-магазинов. Он аргументирует это тем, что каноническая ссылка передает ссылочный вес, а самая релевантная страница пагинации — первая. Для текстовых материалов, разбитых на несколько частей, по его словам, канонические не обязательны.

Оптимальным решением для поддержки обоих поисковиков будет последовать рекомендации Гугла — поставить каноническую ссылку страницы на саму себя. Таким образом, Яндекс исключит страницы, как если бы стояла каноническая на первую, но все рекомендации Гугла выполняются.

Должна ли страница 2 и выше быть в результатах поиска?

Блокировка страниц пагинации в robots.txt не является оптимальным решением. Такая блокировка аналогична действию метатега noindex, nofollow. Таким образом, если страница заблокирована в robots.txt, поисковики не будут переходить по ссылкам на ней, и может замедлиться индексирование.

Долгое время оптимизаторы считали, что будет хорошей идеей добавить метатег noindex, followко второй и выше страницам пагинации. Это должно было убрать страницу 2 и выше из поисковой выдачи. Идея заключалась в том, что поисковик по-прежнему будет переходить по всем ссылкам на странице, поэтому все страницы будут по-прежнему хорошо индексироваться.

Однако в конце 2017 года Гугл заявили, что долгосрочный noindex, followна странице приведет к тому, что они не будут переходить по ссылкам на этой странице. Это означает, что добавление noindex, followна страницу 2 и далее может привести к тому, что статьи перестанут получать внутренние ссылки, в которых они нуждаются.

Из инструкций для вебмастеров известно, что Яндекс следует инструкциям тега noindex, follow. Однако лучшим вариантом будет не ставить этот тег. Таким образом, пагинация будет давать страницам внутренние ссылки, учитываемые Гуглом, а страницы 2 и выше исключат из индекса Яндекса как недостаточно качественные. Яндекс исключит их по аналогичной причине, если будет стоять noindex, follow, но получаем дополнительный плюс для Гугла.

Раздражающие побочные эффекты

Таким образом, не стоит запрещать к индексации страницу 2 и выше. Однако у этого есть раздражающий побочный эффект — Google Search Console может начать давать вам предупреждения. В частности, консоль может предупредить вас о дубликатах заголовков и описаний. По словам представителя Гугла, Джона Мюллера, вы можете смело игнорировать эти предупреждения:

Yep, that’s fine. It’s useful to get feedback on duplicate titles & descriptions if you accidentally use them on totally separate pages, but for paginated series, it’s kinda normal & expected to use the same.
— 🍌 John 🍌 (@JohnMu) March 13, 2018

— «@JohnMu, вы соглашаетесь с тем, что люди могут безопасно игнорировать предупреждения о дубликатах meta description в Google Search Console для страниц пагинации?»
— «Да, всё в порядке. Полезно получить обратную связь по дубликатам тайтлов и описаний, если вы случайно использовали их на совершенно разных страницах, но для страниц пагинации это нормально и ожидается, что они будут использоваться такие же самые»

Скорее всего, со временем Гугл перестанет показывать эти предупреждения для страниц пагинации в Google Search Console.

Яндекс также будет сообщать в Вебмастере о том, что страницы пагинации исключены как недостаточно качественные. Важность этих сообщений я уточнил у поддержки Яндекса:

— «Здравствуйте, если на сайте много недостаточно качественных страниц, повлияет ли это на позиции нормальных (других) страниц сайта? Например, если у пагинации категорий не поставить каноническую на первую и noindex на вторую и выше страницы»
— «Если сайт в целом не будет признан некачественным, то не повлияет»

Другими словами, эти сообщения в Вебмастере также можно безопасно игнорировать.

Чеклист — как правильно внедрить пагинацию

Добавить на каждую страницу пагинации rel="next"и rel="prev". Например, первая страница пагинации — «/page/1/» должна содержать тег <link rel="next" href="https://example.com/page/2/" />, а вторая — теги <link rel="prev" href="https://example.com/page/1/" /> и <link rel="next" href="https://example.com/page/3/" />
Не блокировать страницы пагинации в robots.txt
Не использовать на страницах пагинации метатег <meta name="robots" content="noindex, follow">
Использовать каноническую ссылку на саму страницу. Например, у страницы /page/2/ внутри <head>должен присутствовать тег <link rel="canonical" href="https://example.com/page/2/" />

Реферат noindex

скачать

Реферат на тему:

План:

1 Мета-тег noindex
2 Noindex и Википедия
3 Совместимость
4 Подсветка Noindex

Введение

noindex — имя не входящего в официальную спецификацию тега языка гипертекстовой разметки веб-страниц HTML, предназначенного для включения в него частей веб-страниц, не предлагаемых к индексации поисковыми системами.

Тег предложен российской компанией «Яндекс» в качестве альтернативы атрибуту nofollow и в настоящее время распознаётся только российскими поисковыми системами Яндекс^[1] и Рамблер^[2].

Данный тег предназначен для поисковых систем: он указывает им на то, что часть страницы, находящуюся между <noindex> и </noindex>, не следует никаким образом учитывать при индексировании данной страницы.

При использовании этого метода часть страницы, где он применяется, становится неэффективной для поисковой оптимизации.

С мая 2010 года «Яндекс» также стал учитывать микроформат nofollow^[3].

1. Мета-тег noindex

Существует также мета-тег en:Noindex с тем же именем и с похожим предназначением. Отличие от «российского» — несколько другое использование, а также область действия (на всю страницу)^[4].

Пример тега noindex:

<body>
...
<noindex><a href="http://www.example.com">Попытка рекламы</a></noindex>

Пример мета-тега noindex:

<html>
<head>
 <meta name="robots" content="noindex" />
 <title>Don't index this page</title>
</head>

2. Noindex и Википедия

Стоит отметить, что в отличие от nofollow, Википедия не «обертывает» внешние ссылки тегами noindex, что раньше могло давать почву для спама вики-статей внешними ссылками, добавляемыми «поисковыми оптимизаторами» и владельцами некоторых сайтов для собственной «раскрутки» «под Яндекс». Однако с мая 2010 и это стало бесполезным занятием.

3. Совместимость

Поскольку тег noindex не входит в официальную спецификацию языка HTML, то большинство HTML-валидаторов считает его ошибкой. Потому для того, чтобы сделать код с noindex валидным рекомендуется использовать тот факт, что noindex нечувствителен к вложенности и это позволяет использовать следующую конструкцию^[1]:

<!--noindex-->Текст или код, который нужно исключить из индексации Яндекс<!--/noindex-->

4. Подсветка Noindex

Подсветка seo тега noindex на сайтах в браузере Firefox ^[5] реализована в плагине RDS bar.

Примечания

↑ ¹² Яндекс.Помощь: Вебмастер — Методы управления поведением робота — help.yandex.ru/webmaster/?id=1111858
Как сделать, чтобы Rambler … — help.rambler.ru/article.html?id=731
Новое в поиске (апрель 2010) — webmaster.ya.ru/replies.xml?item_no=7740 — блог разработчиков Яндекс.Поиска
Мета-тег noindex и его использование в поисковой системе Google — www.google.ru/support/webmasters/bin/answer.py?hl=ru&answer=93710
Подсветка seo тега noindex на сайтах в браузере Firefox

Что такое noindex и nofollow? Как получить женский трафик?

Как известно, для продвижения своего сайта, то есть для поднятия его позиций в поисковой выдаче и увеличения ТИЦ, нужно наращивать ссылочную массу. Но не все ссылки одинаковы. С каждым годом улучшаются алгоритмы поисковых систем, добавляются новые правила, поэтому если вчера какая-то ссылка сработала, то завтра она может выпасть из индекса. С одной стороны, это хорошо — Интернет становится чище, но с другой — продвигать новый ресурс без денежных вливаний или с минимальными затратами становится все сложнее.

Что такое тег noindex?

Часто бывает, что ссылку на странице нужно оставить, но при этом переносить вес по ней нежелательно, поэтому были созданы тег noindex и атрибут nofollow.

Nofollow и noindex Тег noindex учитывается только Яндексом и Рамблером, поскольку он был предложен российской компанией — Яндекс. Другими словами, поисковая система Google не обращает внимания на этот тег и свободно индексирует ссылки и текст в нем.

Если вы хотите скрыть какую-то ссылку от Яндекса и Рамблера, то смело заключайте ее в noindex, и это делается так:

www.ya.ru

Однако не стоит думать, что поисковая машина вообще не переходит по ссылкам, которые находятся внутри этих тегов, просто не учитывает их вес и они совершенно бесполезны для продвижения. Тег noindex может использоваться для чего угодно, в отличие от nofollow.Вы можете, например, заключить в него целый абзац или любой другой фрагмент контента, но если вы хотите закрыть всю страницу от индексации, то лучше использовать специальный метатег:

В этом случае вся страница не будет проиндексирована.

К сожалению, весной 2010 года Яндекс стал учитывать атрибут nofollow, поэтому многие ресурсы, которые использовались для получения «бесплатных» ссылок, например, Википедия, просто перестали работать.

Что такое nofollow, тогда

В отличие от тега noindex, nofollow является атрибутом тега a. Другими словами, ссылки с этим атрибутом не учитываются поисковой системой Google, а с весны 2010 года — Яндекс.

Используется nofollow следующим образом:

Яндекс

Так можно сразу убить двух «зайцев одним выстрелом», грубо говоря запретить учет ссылки в самых популярных поисковых системах.Также предоставляется метатег nofollow:

После его использования все ссылки на странице не будут учитываться поисковыми системами. Получается довольно интересная ситуация: вес ссылки с этим атрибутом не передается, но все равно улетучивается с сайта-донора.

Однако ссылки будут проиндексированы, то есть в панели веб-мастера количество ссылок будет равно одной, но не все будут отображаться.

Тизерная сеть для женского трафика

Женщины, в отличие от мужчин, охотнее расстаются с деньгами, покупая то, что им нравится, поэтому женский трафик везде высоко ценится, так как они являются потенциальными покупателями. Существует множество различных сайтов, ориентированных специально на женщин, и их гораздо больше, чем похожих, но ориентированных на мужчин. Неудивительно, что были созданы женские тизерные сети, о которых пойдет речь ниже.

Лучшая женская тизерная сеть Эти тизерные сети показывают рекламу, ориентированную на женщин, поэтому, если у вас есть сайт с женской аудиторией, это будет лучший способ заработать на нем.Естественно, уровень заработка будет зависеть от количества посетителей, дизайна сайта и даже дизайна самого рекламного блока, но доходность будет выше, чем у любой другой сети. Не верите мне? Просмотрите женские сайты и посмотрите, какая реклама там крутится. И обычно там крутятся Леди кэш, реже женщины щелкают. На самом деле иногда бывает реклама других систем, но первая почти всегда есть. В целом, раньше было больше тизерных сетей, нацеленных на женскую аудиторию, но некоторые не выдерживали конкуренции.

Ladycash — лучшая женская тизерная сеть на данный момент. Можно сказать даже единственный.

Итак, как было сказано выше, если у вас есть сайт, посвященный женщинам, то эта тизерная сеть принесет вам как минимум на 30% больше дохода, чем любая другая. Главное не полениться и сделать нормальный дизайн рекламных блоков, тогда на них будут чаще нажимать. Кстати, возможности по настройке внешнего вида рекламных блоков там довольно широки.

Сами тизеры выглядят неплохо, запрещенного материала или шокового контента нет.В целом тизерная сеть может похвастаться довольно высокой стоимостью клика — от одного рубля. И CTR вполне приличный — в среднем 1%. То есть на каждые 100 просмотров приходится 1 клик. Качество трафика для рекламодателей там просто отличное, потому что в систему принимаются только действительно хорошие платформы, ориентированные на людей.

Деньги выплачиваются через Web Money, минимальная сумма — 16 рублей.

Конечно, у этой тизерной сети есть и небольшие недостатки: уникальных объявлений довольно много, поэтому постоянно крутятся одни и те же.Как правило, там размещают рекламу платные женские сайты.

Альтернативная леди наличными может стать женским кликом, но вряд ли последней, которая принесет вам хотя бы половину дохода.

Для получения более ценной информации посетите веб-сайт

Закрытие ссылок из индексации

Каждый сайт «при жизни» разными способами собирает внешние входящие ссылки и выдает исходящие ссылки. Наращивание массы внешних ссылок — большой плюс для веб-сайта, а наличие на нем исходящих сносок — это большой плюс. минус.

Все ссылки учитываются при ранжирование сайтов в табели о рангах. Чем больше качественных, естественных и весомых входящих гиперссылок на сайт и чем меньше исходящих, тем больше «звездочек на погонах» ресурс имеет, и тем выше его позиция в поисковой выдаче.

Таким образом, чтобы убедиться, что веб-сайт не терять ничего, необходимо по возможности не размещать на своих страницах исходящие сноски на сторонние ресурсы, а те, без которых невозможно обойтись, принудительно закрывать от индексация.

Для этого есть специальные теги — nofollow и noindex.

Ниже приводится краткое и понятное объяснение. обо всех понятиях и обозначениях, а также о том, как применять эти теги на практике.

Входящая ссылка — это сноска к сайт из другого источника.

Исходящая ссылка — это гиперссылка с ресурс стороннему Интернет-проекту.

Тег Nofollow — это html-код, который Используется для запрета индексации ссылок поисковиками Яндекс и Гугл.

Тег Noindex используется для закрытия текста информация из индексации.

Этот тег может скрывать дубликаты или другие текст из «глаз» поисковых роботов, и он останется видимым для посетителей сайта.

Вы можете обнаружить внутренние и исходящие ссылки на ресурс в режиме онлайн с помощью сервисного инструмента — http://pr-cy.ru/link_extractor/

К сожалению, анализ проводится только для одной конкретной веб-страницы, а не для всего сайта, то есть вам придется анализировать все разделы по очереди.С помощью этого инструмента вы получите информацию о количестве исходящих и внутренние ссылки на проверяемой странице, а также URL-адреса сносок, их якоря (текстовые названия).

Еще один аналогичный сервис для онлайн аудит — http://mainspy.ru/analiz_ssylok_sajta

Недостатком анализатора является что в нем не указывается привязка гиперссылок и наличие специальных используемых тегов.

Примеры ниже показывают, как Теги «nofollow» и «noindex» скрывают исходящие сноски и текстовую информацию от индексация.В html-код ссылки или текста вы должны сами добавить специальный атрибут и дать команду для сохранения внесенных вами изменений.

Чтобы закрыть ссылку

Название ссылки

или

привязка ссылки

Чтобы скрыть текст

Текст, который нужно скрыть от поисковых роботов

или

Объявление статьи, скрытое от индексация

Чтобы закрыть ссылку и текст на одновременно

Текст, который мы скрываем Название сети ссылка

или

Абзац, скрытый от индексации название сноски к источнику

Запретить индексацию код счетчика трафика

код счетчика или информера

или

весь информер или счетчик код

Если html-код счетчика трафика использует JavaScript, затем выполните поиск движки изначально не учитывают этот код, поэтому нет необходимости закрывать его от индексации.

Например, LiveInternet счетчик

<скрипт type = »текст / javascript»>

document.write (

«Target = _blank>

«‘ Alt = »title =’ Livet ’… width = ’88 ′ height = ’31 ′> »)

// ->

Если счетчик отслеживания сеансов или его информер имеет простой html код (без JavaScript), тогда он должен быть закрыт от индексации.

Например, информер Mail.Ru

alt = «Mail.ru» />

Стоит отметить, что поисковая система Иногда роботы по ошибке принимают во внимание гиперссылки, закрытые тегом «noindex», поэтому использование тега «nofollow» предпочтительнее.

Как работают пауки поисковых систем?

Паук поисковой системы — это программный сканер, который также называется ботом поисковой системы или просто ботом. Пауки поисковых систем указывают на маркетологов данных, HTML, неработающие ссылки, бесхозные страницы, важные ключевые термины, которые указывают на темы страницы, трафик, поступающий на сайт или отдельные страницы, и многое другое. Пауки понимают, как устроены страницы и сайты, а также как они связаны с другими сайтами или внутренними страницами. Вся эта информация используется, чтобы помочь поисковым системам, таким как Google, Yahoo и Bing, определить, где страницы должны быть ранжированы в поисковой выдаче (страницы результатов поисковых систем.)

Как работает паук поисковой машины?

Spiders понимают, как устроены страницы и сайты, а также как они связаны с другими сайтами или внутренними страницами. Вся эта информация используется, чтобы помочь поисковым системам, таким как Google, Yahoo и Bing, определить, где страницы должны быть ранжированы в поисковой выдаче (страницах результатов поисковой системы).

Специальная кодировка используется для того, чтобы пауки поисковых систем больше рассказывали о странице. Например, разметка схемы используется для того, чтобы «пауки» могли точно сказать, о чем страница.Если ваша компания является гостиницей или авиакомпанией, вы можете использовать схему, чтобы сообщить поисковым роботам, что вы гостиница, какие номера вы предлагаете, какие комнаты у вас есть и многое другое. Вы можете узнать больше о разметке схемы здесь.

Когда бот просматривает ваш сайт и находит разметку схемы, карты сайта, протокол robots.txt, noindex и т. Д., Он обнаруживает эту информацию и обновляет свой индекс, чтобы продолжить сканирование, чтобы лучше понять ваш сайт.

Какие бывают пауки поисковых систем?

Некоторые из наиболее важных пауков поисковых систем, о которых вам следует знать, включают следующее:

GoogleBot — Google
Bingbot — Bing
Бот Slurp — Yahoo
DuckDuckBot — DuckDuckGo
Baiduspider — для китайской поисковой системы Baidu
Яндекс Бот — для российской поисковой системы Яндекс

Что могут видеть пауки поисковых систем?

Spiders могут видеть весь технический код и сообщения, написанные для них в вашем HTML.Они также могут видеть все новое и обновленное содержимое на вашем сайте. Это могут быть блоги, статьи, страницы глоссария, видео, изображения, файлы PDF и т. Д.

Что такое краулинговый бюджет?

Google использует бюджет сканирования, чтобы определить, какую часть содержания вашего веб-сайта сканировать и когда. Гигант поисковых систем, Google, определяет бюджет сканирования сайта в зависимости от того, как часто и с какой скоростью их паук может сканировать ваш сайт, не нанося ущерба вашему серверу и популярности вашего сайта. Это также включает в себя свежесть и актуальность вашего контента.

Гэри Илес из Google говорит, что краулинговый бюджет не должен быть основным приоритетом для сайтов, а сайты с большим объемом страниц должны учитывать краулинговый бюджет.

Что может помешать паукам увидеть весь ваш сайт?

Ниже перечислены некоторые распространенные ошибки, которые разработчики допускают на сайте, из-за которых пауки поисковых систем не видят ваш сайт целиком:

Запрещает поисковым системам сканировать ваш сайт. Вы можете сделать это, если не хотите, чтобы роботы поисковых систем сканировали ваш сайт, но если вы действительно хотите, чтобы они сканировали его снова в какой-то момент, обязательно удалите код, который говорит им избегать сканирования.
Размещение навигации на JavaScript, а не на HTML. Если вы размещаете типы навигации в своем JavaScript, вы также должны размещать их в своем HTML, поскольку пауки поисковых систем еще не полностью понимают JavaScript.
Наличие потерянных страниц может помешать паукам сканировать все ваши страницы. Не забудьте связать важные страницы друг с другом внутри, чтобы создать путь для поисковых роботов.

Что такое User-Agent? — SISTRIX

Пользовательский агент отправляется браузером на веб-сервер с каждым сетевым запросом и должен отображать информацию о системе пользователя.Таким образом, мы могли бы сказать, что этот тег использует браузер в качестве своего «имени». Дополнительная информация и советы в этой статье.

Что такое User-Agent?

User-agent — это поле заголовка HTTP, которое может использоваться для передачи более или менее подробной информации об устройстве, выполняющем сетевой запрос.

Это делается через заголовок HTTP, и эта информация может использоваться, например, для доставки определенных элементов только тем браузерам, которые способны управлять ими.

Из чего состоит User-Agent?

Синтаксис пользовательского агента довольно прост:

  Пользовательский агент: & lt; Product & gt; / & lt; Версия продукта & gt; & lt; Комментарии & gt;

Однако, если мы посмотрим, например, на стандартный пользовательский агент смартфона Google, все выглядит иначе:

  Mozilla / 5.0 (Linux; Android 6.0.1; Nexus 5X Build / MMB29P) AppleWebKit / 537.36 (KHTML, например Gecko) Chrome / 41.0.2272.96
Mobile Safari / 537.36 (совместимый; Googlebot / 2.1; + http: //www.google.com/bot.html)

Мы можем разбить этот пользовательский агент на части следующим образом:

Mozilla — это продукт .
5.0 — версия продукта.
(Linux; — операционная система устройства.
Android 6.0.1; — версия ОС.
Nexus 5X Build / MMB29P) — это компиляция ОС.
AppleWebKit / 537.36 — это механизм визуализации браузера.
(KHTML, как Gecko) — это механизм рендеринга на основе KHTML, который ведет себя как Gecko.
Chrome / 41.0.2272.96 — браузер и номер его версии.
Mobile Safari / 537.36 — это браузер, который ведет себя как Safari с номером версии 537.36.
(совместим; здесь действительно начинается комментарий, объясняя, что устройство совместимо с браузером Mozilla.
Googlebot / 2.1; наименование и номер версии краулера.
+ http: //www.google.com/bot.html) где я могу получить дополнительную информацию об этом агенте?

Если вам интересно, почему Googlebot — браузер Google Chrome — выдает себя за Mozilla, вы не одиноки. Есть забавный пост в блоге об истории строки пользовательского агента браузера , который рассказывает нам все важные моменты. Напрашивается вывод, что почти все браузеры по «причинам» выдают себя за Mozilla.Таким образом, значение не имеет значения, а комментарии были намного длиннее.

Как User-Agent использует информацию о сервере?

Сервер может использовать информацию о системе, отправляющей запрос, для предоставления пользователям соответствующей версии веб-сайта. Например: если пользовательский агент сообщает серверу, что запрос поступает со смартфона Android, использующего Chrome, сервер может вернуть мобильную версию запрошенного веб-сайта, если доступна мобильная версия.

С помощью агента пользователя сервер также может определить, поддерживается ли по-прежнему используемая версия браузера. Например, если кто-то использует «старый» браузер, такой как Internet Explorer 6, сервер может ответить и отправить запрос на обновление вместо запрошенного веб-сайта.

Наконец, информация об агентах пользователя может собираться веб-серверами для статистических целей, чтобы назвать один возможный пример.

Пользовательские агенты и сканеры

У поисковых роботов также есть пользовательский агент.Учитывая, что пользовательский агент идентифицирует ботов такими, какие они есть, это боты, веб-серверы предоставляют им особые «привилегии». Например, веб-сервер может пройти через страницу регистрации для робота Googlebot. Важно не рисковать показывать пользователям контент, который отличается от того, что мы показываем роботу Googlebot, поскольку это можно рассматривать как маскировку .

Используя robots.txt (файл, который также содержит пользовательский агент), веб-сервер может запросить поисковые системы не сканировать определенные области веб-сайта.

Как я могу использовать User-Agent для SEO?

Если вы знаете, какую информацию используют различные сканеры Google, вы можете настроить свой браузер на отправку одного и того же идентификатора либо через расширение браузера, либо через консоль разработчика.

Например, мы часто можем проверить, предоставляет ли веб-сайт своим постоянным пользователям контент, который отличается от того, что видит робот Googlebot.

Чтобы сделать это с Chrome, нам просто нужно получить доступ к его консоли, что также можно сделать с помощью следующих ярлыков:

Mac: Command + Alt + C
Windows: Control + Shift + C

Или щелкните правой кнопкой мыши и выберите «Проверить».

Как показано на рисунке выше, вам нужно всего лишь:

Щелкните на Customize and Control DevTools, представленном трехточечным значком.
Щелкните «Дополнительные инструменты».
Щелкните «Условия сети».

Затем нам нужно только выбрать, какой пользовательский агент мы хотим использовать для просмотра, введя его в красное поле, изображенное ниже:

Это будет работать только до тех пор, пока сервер не выполнит внутренняя проверка , чтобы выяснить, действительно ли пользовательский агент, называющий себя роботом Google, исходит с IP-адреса Google.

Полезные пользовательские агенты для SEO

В таблицах ниже вы можете увидеть основные и наиболее часто используемые пользовательские агенты в среде SEO. Каждый указывает сканеру, которому он принадлежит, и то, что останется зарегистрированным в заголовках запроса, информацию, которую можно проверить, проанализировав журналы сервера.

Связанные с Google пользовательские агенты

-изображение робота Google .0 / 1.0

Сканер	Токен агента пользователя	Полный агент пользователя
Изображения робота Google	— Изображение робота Google — Изображение робота Google 1
Googlebot News	— Googlebot-News — Googlebot	Googlebot-News
Googlebot Video	— Googlebot-Video — Googlebot	Googlebot	Googlebot	Googlebot	— Mozilla / 5.0 (совместимый; Googlebot / 2.1; + http: //www.google.com/bot.html) — Mozilla / 5.0 AppleWebKit / 537.36 (KHTML, как Gecko; совместимый; Googlebot / 2.1; + http: //www.google.com / bot.html) Safari / 537.36 или (редко используется): — Googlebot / 2.1 (+ http: //www.google.com/bot.html)
Googlebot Smartphone	Googlebot	Mozilla / 5.0 (Linux; Android 6.0.1; Nexus 5X Build / MMB29P) AppleWebKit / 537.36 (KHTML, например Gecko) Chrome / 41.0.2272.96 Mobile Safari / 537.36 (совместимый; Googlebot / 2.1; + http: //www.google .com / bot.html)
Googlebot Smartphone ***	Googlebot	Mozilla / 5.0 (Linux; Android 6.0.1; Nexus 5X Build / MMB29P) AppleWebKit / 537.36 (KHTML, например, Gecko) Chrome / WXYZ Mobile Safari / 537.36 (совместимый; Googlebot / 2.1; + http: //www.google.com/bot .html)
Мобильные приложения Android	AdsBot-Google-Mobile-Apps	AdsBot-Google-Mobile-Apps

Относительно агента пользователя смартфона *: с декабря 2019 года версия браузера Chrome будет начать обновляться, поэтому XYZ буквы будут заменены на те версии, которые Google Chrome будет использовать (более официальная информация здесь ).

Другие пользовательские агенты на заметку

Существуют и другие пользовательские агенты, которые могут иметь отношение к проектам SEO, а также с точки зрения экономии полосы пропускания веб-проекта, почему они требуют мониторинга и оптимизации.

Сканер	Токен агента пользователя	Полный агент пользователя
Pinterest	Pinterestbot	Pinterest / 0.2 (+ https: //www.pinterest.com/bot.html) Mozilla / 5.0 (совместимый; Pinterestbot / 1.0; + https: //www.pinterest.com/bot.html) Mozilla / 5.0 (Linux; Android 6.0.1; Nexus 5X Build / MMB29P) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 41.0.2272.96 Mobile Safari / 537.36 (совместимый; Pinterestbot / 1.0; + https: //www.pinterest.com/bot.html)
Linkedin	LinkedInBot	LinkedInBot / 1.0 (совместимый; Mozilla / 5.0; Jakarta Commons-HttpClient / 3.1 + http://www.linkedin.com)
Bing	bingbot	— Mozilla / 5.0 (совместимый; bingbot / 2.0; + http: //www.bing.com/bingbot.htm) — Mozilla / 5.0 (iPhone; процессор iPhone OS 7_0, как Mac OS X) AppleWebKit / 537.51.1 (KHTML, например Gecko ) Версия / 7.0 Mobile / 11A465 Safari / 9537.53 (совместимый; bingbot / 2.0; + http: //www.bing.com/bingbot.htm) — Mozilla / 5.0 (Windows Phone 8.1; ARM; Trident / 7.0; Touch; rv: 11.0; IEMobile / 11.0; NOKIA; Lumia 530) как Gecko (совместимый; bingbot / 2.0; + http: //www.bing.com/bingbot.htm)
Яндекс *	ЯндексБот	Mozilla / 5.0 (совместимый; YandexBot / 3.0; + http: //yandex.com/bots)
Wayback Machine	archive.org_bot	Mozilla / 5.0 (совместимый; archive.org_bot + http: //www.archive. org / details / archive.org_bot)

Относительно User-Agent Яндекса *: есть много других строк, идентифицируемых как YandexBot, которые также могут быть действительными (более официальная информация здесь ).

Google в старых сообщениях в блогах, архивах и устаревшем контенте, относящемся к алгоритму Panda

С Пандой 4.1 за последний месяц или около того, все больше людей задают больше вопросов о Panda.

Обычно Panda — это некачественный контент, а не полезные страницы на вашем сайте. Поэтому Мари Хейс спросила Джона Мюллера из Google на видеовстрече в Google+, следует ли удалять старые сообщения в блогах, которые редко читают, чтобы помочь отменить наказание за Панду. Вопрос был:

Если на сайте есть тысячи старых сообщений в блогах, которые редко читают, может ли это негативно повлиять на них в глазах Panda? Должны ли мы не индексировать старые сообщения в блогах?

Ответ был не таким однозначным, в зависимости от обстоятельств.

Джон ответил:

Это, я думаю, непростая тема, потому что до некоторой степени имеет смысл хранить старый архив вещей. Но с другой стороны, если вы смотрите на эти старые сообщения в блоге и говорите, что это действительно сообщения низкого качества, то, возможно, стоит очистить это. Но в целом наши качественные алгоритмы действительно смотрят на сайт в целом, поэтому мы стараемся смотреть на все на сайте. И если есть части, которые на самом деле не актуальны, которые отчасти старше и существуют по какой-то причине, но не на самом деле основной причиной для вашего сайта, то это то, что мы также стараемся учитывать.
Так что только потому, что у вас есть эти старые сообщения в блоге, где, возможно, вы делали новостное объявление с 2001 года, и это все еще находится на вашем сайте, это не то, что я бы обязательно использовал noindex только для того, чтобы навести порядок. Но иногда может также случиться так, что эти старые сообщения в блогах действительно низкого качества и отчасти плохие, тогда вы должны принять меры. То, что они старше, не обязательно означает, что они хороши или плохи в каком-то конкретном смысле.

Вот видео с вопросами и ответами, которые начинаются через 54 минуты и 5 секунд после начала видеовстречи:

. вещи.:)

Обсуждение на форуме в Google+.

Как улучшить техническую оптимизацию вашего веб-сайта

Когда вы покупаете новую машину, вам нужно всего лишь нажать кнопку, чтобы включить ее. Если сломается, отнеси в гараж, там починят.

С ремонтом сайтов не все так просто, ведь решить проблему можно разными способами. А сайт может отлично работать для пользователей и плохо сказываться на SEO. Вот почему нам нужно заглянуть под капот вашего веб-сайта и изучить некоторые его технические аспекты.

Техническая поисковая оптимизация занимается проблемами, связанными с сервером, страницами и поисковыми роботами.

Обзор: Что такое техническое SEO?

Техническое SEO относится к оптимизации архитектуры вашего сайта для поисковых систем, чтобы они могли оптимально индексировать и оценивать ваш контент. Компонент архитектуры — это фундамент вашего SEO и часто первый шаг в любом SEO-проекте.

Звучит странно и сложно, но это не ракетостроение. Но, чтобы соответствовать всем требованиям SEO, вам, возможно, придется запачкать руки или позвонить своему веб-мастеру во время процесса.

Что включает в себя техническое SEO?

Техническая поисковая оптимизация включает три области: оптимизации, связанные с сервером, оптимизации, связанные со страницами, и проблемы, связанные со сканированием. Далее вы найдете технический контрольный список SEO, включающий основные элементы для оптимизации для небольшого сайта.

1. Оптимизация, связанная с сервером

Основная цель поисковой системы — обеспечить удобство для пользователей. Они оптимизируют свои алгоритмы, чтобы отправлять пользователей на отличные сайты, которые отвечают на их вопросы.Вы хотите того же для своих пользователей, значит, у вас та же цель. Мы рассмотрим следующие настройки, связанные с сервером:

Имя домена и настройки сервера
Настройки защищенного сервера
Конфигурация основного доменного имени

2. Оптимизация страницы

Ваш сайт размещен на сервере и содержит страницы. Второй раздел, который мы рассмотрим для технического SEO, состоит из вопросов, связанных со страницами вашего сайта:

Оптимизация URL-адресов
Языковые настройки
Канонические настройки
Меню навигации
Структурированные данные

3.Проблемы, связанные со сканированием

Когда проблемы с сервером и страницей исправлены, сканеры поисковых систем могут по-прежнему сталкиваться с препятствиями. Третий раздел, который мы рассмотрим, связан со сканированием сайта:

Инструкции Robots.txt
Перенаправления
Неработающие ссылки
Скорость загрузки страницы

Как улучшить техническое SEO вашего сайта

Самый эффективный способ Оптимизация архитектуры веб-сайта для SEO заключается в использовании инструмента SEO, называемого поисковым роботом, или «пауком», который перемещается по сети от ссылки к ссылке.Паук SEO может имитировать способ сканирования поисковых систем. Но сначала нам нужно провести некоторую подготовительную работу.

1. Исправить доменное имя и настройки сервера

Прежде чем мы сможем сканировать, нам нужно определить и разграничить область, изменив настройки сервера. Если ваш сайт находится на поддомене поставщика (например, WordPress, Wix или Shopify) и у вас нет собственного доменного имени, самое время получить его.

Также сделайте это, если вы не настроили сертификат защищенного сервера, известный как SSL (уровень защищенных сокетов).Поисковые системы заботятся о безопасности и надежности вашего сайта. Они предпочитают безопасные сайты. И доменные имена, и SSL-сертификаты недороги и имеют большую ценность для вашего SEO.

Вам необходимо решить, какую версию вашего доменного имени вы хотите использовать. Многие люди используют www перед своим доменным именем, что означает просто «всемирная паутина». Или вы можете использовать более короткую версию без www, просто domain.com.

Перенаправляет поисковые запросы с версии, которую вы не используете, на ту, которую мы называем основным доменом.Таким образом, вы можете избежать дублирования контента и посылать последовательные сигналы как пользователям, так и сканерам поисковых систем.

То же самое и с безопасной версией вашего веб-сайта. Убедитесь, что вы перенаправляете http-версию на https-версию вашего основного доменного имени.

2. Проверьте настройки robots.txt

Сделайте эту небольшую проверку, чтобы убедиться, что ваш домен доступен для сканирования. Введите этот URL-адрес в свой браузер:

yourdomain.com/robots.txt

Если в файле, который вы видите, используется слово disallow, то вы, вероятно, блокируете доступ сканера к частям вашего сайта или, возможно, ко всему.Обратитесь к разработчику сайта, чтобы понять, почему они это делают.

Файл robots.txt — это общепринятый протокол для регулирования доступа поисковых роботов к веб-сайтам. Это текстовый файл, размещенный в корне вашего домена, и он сообщает сканерам, к чему им разрешен доступ.

Robots.txt в основном используется для предотвращения доступа к определенным страницам или целым веб-серверам, но по умолчанию все на вашем веб-сайте доступно всем, кто знает URL-адрес.

Файл предоставляет в основном информацию двух типов: информацию об агенте пользователя и операторы разрешения или запрета.Пользовательский агент — это имя поискового робота, например Googlebot, Bingbot, Baiduspider или Yandex Bot, но чаще всего вы увидите просто звездочку *, означающую, что директива применяется ко всем поисковым роботам.

Вы можете запретить пауку доступ к конфиденциальной или повторяющейся информации на вашем веб-сайте. Директива disallow также широко используется, когда сайт находится в стадии разработки. Иногда разработчики забывают удалить его при запуске сайта. Убедитесь, что вы запрещаете только страницы или каталоги вашего сайта, которые действительно не должны индексироваться поисковыми системами.

3. Проверьте наличие дубликатов и бесполезных страниц

Теперь давайте проверим работоспособность и очистим индексацию вашего сайта. Перейдите в Google и введите следующую команду: site: yourdomain.com. Google покажет вам все страницы, которые были просканированы и проиндексированы с вашего сайта.

Если на вашем сайте мало страниц, прокрутите список и обратите внимание на несовместимые URL-адреса. Обратите внимание на следующее:

Упоминания от Google о том, что некоторые страницы похожи и поэтому не отображаются в результатах
Страницы, которые не должны отображаться, потому что они не представляют ценности для пользователей: страницы администратора, разбивка на страницы
Несколько страниц с существенно тот же заголовок и содержание

Если вы не уверены, полезна ли страница или нет, проверьте свое программное обеспечение аналитики на целевых страницах, чтобы узнать, посещают ли эти страницы вообще.Если он выглядит некорректно и не генерирует трафик, возможно, лучше удалить его и позволить другим страницам показываться вместо него.

Если у вас много примеров вышеперечисленного или результаты вас смущают, удалите их. Во многих случаях поисковые системы хорошо разбираются в том, что следует оценивать, а что нет, поэтому не тратьте на это слишком много времени.

Используйте следующие методы, чтобы удалить страницы из индекса, но оставить их на сайте.

Канонический тег

Для дубликатов и почти дубликатов используйте канонический тег на повторяющихся страницах, чтобы указать, что они по существу одинаковы, а другая страница должна быть проиндексирована.

Вставьте эту строку в раздел страницы:

Если вы используют CMS, канонические теги часто могут быть добавлены в код сайта и созданы автоматически.

Тег noindex

Для страниц, которые не являются дубликатами, но не должны отображаться в индексе, используйте тег noindex, чтобы удалить их. Это метатег, который входит в раздел страницы:

Инструмент удаления URL-адресов

Канонические теги и теги noindex соблюдаются все поисковые системы.У каждого из них также есть различные варианты инструментов для веб-мастеров. В Google Search Console можно удалять страницы из индекса. Удаление носит временный характер, пока действуют другие методы.

Вы можете быстро удалить URL-адреса из индекса Google с помощью инструмента удаления, но этот метод является временным. Источник: search.google.com.

Файл robots.txt

Будьте осторожны при использовании команды disallow в файле robots.txt. Это только сообщит сканеру, что он не может посетить страницу, и не удалит ее из индекса.Используйте его, как только удалите из индекса все компрометирующие URL.

4. Сканируйте ваш сайт как поисковую систему

В оставшейся части этого технического анализа SEO наиболее эффективным следующим шагом будет использование инструмента SEO для сканирования вашего сайта через основной домен, который вы настроили. Это также поможет решить проблемы, связанные со страницами.

Далее мы используем Screaming Frog, программу для сканирования сайтов, которая распространяется бесплатно до 500 URL. В идеале вы должны очистить свой сайт, удалив URL-адреса с помощью тегов canonical и noindex на шаге 3, прежде чем сканировать свой сайт, но это не обязательно.

Screaming Frog — это программа для сканирования сайтов, которую можно бесплатно использовать до 500 URL. Источник: программное обеспечение Screaming Frog.

5. Проверьте объем и глубину сканирования

Ваша первая проверка сканирования — убедиться, что все ваши страницы индексируются. После сканирования паук покажет, сколько страниц он нашел и насколько глубоко он пролез. Внутренние ссылки могут облегчить поисковым роботам доступ ко всем вашим страницам. Убедитесь, что у вас есть ссылки, указывающие на все ваши страницы, и отметьте как избранные самые важные страницы, особенно с домашней страницы.

Если вы обнаружите расхождения между количеством просканированных страниц и количеством страниц на вашем сайте, выясните, почему. Источник: программное обеспечение Screaming Frog.

Вы можете сравнить количество страниц сайта с количеством, найденным в Google, чтобы проверить соответствие. Если ваш сайт не проиндексирован, у вас есть проблемы с внутренними ссылками или картой сайта. Если проиндексировано слишком много страниц, вам может потребоваться сузить область с помощью robots.txt, канонических тегов или тегов noindex. Все хорошо? Переходим к следующему шагу.

6. Исправьте неработающие ссылки и перенаправления

Теперь, когда мы определили объем сканирования, мы можем исправить ошибки и недостатки. Первый тип ошибок — это битые ссылки. В принципе, у вас их не должно быть, если вашим сайтом управляет система управления контентом (CMS). Неработающие ссылки — это ссылки, указывающие на страницу, которая больше не существует. Когда пользователь или сканер нажимают на ссылку, они попадают на страницу «404», код ошибки сервера.

Вы можете увидеть коды ответов, сгенерированные во время сканирования сайта с помощью инструментов SEO.Источник: программное обеспечение Screaming Frog.

Мы предполагаем, что у вас нет кодов ошибок «500», критических ошибок сайта, которые необходимо исправить разработчику сайта.

Далее мы рассмотрим перенаправления. Перенаправления замедляют работу пользователей и поисковых роботов. Это признак небрежной веб-разработки или временных исправлений. Допускается наличие ограниченного количества серверных кодов «301», что означает «Страница перемещена навсегда». Страницы с кодом «404» являются неработающими ссылками и требуют исправления.

7. Создайте заголовок и метаинформацию

Поисковые роботы SEO обнаружат ряд других проблем, но многие из них выходят за рамки технического SEO.Это касается «заголовков», «метаописаний», «мета-ключевых слов» и «alt» тегов. Все это часть вашего внутреннего SEO. Вы можете обратиться к ним позже, поскольку они требуют большой редакционной работы, связанной с содержанием, а не структурой сайта.

Что касается технического аспекта сайта, укажите любые автоматизированные заголовки или описания, которые могут быть созданы вашей CMS, но для этого потребуется некоторое программирование.

Еще одна проблема, которую вам может потребоваться решить, — это структурированные данные сайта, дополнительная информация, которую вы можете вставить на страницы для передачи поисковым системам.Опять же, большинство CMS будут включать некоторые структурированные данные, и для небольшого сайта это может не иметь большого значения.

8. Оптимизируйте скорость загрузки страницы

Последняя проблема сканирования, на которую вы должны обратить внимание, — это скорость загрузки страницы. Паук определит медленные страницы, часто вызванные тяжелыми изображениями или JavaScript. Скорость страницы — это то, что поисковые системы все чаще принимают во внимание для целей ранжирования, потому что они хотят, чтобы конечные пользователи имели оптимальный опыт.

Google разработал инструмент под названием PageSpeed Insights, который проверяет скорость вашего сайта и дает рекомендации по ее ускорению.

9. Проверьте свои исправления: повторно просканируйте, повторно отправьте и проверьте на предмет индексации

После того, как вы внесли серьезные изменения, основанные на препятствиях или недостатках, с которыми вы столкнулись в этом техническом прогоне SEO, вам следует повторно сканировать свой сайт, чтобы проверить, были ли внесены исправления. правильно:

Перенаправление не-www на www
Перенаправление http на https
Noindex и канонические теги
Неработающие ссылки и перенаправления
Заголовки и описания
Время отклика

Если все в порядке, вы я хочу, чтобы сайт был проиндексирован поисковыми системами.Это произойдет автоматически, если вы проявите немного терпения, но если вы торопитесь, вы можете повторно отправить важные URL-адреса.

Наконец, после того, как все просканировано и проиндексировано, вы сможете увидеть обновленные страницы в результатах поиска.

Вы также можете заглянуть в раздел покрытия Google Search Console, чтобы найти подробную информацию о том, какие страницы были просканированы, а какие проиндексированы.

3 передовых метода улучшения вашего технического SEO

Техническое SEO может быть загадочным, и это требует большого терпения.Помните, что это основа для вашего SEO. Давайте рассмотрим несколько моментов, о которых следует помнить.

1. Не сосредотачивайтесь на быстрых победах

Обычная практика SEO заключается в том, чтобы сосредоточиться на быстрых победах: максимальное воздействие при минимальных усилиях. Этот подход может быть полезен для определения приоритетов технических задач SEO для крупных сайтов, но это не лучший способ подойти к техническому проекту SEO для небольшого сайта. Вам нужно сосредоточиться на долгосрочной перспективе и получить правильную техническую основу.

2. Вложите немного денег

Чтобы улучшить SEO, вам может потребоваться немного денег.Купите доменное имя, если у вас его нет, купите сертификат защищенного сервера, воспользуйтесь платным инструментом SEO или позвоните разработчику или веб-мастеру. Вероятно, это маржинальные вложения для бизнеса, поэтому не сомневайтесь.

3. Обратитесь за помощью, когда вас заблокируют

В области технического SEO лучше не импровизировать, не тестировать и не учиться. Если вас заблокируют, попросите о помощи. Twitter полон замечательных и полезных советов по SEO, как и форумы WebmasterWorld. Даже Google предлагает сеансы в рабочее время для веб-мастеров.

Исправьте архитектуру SEO раз и навсегда

Мы рассмотрели основные части технических улучшений SEO, которые вы можете выполнить на своем сайте. Архитектура SEO — один из трех столпов SEO. Это основа вашей SEO-эффективности, и вы можете исправить ее раз и навсегда.

Оптимизированная архитектура принесет пользу всей работе, которую вы выполняете по другим направлениям: всему новому контенту, который вы создаете, и всем создаваемым обратным ссылкам. Это может быть непросто, и на то, чтобы все исправить, нужно время, так что приступайте прямо сейчас.Это лучшее, что вы можете сделать, и в конечном итоге это окупается.

SEO для сайтов с прогрессивными веб-приложениями (PWA) и JavaScript

Этот пост представляет собой краткое изложение беседы, которую мы с Натзиром Туррадо сделали на Congreso Web в Сарагосе (Испания) и на встрече SEO в Лиссабоне (Португалия) (см. Слайды), где мы пытаемся объяснить эту технологию и , как оптимизаторы и разработчикам приходится иметь дело с ним, чтобы сделать его доступным для поисковых систем . Мы основали этот разговор на нашем опыте работы с клиентами, использующими Javascript Framework, такими как Angular или React, друзьями или коллегами, которые поделились с нами данными, а также на экспериментах, которые мы провели, чтобы понять, как поисковые системы ведут себя с Javascript.Вот о чем мы поговорим:

Что такое PWA и как он работает
Как поисковые системы работают с Javascript (JS)
Подходы к рендерингу для JS-сайтов
Хорошие практики для сайтов PWA и JS
Эксперимент: PWA без предварительной обработки (CSR)
Заключение

В настоящее время существуют различные решения для удовлетворения потребностей мобильных пользователей. Например, на elmundo.es, если они хотят предложить удовлетворительный опыт всем пользователям, которые читают их новостные статьи, им необходимо убедиться, что они обслуживают каждую страницу в настоящее время в разных экосистемах: мобильная версия и настольная версия (с динамическим обслуживанием ), APP (автономная и более плавная навигация и push-уведомления), AMP (в качестве требования для отображения в карусели Top Stories) и Facebook Instant Articles (подход Facebook к AMP).

Как видите, помимо основного веб-сайта необходимо поддерживать множество экосистем, а это дорого и плохо масштабируется для бизнеса.

Если говорить о нативных приложениях , то это самые распространенные минусы:

Обычно они дороже, чем обычный веб-сайт или веб-приложение. Цена может варьироваться от 25.000 € до 600.000 €, в среднем 150.000 €
мало, они очень востребованы стартапами, так как им предлагают очень хорошие зарплаты.В Барселоне, если вы хотите нанять разработчика приложений, он, вероятно, также находится в процессе приема на работу Wallapop, Glovo, CornerJob или любого другого популярного стартапа, и, возможно, вы не сможете конкурировать с этим.

Другой тип решения, который существует в настоящее время, для решения более сложных задач и более тяжелых взаимодействий на мобильных устройствах, — это Mobile Web Apps (например, на поддомене m.). У этих тоже есть минусы:

Не разрешают автономную навигацию
Они не индексируются в магазинах приложений.
С ними сложнее реализовать адаптивный веб-дизайн (RWD)
Это дополнительная технология, которую вам нужно будет разрабатывать и поддерживать для разных браузеров и устройств.

К счастью, в настоящее время существует новое решение для разработки, инициированное Google, которое сочетает в себе лучшее из обоих миров: Progressive Web Apps (PWA)

Что такое PWA и как он работает

PWA — это веб-страница, которая работает для всех пользователей и всех устройств, но с гибким интерфейсом нативного приложения.Это большое преимущество для веб-сайтов со сложным взаимодействием. Например, если вы перейдете в браузере своего смартфона в Twitter и Instagram, вы получите доступ к их PWA. Нет причин использовать их собственные приложения, которые потребляют много ресурсов в фоновом режиме, когда вы можете просто использовать их PWA, установить их на свой домашний экран и иметь доступ к Twitter и Instagram с большинством их функций. Кроме того, похоже, что Twitter больше не поддерживает свое приложение, а также Starbucks.Мы предполагаем, что они будут ждать, пока больше пользователей добавят свои PWA на свой рабочий стол и будут поддерживать хорошие показатели.

Некоторые из преимуществ приложений Progressive Web :

Это приложения, которые можно индексировать в поисковых системах (пока, пока, индексирование приложений).
Их также можно проиндексировать в магазинах приложений
Они позволяют совершать покупки в один клик с помощью API запроса платежа. Это одно из самых больших преимуществ, если учесть, что процент отказа от карточных платежей на мобильных устройствах составляет 80%
Они разрешают push-уведомления
Они прогрессивны и отзывчивы
Легко делиться и нравиться (каждый контент имеет свои собственные URL-адреса, как и на любом веб-сайте)
Пользователям не нужно устанавливать их на свои смартфоны
Скоро мы увидим их на рабочем столе (вы уже можете «установить» их на Chrome Os почти год назад)
Вы можете использовать их офлайн
Они обеспечивают более быстрый переход

Мы не говорим, что PWA лучше, чем собственные приложения, но их преимущества, вероятно, заставят разработчиков отказаться от разработки собственного приложения.

PWA

может получить первую содержательную боль быстрее, чем обычный веб-сайт, и более быстрые и плавные последующие взаимодействия, такие как собственное приложение. Согласно исследованию Google, это важная особенность, поскольку скорость загрузки — это элемент UX, который больше всего волнует 75% пользователей. Похоже, что медленные веб-сайты могут быть более стрессовыми, чем просмотр фильма ужасов (согласно исследованию Ericsson ConsumerLab), а это означает, что вы можете потерять до 53% своих пользователей, если ваш мобильный веб-сайт загружается более 3 секунд. к этому другому исследованию от Google и SOASTA

Progressive Web Apps разрабатываются с использованием фреймворков и библиотек Javascript , которые становятся стандартом, так как упрощают работу для разработчиков.Такой подход имеет следующие преимущества:

Разработчикам проще перейти на PWA. Они модульные, чистые и облегчают повторное использование основного кода. Кроме того, за спиной стоит большое и сплоченное сообщество.
Лучшая производительность и скорость (для серверов, особенно при использовании рендеринга на стороне клиента, как мы увидим позже).
Дешевле, так как у них открытый исходный код и легче найти разработчиков. Все время появляются новые и лучшие фреймворки (например, Vue JS намного легче изучить, чем React JS, что является одной из причин, почему он его преодолевает)
Это более безопасная ставка из-за большого сообщества и вовлеченных крупных игроков (Google стоит за Angular, а Facebook за React JS)

По всем этим причинам PWA никуда не денется, поэтому как оптимизаторам поисковых систем, так и поисковым системам приходится иметь дело с ними, поскольку их рост неудержим.

Согласно опросу разработчиков Stack Overflow 2017 (на который ответили 64000 разработчиков), JavaScript является самым популярным языком программирования, а Node JS, Angular и React JS входят в пятерку самых популярных технологий разработки.

Как работают прогрессивные веб-приложения

PWA — это SPA / MPA (одностраничное приложение или многостраничное приложение), которое имеет две дополнительные функции, обеспечивающие его работу: сервисный работник и манифест

Сервисный воркер — это волшебство PWA: он обеспечивает фоновую синхронизацию, автономную навигацию и push-уведомления.

Он работает как контроллер и является посредником между клиентом (браузером) и сервером. Он указывает кешу браузера хранить файлы, которые уже были загружены, чтобы впоследствии пользователь мог получить доступ к страницам, не загружая их повторно (поэтому можно перемещаться в автономном режиме)

Манифест — это небольшой файл JSON, включенный в заголовок документа HTML. Среди прочего, основная функциональность этого файла заключается в том, чтобы разрешить установку PWA на домашний экран смартфона пользователя, чтобы его можно было использовать как приложение

С помощью Microsoft PWA Builder вы можете легко создать манифест и сервис-воркера для своего веб-сайта.Если вы хотите узнать больше о том, как создать PWA, у Google есть очень полезный учебник

В настоящее время все основные браузеры поддерживают PWA, но не все браузеры поддерживают все функции PWA. К счастью, ситуация быстро меняется, как вы можете проверить на веб-сайте

«Могу ли я использовать».

Как сегодня поисковые системы работают с Javascript

В настоящее время только Google и ASK обрабатывают Javascript «приличным» способом. Baidu объявил, что они тоже это делают, но после некоторых тестов кажется, что они не делают это так же хорошо, как Google или ASK.Таким образом, если ваш бизнес находится в США, России или Китае, вы не можете полагаться на Bing, Yahoo, Yandex или Baidu при рендеринге вашего JS-сайта, и вам нужно будет убедиться, что ваш контент и ссылки работают без JS.

Сканирование! = Рендеринг! = Индексирование! = Рейтинг

Когда мы говорим о способностях поисковой системы отображать JS, обычно проводятся такие тесты, которые вы здесь видите. Например, если ввести «site:» для сайта, который зависит от JS для визуализации и сканирования:

Как видите, количество проиндексированных страниц варьируется в каждой из этих поисковых систем, но, помимо этого, тот факт, что поисковая система имеет заданное количество проиндексированных URL-адресов , не означает, что они обнаружили их после визуализации страницы, ни то, что он может видеть 100% того, что в них (могут быть внешние ссылки, указывающие на разные URL-адреса этого сайта, и поисковая система просто обнаруживает эти URL-адреса там, не имея возможности увидеть, что в них)

Итак, если, например, вы попытаетесь найти некоторые из точных текстовых строк JS-сайта в разных поисковых системах, вы увидите, что в некоторых случаях Google — единственный, кто может увидеть и проиндексировать этот контент.

Рендеринг JS сайта стоит много

Итак, если PWA сейчас в моде, и многие веб-сайты используют JS, почему не все поисковые системы уже отображают JS? Все просто: потому что это дорого (и ресурсов, и денег)

Согласно исследованию, проведенному среди 500 ведущих сайтов на archive.org, 50% веб-сайтов позволяют пользователю взаимодействовать с мобильных устройств в среднем за 14 секунд, а это слишком много времени.

Здесь важно понимать, что файл JS размером 170 КБ — это не то же самое, что изображение размером 170 КБ: хотя браузер потратит более или менее одинаковое время на загрузку обоих файлов, изображение будет отображаться и отображаться для пользователя очень быстро ( в миллисекундах), тогда как JS должен быть проанализирован, скомпилирован и выполнен браузером, потребляя больше ресурсов и времени.

Чтобы понять, сколько стоит отрисовка JS для краулера, у нас есть общие числа ahrefs. Каждые 24 часа:

Они просматривают 6 миллиардов страниц
Они отображают 30 миллионов страниц
Для этого они используют 400 серверов.

Если вы посчитаете, для каждой отображаемой страницы они сканируют 200 страниц. По их словам, если они решат сканировать и отображать все URL-адреса, которые они имеют в своем индексе, с той же скоростью, они оценивают, что им потребуется от 10.От 000 до 15 000 дополнительных серверов (в 20–30 раз больше серверов), так что вы можете себе представить, сколько денег будет (машины, электричество, обслуживание …)

Google не будет ждать бесконечно, чтобы отобразить страницу

Из-за высокой стоимости визуализации JS у нас есть еще один фактор: Google не может ждать бесконечно долго, чтобы отобразить страницу.

Хотя они уже сказали в Твиттере, что не существует заранее определенного максимального времени, согласно нескольким тестам, которые мы видели или проводили, ссылочное число, на которое можно быть в безопасности, составляет 5 секунд.

Это было обнаружено Натзиром случайно, потому что клиент хотел скрыть всплывающее окно и модальный селектор языка, чтобы Google не счел их навязчивыми. Что он сделал, так это загрузил их после события «документ готов», чтобы они не отображались в DOM, и попытался с разным количеством секунд увидеть, видит ли их Google или нет. Наконец, он заметил, что по прошествии более 5 секунд всплывающее окно и модальное окно не отображаются ни в рендере, ни в кеше Google. Но если вы хотите быть уверенным, лучше сделать так, чтобы эти элементы загружались после взаимодействия с пользователем, чтобы Google не выполнял их.

Предупреждение! Это справочный номер, а не правило! Он может варьироваться между веб-сайтами, а также во времени (Lino проверил, что это может быть более 5 секунд). Если вы хотите убедиться, что Google может отображать и видеть весь ваш контент, помимо проверки его в индексе, лучший способ — проверить, как ваши страницы отображаются с помощью инструмента тестирования для мобильных устройств, и попытаться настроить свой веб-сайт на рендерить как можно быстрее.

Google обрабатывает JS в 2 этапа

В последнем вводе-выводе Google компания Google подтвердила то, что мы заметили в течение некоторого времени: сайты JS индексируются в 2 этапа.

Если вы такой гик, как мы, вам будет любопытно узнать, что до того, как Percolator (Натзир говорил об этом здесь), Google использовал MapReduce и Google File System (благодаря им родился Hadoop).Значительно упрощая, до этой новой архитектуры Google работал пакетно, а теперь работает на лету. Это позволяет мгновенно проиндексировать просканированные страницы.

Проблема заключается в сайтах JS, поскольку Google должен их отображать, чтобы видеть контент и ссылки; в противном случае, Google потерял бы большую часть сети . Как мы видели ранее, рендеринг стоит дорого и не может быть выполнен мгновенно, так как это заставит Google с легкостью тратить гораздо больше ресурсов. Им необходимо проиндексировать JS-сайты в два этапа.

Итак, они включили подсистему WRS в Caffeine, , основанную на Chrome 41 , что имеет серьезные последствия, которые должны учитывать как оптимизаторы, так и разработчики.

Обновление

, май 2019 г .: С этого момента робот Googlebot будет использовать последнюю версию Chromium (74 на момент публикации), что позволяет использовать +1000 новых функций. Это ничего не меняет в отношении двух волн индексации и официальных рекомендаций SEO, если у вас есть PWA или сайт, который зависит от JS для отображения контента.

Одна из вещей, которые влияют на нас, и что мы должны понимать, это то, что canonical и rel = amphtml теги, а также статус HTTP читаются и обрабатываются только в первой волне (при начальной выборке страницы), и нет второй шанс. Мы ничего не знали о rel = amphtml, пока Джон Мюллер не сказал об этом, но это имеет смысл.

Что касается канонических тегов, это сложная тема. Даже если Google сказал, что они читают тег только при первой выборке, а не после рендеринга страницы, были случаи, когда они действительно это делали.Замечательный Эоган Хенн устроил тест, в ходе которого продемонстрировал, что Google на самом деле считывает канонические теги в визуализированной версии и применяет их

Даже если это иногда срабатывает, это не означает, что использование канонических тегов только в версии страницы, обработанной с помощью JS, не означает, что использование их при первоначальной выборке — единственный способ гарантировать, что Google увидит тег.

С другой стороны, Google сказал, что если теги noindex, hreflang и rel = next / prev находятся не в необработанном HTML, а в версии страницы, обработанной JS, это нормально (поскольку они будут читать теги после рендеринга страницы ).

То же, что и с каноническим тегом, даже если Google может читать и обрабатывать эти теги на обработанной версии страницы, мы не рекомендуем полагаться на него, и лучший вариант — обслуживать эти теги непосредственно в необработанном html, чтобы убедиться, что Google может их прочитать. Учитывая, что Google задерживает рендеринг JS, если эта задержка будет продолжительной (например, несколько дней), у нас будут страницы с noindex, которых не должно быть в индексе, но это будет в те дни, пока Google, наконец, не отобразит страницу и не увидит этот тег.

Итак, рекомендуется всегда предоставлять Google и другим ботам метатеги непосредственно в необработанном HTML-коде

Другое последствие использования Google Chrome 41 заключается в том, что он не может полностью отображать веб-сайты, которые используют более продвинутые функции, не поддерживаемые этой версией Chrome. Если мы хотим использовать какие-либо из этих современных функций, нам нужно убедиться, что они работают в Chrome 41, или найти альтернативы, которые работают.

Типы событий и ссылок, по которым Google следует

Важно знать, по каким типам событий JS и ссылкам следует Google, поскольку проиндексированные URL-адреса принимаются во внимание для оценки качества веб-сайта.

Мы знаем, что Google сканирует, индексирует и передает PageRank HTML-ссылкам (

, будут просканированы
* не сканироваться
* не будет сканироваться

* Отсутствие сканирования не означает, что если кто-то ссылается на этот URL, он не будет проиндексирован Google.Большинство ошибок индексированных фильтров возникает из-за подобных проблем.

Мы также знаем, что Google сканирует и индексирует все, что кажется URL-адресом, потому что они хотят обнаруживать новые URL-адреса, но они не проходят PageRank (не означает, что они не будут отображаться при поиске):

будет просканировано
будет просканирован
/ эта ссылка будет просканирована

По-моему, это было 7 лет назад, когда в клиентских инструментах для веб-мастеров (теперь Search Console) стало появляться множество ошибок 404, в то же время, когда была реализована виртуальная страница Google Analytics.С тех пор я включаю все, что появляется в html и выглядит как URL-адрес в robots.txt, хотя лучше всего изменить код, чтобы они не выглядели как URL-адреса.

Есть и другие типы событий: onscroll и onmouseover . Иногда выполняются события Onscroll, а события onmouseover не выполняются

Если у вас реализована разбивка на страницы с помощью onscroll, первые страницы могут быть проиндексированы. Одна из тех вещей, которые вы обнаруживаете случайно и которые позже в Google подтверждают

Подходы к рендерингу для JS сайтов

Чтобы понять различные варианты рендеринга JS-сайтов, проще всего представить PWA как IKEA в Интернете:

Традиционно, когда мы (клиенты) хотим купить мебель, мы идем в специализированный магазин (компанию), покупаем мебель, и компания доставляет нам конечный продукт, готовый к использованию.
Позже появилась IKEA, где клиент выбирает мебель, но вместо того, чтобы получить конечный продукт, он / она получает разные части и некоторые инструкции по его сборке, поэтому клиент — это тот, кто должен выполнить физическую задачу сборку мебели для получения конечного продукта, который он купил. Кроме того, иногда для сборки изделия клиенту необходимо покупать дополнительные вещи у компании (специальные винты, специальные инструменты и т. Д.). Все идет по инструкции.
Через некоторое время IKEA заметила, что некоторым клиентам нужна была их продукция, но они не хотели собирать ее сами: они хотели получить конечный продукт напрямую. Поэтому IKEA запустила новую услугу: вы можете купить мебель и попросить кого-нибудь из IKEA установить ее для вас, и вы получите конечный продукт.

По этой аналогии клиентом будет наш веб-браузер, а IKEA — сервер. Исходя из этого, у нас есть 4 разных сценария при выборе системы рендеринга:

Отрисовка на стороне клиента (CSR)

Когда мы говорим о чистом рендеринге на стороне клиента, клиент (веб-браузер) получает почти пустой HTML-код при первоначальной выборке, а браузер — это тот, который должен работать, чтобы «создать» окончательный HTML-код на основе ресурсов и JS (инструкции), которые получает от сервера:

Это вариант, который разработчики PWA изначально использовали (и во многих случаях они продолжают использовать), и он является худшим с точки зрения SEO, поскольку без выполнения JS и рендеринга страницы ничего не будет (нет содержимого , без ссылок)

Рендеринг на стороне сервера (SSR)

Из-за проблем с SEO с CSR, как и в IKEA, JS-фреймворки начали разрабатывать новые функции, которые решили проблему: без потери преимуществ PWA, сервер выполнит и отрендерит страницу и отправит окончательный HTML-код клиенту. :

Таким образом, клиент (веб-браузер) получает окончательный HTML-код с содержимым и ссылками без необходимости выполнять и отображать JavaScript.Если включен JavaScript, он возьмет на себя управление страницей, и пользователь сможет перемещаться / взаимодействовать в «режиме PWA». В противном случае он / она может перемещаться / взаимодействовать, как на «обычной» веб-странице, без преимуществ PWA

Гибридный рендеринг

Третий вариант визуализации представляет собой комбинацию двух предыдущих: часть страницы отправляется предварительно обработанной с сервера, а остальная часть должна быть визуализирована на клиенте.

Очень распространенный случай гибридного рендеринга — это предварительный рендеринг тех частей сайта, которые используют все страницы PWA (например, меню), и оставляют определенные части (основной контент) для рендеринга клиентом.В следующем примере «оболочка приложения» (верхняя область с синим фоном) будет отправлена сервером, предварительно обработанным (SSR), в то время как область ниже (основное содержимое) не будет отображаться при первой выборке и будет должны быть полностью обработаны клиентом (CSR)

Динамический рендеринг (DR)

Это вариант, который Google официально рекомендовал для Google I / O, и он в основном заключается в… ¡маскировке!

Да, вы правильно читаете.Они сказали, что если у нас есть PWA, который зависит от JS и рендеринга, и мы хотим избежать проблем с Googlebot (и другими ботами), мы должны убедиться, что Googlebot (и другие боты) получают отрисованную версию (SSR) и остальные пользовательские агенты могут получить то, что мы считаем лучшим (CSR или гибридный рендеринг). Таким образом, робот Googlebot сможет видеть весь контент и ссылки без необходимости визуализировать страницу. По сути, контент, который увидит Google, совпадает с контентом, который увидят пользователи после отображения страницы в их браузерах.

Ярким примером большого веб-сайта, применяющего этот метод и принадлежащего самой Google, является Youtube. На следующих снимках экрана (вы можете попробовать это самостоятельно с помощью этого инструмента) вы можете увидеть, что при посещении URL-адреса видео, если агент пользователя — Googlebot, сервер отправляет непосредственно последнюю страницу с контентом и ссылками. Если пользовательский агент является «обычным пользователем», сервер отправляет пустой HTML-код с простой структурой, без содержимого и ссылок:

SSR лучше для пользователей, CSR лучше для серверов

Какая стратегия лучше всего подходит для каждого случая? Для пользователей, по крайней мере, для первого взаимодействия, лучший вариант — SSR:

Netflix, PWA, созданный на основе React и вложивший много средств в работу с этой технологией, продемонстрировал повышение производительности на 50% на своих целевых страницах (тех, которые они используют для привлечения пользователей) за счет перехода с CSR на SSR
Walmart пришел к такому же выводу, где теперь большинство их страниц работают с SSR

Почему? Это просто.Давайте резюмируем, как работают оба метода:

При использовании SSR сервер отправляет «окончательный» HTML-код со всем содержимым и ссылками, «готовыми к просмотру», без необходимости визуализации на клиенте (веб-браузере)
При использовании CSR сервер отправляет пустой HTML-код, который затем должен быть «заполнен» клиентом (веб-браузером), выполняющим JS и отображающим страницу.

Это означает, что:

С CSR сервер отвечает быстрее (так что мы можем иметь лучший TTFB), в то время как с SSR сервер должен использовать больше ресурсов для рендеринга, и ему требуется больше времени для ответа
При использовании SSR клиент (веб-браузер) получает «окончательный» HTML-код, который можно нарисовать быстрее, чтобы пользователь мог быстрее видеть контент.С другой стороны, с CSR, в зависимости от устройства клиента, для рендеринга и рисования страницы потребуется больше или меньше времени.

Как вы можете видеть на этом изображении с тестами, проведенными Walmart, с SSR клиент начинает видеть контент раньше, даже если серверу требуется немного больше времени, чтобы ответить:

Итак, если CSR хуже для SEO (потому что мы зависим от способности поисковых систем отображать страницу), а SSR быстрее для пользователей, зачем кому-то использовать CSR? По той же причине IKEA продает мебель поштучно: она дешевле.

Самым большим преимуществом CSR является то, что он дешевле для ИТ-отдела: поскольку весь рендеринг и выполнение JS происходит на клиенте, сервер менее загружен. Если мы перейдем на SSR, вся эта работа будет выполняться на сервере, что, как мы уже видели, может оказаться очень дорогостоящим.

Официальная рекомендация Google

Как мы уже говорили, Google рекомендует динамический рендеринг (то есть SSR, по крайней мере, для робота Googlebot), но они также объявили, что в некоторых случаях они чувствуют себя способными полностью видеть и индексировать небольшие чистые сайты CSR.

Они конкретно говорили о трех факторах:

Размер сайта (количество URL)
Насколько динамичен сайт (если он публикуется много или несколько раз, если содержимое URL-адресов статично или оно сильно изменяется)
Совместимость с Chrome 41

Исходя из этого, это будут рекомендации Google для каждого случая:

Обновление

, май 2019 г .: С этого момента робот Googlebot будет использовать последнюю версию Chromium (74 на момент публикации), что позволяет использовать +1000 новых функций.Это ничего не меняет в отношении двух волн индексации и официальных рекомендаций SEO, если у вас есть PWA или сайт, который зависит от JS для отображения контента.

Как видите, лучший вариант — всегда использовать SSR (или динамический рендеринг), за исключением небольших статических сайтов. Даже в этом случае существует определенный риск для этих сайтов, поэтому, если ваш проект зависит от трафика SEO, лучший способ — использовать SSR / DR во всех сценариях.

Здесь вы можете ясно увидеть, какие проблемы порождают CSR, в этом твите Барри Адамса

Вы можете увидеть график эволюции допустимых проиндексированных страниц в PWA, который был реализован с использованием чистого CSR и который в конечном итоге был изменен на SSR.После этого количество проиндексированных страниц значительно увеличилось (почти вдвое), что отражает узкое место, которое Google имеет при рендеринге JS, и причину, по которой они не рекомендуют полагаться на него для крупных сайтов.

Хорошие практики для сайтов PWA и JS

Здесь мы рекомендуем некоторые инструменты, чтобы проверить, есть ли у Google проблемы с отображением нашего JS-сайта.

PWA и аудит эффективности

Вы можете выполнить этот аудит с помощью Lighthouse для Chrome и Sonar Whal.

С помощью подключаемого модуля Chrome Service Worker Detector вы можете легко проверить сервис-воркера и манифест на любом PWA.

Тест мобильности

В настоящее время инструмент Mobile-Friendly Test от Google — лучший способ увидеть, как Google отображает страницу, поскольку теоретически он наиболее близок к тому, что на самом деле делает робот Googlebot. Это лучше, чем инструмент «Извлечь и отобразить» в Search Console, поскольку в SC больше таймаутов, и результат не на 100% реален. Mobile-Friendly Test тоже не на 100% реален, но он ближе к реальности. Проблема с инструментом в том, что мы не можем прокручивать страницу вниз.

Еще одной замечательной особенностью инструмента является то, что мы можем видеть окончательный HTML-код после рендеринга. и проверьте, что чего-то не хватает, или сравните оба HTML с такими инструментами, как Diff Checker. Мы также можем проверить заблокированные активы на ошибки JS.

Получение и рендеринг

Этот инструмент из консоли поиска Google также очень полезен, поскольку мы можем сравнить, как пользователь и робот Googlebot увидят нашу страницу, и есть ли какие-либо различия.

Мы также можем использовать это для любой страницы любого домена, даже если он не наш.Например, вы можете увидеть, как Натзир может использовать инструмент для страницы из Trivago, благодаря коду, предоставленному Screaming Frog (не забудьте изменить его, как описано на слайдах)

Этот код загружает любую страницу вашего домена через iframe.

Вы также можете использовать эту функцию для промежуточных сайтов. Для этого вам нужно добавить noindex ко всем URL-адресам и позволить роботу Googlebot обращаться к ним только через обратный DNS.

Вы можете использовать и другие инструменты, например ScreamingFrog SEO Spider или этот онлайн-инструмент, разработанный Merkle SEO.Благодаря этим инструментам вы можете изменить время ожидания рендеринга и пользовательских агентов. Вы должны стремиться к тому, чтобы страница отображалась менее чем за 5 секунд.

Сканирование и сравнение стадийности с производственной средой

Если вы переносите свой текущий сайт на PWA с использованием таких технологий, как Angular или React, вы можете использовать сканеры, такие как FandangoSEO, для сканирования вашего сайта на стадии подготовки, а также в рабочей среде, и их сравнения. Большинство проблем при миграции на PWA происходит из-за изменений макета, а не только из-за использования JavaScript.

Как и при любой миграции, вам необходимо убедиться, что внутреннее связывание одинаково на стадии подготовки и производства, поддерживая одинаковые уровни глубины, а также сохраняя одно и то же содержимое в обеих версиях. Это приоритет при любой миграции, даже больше, чем при перенаправлении с 2 или более переходами. Также не рекомендуется переносить макет, CMS и URL-адреса одновременно ; даже если мы сохраним ссылки и перенаправления будут идеальными, это будет много изменений одновременно, и сайт может пострадать от 6 до 12 месяцев, пока Google не сможет переработать и понять все.

Поэтому, если вы переносите свой сайт на PWA, тщательно протестируйте его на стадии перед запуском и минимизируйте количество изменений

Сканирование с эмуляцией мобильных устройств и рендерингом JS

С переходом от Google к «сначала мобильному индексированию» нам также необходимо проверить, как Google видит наши сайты как мобильный пользователь, и пересмотреть пункты, прокомментированные ранее. С FandangoSEO мы также можем сделать это и сравнить сканирование, чтобы увидеть, равны ли мобильные и настольные компьютеры с точки зрения внутренних ссылок, тегов заголовков и т. Д.

Проверять метатеги с другими пользовательскими агентами

Хотя вы можете сделать это с помощью поисковых роботов, когда вы просто хотите проверить некоторые определенные страницы, вы можете использовать эти плагины: мета-поисковый инспектор и переключатель пользовательских агентов. В последнем вы можете добавить пользовательских агентов для робота Googlebot, робота Googlebot Mobile, а также агентов из Facebook и Twitter (для проверки данных открытых графиков и карточек Twitter)

Googlebot: User-Agent String: Mozilla / 5.0 (совместимый; Googlebot / 2.1; + http: // www.google.com/bot.html)
Googlebot Mobile: Mozilla / 5.0 (Linux; Android 6.0.1; Nexus 5X Build / MMB29P) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 41.0.2272.96 Mobile Safari / 537.36 (совместимый; Googlebot / 2.1; + http : //www.google.com/bot.html)
Facebook: facebookexternalhit / 1.1 (+ http: //www.facebook.com/externalhit_uatext.php)
Twitterbot : Twitterbot / 1.0

Вы также можете использовать новый тест Rich Results от Google для проверки схемы.org, который также покажет вам обработанный HTML. Обратной стороной является то, что он не поддерживает столько типов, сколько предыдущий

Просмотр без JS-эмуляции других пользовательских агентов

Если вы хотите проверить то же, что и в предыдущем пункте, но также без выполнения Javascript, вы можете использовать плагин Web Developer, в котором вы можете деактивировать JS.

Проверить ошибки консоли и ссылки в Chrome 41

Необходимо использовать Chrome 41 самостоятельно и проверить, работает ли там ваш PWA.Вы можете проверить ошибки Javascript, API или CSS, которые вы увидите на консоли браузера. Вы увидите, что некоторые из этих ошибок не появляются в последних версиях Chrome, поэтому, если они возникают в Chrome 41, они также будут возникать в Google при попытке отобразить вашу страницу.

Еще одна вещь, которую следует проверить в Chrome 41, — доступны ли ссылки и меню, поскольку иногда из-за неподдерживаемых функций они могут не работать. Здесь вы можете проверить, какие функции поддерживаются, а какие нет.

Ходят слухи, что Google обновит свою WRS до более современной версии Chrome менее чем через год, но точной даты нет.Итак, наш эталон — Chrome 41.

В завершение передовой практики, здесь у вас есть контрольный список с вещами, которые следует учитывать, если вы используете чистый CSR или SSR / DR

PWA SEO Контрольный список для CSR

Canonicals + метаданные не зависят от CSR
Страница отображается менее чем за 5 секунд
Страница загружается и работает с Chrome 41
Отображаемые ссылки — это элементы с их реальным href
Дизайн HTML + ожидается в Mobile Friendly Tool
Дизайн HTML + является обычным для функции Fetch and Render with Search Console
Страницы появляются в Google после поиска определенных текстовых строк
Контент не реплицируется на разных страницах
Фрагменты (! #) Не используются, и у каждой страницы свой URL

PWA SEO Контрольный список для динамического рендеринга / SSR

SSR обслуживается роботом Googlebot и другими конкретными ботами (FB, TW…)
Контент, который получает робот Googlebot, такой же, как и обычный пользователь
Коды ответов HTTP одинаковы в обоих случаях
Мета-теги в обоих случаях одинаковы
Сервер может управлять рендерингом под высоким давлением
Версия SSR включает в себя все содержимое и ссылки правильно
Все страницы имеют ожидаемое поведение в обоих случаях
Фрагменты (! #) Не используются, и у каждой страницы свой URL

Кроме того, этот контрольный список от Google для PWA относительно PWA и WPO также очень полезен:

Контрольный список PWA UX и WPO

Сайт обслуживается по HTTPS
Страницы адаптируются на планшетах и мобильных устройствах
Все URL-адреса приложений загружаются в автономном режиме
Метаданные для добавления на главный экран
Первая загрузка очень быстрая даже на 3G
Переходы между страницами не блокируются в сети
Сайт использует сеть с первым использованием кэша
Сайт надлежащим образом информирует пользователя, когда он не в сети
Контент не перескакивает при загрузке страницы
При обратном нажатии со страницы сведений положение прокрутки сохраняется на предыдущей странице списка
При нажатии ввод не закрывается экранной клавиатурой
Контентом легко поделиться из автономного или полноэкранного режима
Любые запросы на установку приложения не используются чрезмерно

Эксперимент: PWA без предварительной обработки (CSR)

Чтобы попробовать, как Google работает с Javascript, мы пожертвовали своими блогами, перенеся их с «обычного» WordPress на PWA, который работает только при наличии JS (CSR)

Мы сделали это с помощью Worona (теперь Frontity), платформы, которая позволяет конвертировать сайт WordPress в PWA для мобильных пользователей.В нашем случае мы сотрудничали с ними, чтобы сделать PWA доступным как на мобильных, так и на настольных компьютерах, и чтобы, когда JS не был включен, появлялась пустая страница.

Как видите, если мы отключим JS, все страницы в этом блоге будут загружать только то, что вы видите на этом снимке экрана: пустая страница без реального контента и ссылок для сканирования и индексации:

После включения PWA в производственную среду мы провели различные тесты.

Заявление об ограничении ответственности: как вы увидите, эти тесты были проведены на небольшом сайте, за небольшой период времени и в небольшом масштабе.Мы не можем гарантировать, что результаты будут такими же в других ситуациях.

Тест 1: рендеринг

Первый тест состоял в том, чтобы проверить, действительно ли Google может отображать и индексировать URL-адреса из блога, теперь, когда они работают только с JavaScript.

Для этого мы сначала проверили инструмент тестирования для мобильных устройств и инструмент выборки и рендеринга в Search Console, где подтвердили, что Google может отображать контент.

Мы использовали опцию «Запросить индексирование» в Search Console, чтобы заставить Google обновить URL в своем индексе, и менее чем за 15 минут мы смогли проверить, что они сделали:

Наблюдения:

Google смог отобразить и проиндексировать контент
Процесс был относительно быстрым (15 минут)

Тест 2: рейтинг

После того, как мы убедимся, что Google может отображать блог и просматривать наш контент, возникает следующий очевидный вопрос: собираемся ли мы сохранить рейтинг этого сообщения.Чтобы проверить это, мы выбираем ключевое слово, по которому публикация занимала 1 или 2 места в течение 6 месяцев (так что это «стабильное» ключевое слово)

И мы проверяем, что после обновления индекса для этого URL мы сохраняем тот же рейтинг:

Кроме того, мы также выполняем поиск, комбинируя ключевое слово с фрагментом текста, который появляется в PWA только после рендеринга, чтобы убедиться, что Google действительно ранжирует страницу с учетом содержимого, которое загружается после его рендеринга:

Наблюдения:

Рейтинги не пропали после перехода на PWA без SSR

Тест 3: индексация нового контента
Мы также хотели проверить, сколько времени Google тратит на поиск, сканирование и индексирование нового сообщения, поэтому мы публикуем новый:
Поскольку мы не хотим заставлять Google сканировать новый URL-адрес, мы выполняем выборку и рендеринг главной страницы блога и нажимаем «Запросить индексирование», где Google найдет ссылку на это новое сообщение, чтобы увидеть если они его проиндексируют и сколько времени это займет.
Несмотря на то, что мы видели посещение роботом Googlebot нового URL в журналах сервера, эта страница не появлялась в индексе Google в течение 5 дней после публикации:
Небольшая ошибка при выполнении этого теста заключалась в том, что сообщение не имело большого количества контента, а плагин, который мы использовали (Worona), загружает следующее сообщение, когда вы прокручиваете его до конца текущего сообщения, поэтому, когда Google выполнял рендеринг он также видел содержание следующего поста ниже:
Так что повторим этот тест.
Наблюдения:
Если мы не будем принудительно индексировать, Google потребуется некоторое время, чтобы проиндексировать новое содержание
Тест 4: две волны индексации
Наконец, мы хотели попробовать «вживую» систему индексации двух волн, подтвержденную Google. Как и в предыдущем случае, поскольку мы провели тест с URL-адресом с небольшим количеством контента, Google в конечном итоге загрузил следующее сообщение и проиндексировал этот контент для этого URL-адреса
Это то, что мы сделали:
На странице, которую Google еще не сканировал повторно, мы внесли изменение, чтобы включить вымышленное слово только в исходную html-версию страницы, которая исчезает после загрузки PWA
Мы вынудили Google получать (не обрабатывать) эту страницу в Search Console и «запрашиваем индексирование».
минут спустя, когда мы искали слово, Google уже показывал URL:
С другой стороны, когда мы проверили кеш Google для этой страницы, мы обнаружили, что даже несмотря на то, что Google проиндексировал новый контент, в кеше по-прежнему отображается старая версия (та, без PWA, которая у нас была раньше):
Кроме того, при поиске определенных текстовых строк, которые появлялись только в старой версии страницы (до PWA), страница все еще отображалась:
Дней спустя Google начал показывать версию PWA в кеше:
И с этого момента страница больше не отображается для выдуманного слова, которое видно только в исходном HTML перед рендерингом:
Хотя при проверке «только текстовой» версии в кеше Google появляется слово:
Наблюдения:
Перед рендерингом страницы Google проиндексировал содержимое страницы без JS (первая волна)
Этот новый контент был связан с предыдущей версией Интернета (без PWA)
После рендеринга страница оценивается только по содержанию, присутствующему в рендеринговой версии (вторая волна индексации)
Выводы
На сегодняшний день очень немногие веб-сайты перешли непосредственно на CSR PWA (без предварительного рендеринга) для всех пользовательских агентов.