Вот типы страниц, которые следует исключить из индексации:

• Страницы, используемые для разбиения на страницы
• Страницы внутреннего поиска
• целевых страниц, оптимизированных для рекламы
  • Пример: Отображает только форму презентации и регистрации, без основной навигации
  • Пример: повторяющиеся варианты одного и того же контента, используемые только для рекламы
• Авторские страницы в архиве
• Страниц в потоках оформления заказа
• страниц подтверждения
  • Пример: страницы благодарности
  • Пример: Заказ полных страниц
  • Пример: Успех! Страницы
• Некоторые страницы, сгенерированные подключаемым модулем, которые не имеют отношения к вашему сайту (например, если вы используете коммерческий подключаемый модуль, но не используете их обычные страницы продуктов)
• Страницы администратора и страницы входа администратора

Пометка страницы как Noindex и Nofollow

Страница, помеченная как noindex, так и nofollow, заблокирует индексирование этой страницы поисковым роботом и просмотр ссылок на странице.

Изображение ниже демонстрирует, что поисковая система увидит на веб-странице в зависимости от того, как вы использовали директивы noindex и nofollow:

Узнайте, как занять первое место в рейтинге Google и победить в конкурентной борьбе

Забронировать Звонок

Пометка уже проиндексированной страницы как NoIndex

Если поисковая система уже проиндексировала страницу, и вы помечаете ее как noindex , то при следующем сканировании страницы она будет удалена из результатов поиска .

Чтобы этот метод удаления страницы из индекса работал, вы не должны блокировать (запрещать) поисковый робот своим файлом robots.txt.

Если вы укажете сканеру не читать страницу, он никогда не увидит маркер noindex и страница останется проиндексированной, хотя ее содержимое не будет обновляться.

Как запретить поисковым системам индексировать мой сайт?

Если вы хотите удалить страницу из поискового индекса, после того как она уже была проиндексирована, вы можете выполнить следующие шаги:

1. Применить директиву noindex Добавить атрибут noindex в метатег или заголовок ответа HTTP
2. Запросите поисковую систему просканировать страницу
   Для Google вы можете сделать это в консоли поиска, запросив переиндексацию страницы Google. Это приведет к тому, что робот Googlebot просканирует страницу, где робот Googlebot обнаружит директиву noindex. Вам нужно будет сделать это для каждой поисковой системы, для которой вы хотите удалить страницу.
3. Подтверждение удаления страницы из поиска После того, как вы запросили сканер повторно посетить вашу веб-страницу, подождите некоторое время, а затем подтвердите, что ваша страница была удалена из результатов поиска. Вы можете сделать это, зайдя в любую поисковую систему и введя целевой URL-адрес сайта, как на изображении ниже.
   Если ваш поиск не дал результатов, ваша страница была удалена из этого поискового индекса.
4. Если страница не была удалена Убедитесь, что в вашем файле robots.txt нет директивы «запретить». Google и другие поисковые системы не могут прочитать директиву noindex, если им не разрешено сканировать страницу. Если вы это сделаете, удалите директиву disallow для целевой страницы, а затем снова запросите сканирование.
5. Установить директиву запрета для целевой страницы в файле robots.txt Запретить: /page$
   Вам нужно поставить знак доллара в конце URL-адреса в файле robots.txt, иначе вы можете случайно запретить любые страницы под этой страницей, а также любые страницы, начинающиеся с той же строки. Пример: Disallow: /sweater также запретит /sweater-weather и /sweater/green, но Disallow: /sweater$ запретит только конкретную страницу /sweater.

Как удалить страницу из поиска Google

Если страница, которую вы хотите удалить из поиска, находится на сайте, которым вы владеете или управляете, большинство сайтов могут использовать инструмент удаления URL для веб-мастеров.

Инструмент удаления URL для веб-мастеров удаляет контент из поиска примерно на 90 дней. Если вам нужно более постоянное решение, вам потребуется использовать директиву noindex, запретить сканирование из файла robots.txt или удалить страницу с вашего сайта. Google предоставляет дополнительные инструкции по постоянному удалению URL здесь.

Если вы пытаетесь удалить страницу из поиска на сайте, который вам не принадлежит, вы можете запросить Google удалить страницу из поиска, если она соответствует следующим критериям:

• Отображает личную информацию, такую ​​как ваша кредитная карта или номер социального страхования
• Страница является частью вредоносного ПО или схемы фишинга
• Страница нарушает закон
• Страница нарушает авторские права

Если страница не соответствует ни одному из вышеперечисленных критериев, вы можете обратиться в SEO-фирму или PR-компанию за помощью в управлении онлайн-репутацией.

Следует ли не индексировать страницы категорий?

Обычно не рекомендуется не индексировать страницы категорий, если только вы не являетесь организацией корпоративного уровня, раскручивающей страницы категорий программно на основе пользовательских поисковых запросов или тегов, и дублированный контент становится громоздким.

По большей части, если вы разумно помечаете свой контент, чтобы помочь пользователям лучше ориентироваться на вашем сайте и находить то, что им нужно, тогда все будет в порядке.

На самом деле, страницы категорий могут быть золотыми жилами для SEO, поскольку они обычно показывают глубину контента в темах категорий.

Взгляните на этот анализ, который мы провели в декабре 2018 года, чтобы количественно оценить ценность страниц категорий для нескольких онлайн-публикаций.

*Анализ выполнен с использованием данных AHREFS.

Мы обнаружили, что целевые страницы категории ранжируются по сотням ключевых слов страницы 1 и ежемесячно привлекают тысячи обычных посетителей.

Самые ценные страницы категорий для каждого сайта часто привлекали тысячи органических посетителей каждая.

Взгляните на EW.com ниже, мы измерили трафик на каждую страницу (обозначается размером кружка) и значение трафика на каждую страницу (обозначается цветом кружка).

Ежемесячный органический трафик на страницу = размер
Ежемесячная органическая ценность страницы = глубина цвета

Теперь представьте себе те же диаграммы, но для продуктовых сайтов, где посетители могут совершать активные покупки.

При этом, если ваши категории достаточно похожи, чтобы сбивать пользователей с толку или конкурировать друг с другом в поиске, вам может потребоваться внести изменения:

• Если вы устанавливаете категории самостоятельно, мы рекомендуем перенести контент из одной категории в другую и уменьшить общее количество категорий, которые у вас есть.
• Если вы разрешаете пользователям разворачивать категории, вы можете не индексировать созданные пользователями страницы категорий, по крайней мере, до тех пор, пока новые категории не пройдут процесс проверки.

Как запретить Google индексировать поддомены?

Есть несколько способов запретить Google индексировать поддомены:

• Вы можете добавить пароль с помощью файла . htpasswd
• Вы можете запретить поисковые роботы с помощью файла robots.txt
• Вы можете добавить директиву noindex на каждую страницу субдомена
• Вы можете 404 все страницы поддоменов

Если ваши поддомены предназначены для целей разработки, то идеальным вариантом будет добавление файла .htpasswd в корневой каталог вашего поддомена. Стена входа не позволит поисковым роботам индексировать контент на субдомене, и предотвратит несанкционированный доступ пользователей.

Примеры использования:

• Dev.domain.com
• Staging.domain.com
• Testing.domain.com
• QA.domain.com
• UAT.domain.com

Использование robots.txt для блокировки индексации

Если ваши субдомены служат другим целям, вы можете добавить файл robots.txt в корневой каталог вашего субдомена. Затем он должен быть доступен следующим образом:

https://subdomain. domain.com/robots.txt

Вам нужно будет добавить файл robots.txt к каждому поддомену, который вы пытаетесь заблокировать от поиска. Пример:

https://help.domain.com/robots.txt

https://public.domain.com/robots.txt

В каждом случае файл robots.txt должен запрещать поисковые роботы, чтобы заблокировать большинство сканеров одной командой, используйте следующий код:

User-agent: *

Disallow: /

Звезда * после user-agent: называется подстановочным знаком, он будет соответствовать любой последовательности символов. Использование подстановочного знака отправит следующую директиву disallow всем пользовательским агентам, независимо от их имени, от googlebot до yandex.

Обратная косая черта сообщает сканеру, что все страницы вне поддомена включены в директиву disallow.

Как выборочно заблокировать индексирование страниц поддоменов

Если вы хотите, чтобы некоторые страницы из поддомена отображались в поиске, но не отображались другие, у вас есть два варианта:

• Использовать директивы noindex на уровне страницы
• Использовать директивы запрета на уровне папки или каталога

Директивы noindex уровня страницы будут более громоздкими для реализации, поскольку директиву необходимо добавлять в HTML или заголовок каждой страницы. Однако директивы noindex не позволят Google индексировать поддомен независимо от того, был ли он уже проиндексирован или нет.

Директивы запрета на уровне каталога реализовать проще, но они будут работать только в том случае, если страницы поддоменов еще не включены в поисковый индекс. Просто обновите файл robots.txt поддомена, чтобы запретить сканирование соответствующих каталогов или подпапок.

Бесплатное предложение SEO при планировании с помощью LinkGraph

Заказать звонок

Как узнать, не проиндексированы ли мои страницы?

Случайное добавление страниц без индекса на ваш сайт может иметь серьезные последствия для вашего поискового рейтинга и видимости в поиске.

Если вы обнаружите, что страница не получает органического трафика, несмотря на хороший контент и обратные ссылки, сначала проверьте, не запретили ли вы случайно сканерам доступ к файлу robots.txt. Если это не решит вашу проблему, вам нужно проверить отдельные страницы на наличие директив noindex.

Проверка NoIndex на страницах WordPress

WordPress упрощает добавление или удаление этого тега на ваших страницах. Первым шагом в проверке наличия nofollow на ваших страницах является простое переключение параметра Search Engine Visibility на вкладке «Чтение» в меню «Настройки».

Это, вероятно, решит проблему, однако этот параметр работает как «предложение», а не как правило, и часть вашего контента все равно может быть проиндексирована.

Чтобы обеспечить абсолютную конфиденциальность ваших файлов и контента, вам нужно будет сделать последний шаг: либо защитить свой сайт паролем с помощью инструментов управления cPanel, если они доступны, либо с помощью простого плагина.

Точно так же удалить этот тег из вашего контента можно, удалив защиту паролем и сняв флажок в настройках видимости.

Проверка наличия NoIndex в Squarespace

Страницы Squarespace также легко обрабатываются NoIndex с помощью платформы Code Injection. Как и WordPress, Squarespace можно легко заблокировать от рутинных поисков с помощью защиты паролем, однако платформа также не рекомендует делать этот шаг, чтобы защитить целостность вашего контента.

Добавляя строку кода NoIndex на каждую страницу, которую вы хотите скрыть от поисковых систем в Интернете, и на каждую подстраницу под ней, вы можете обеспечить безопасность защищенного контента, доступ к которому должен быть закрыт. Как и на других платформах, удаление этого тега также довольно просто: просто используйте функцию «Внедрение кода», чтобы вернуть код, — это все, что вам нужно сделать.

Squarespace уникален тем, что его конкуренты предлагают эту опцию в первую очередь как часть набора настроек в инструментах управления страницами. Squarespace уходит отсюда, позволяя лично манипулировать кодом. Это интересно, потому что вы можете видеть изменения, которые вы вносите в контент своей страницы, в отличие от других в этом пространстве.

Проверка наличия NoIndex на Wix

Wix также позволяет быстро и просто решить проблемы NoIndexing. В настройках «Меню и страницы» вы можете просто деактивировать опцию «показывать эту страницу в результатах поиска», если вы хотите не индексировать одну страницу на вашем сайте.

Как и его конкуренты, Wix также предлагает пароль для защиты ваших страниц или всего сайта для дополнительной конфиденциальности. Однако Wix отличается от других тем, что служба поддержки не предписывает параллельные действия на обоих фронтах, чтобы обезопасить контент от сканера. Wix особо отмечает разницу между скрытием страницы в вашем меню и ее скрытием в критериях поиска.

Это особенно полезный совет для менее опытных создателей веб-сайтов, которые могут изначально не понимать разницы, учитывая, что удаление из меню вашего сайта делает страницу недоступной с сайта, но не из благоразумного поискового запроса Google.

Как добавить ссылки nofollow в WordPress (Руководство для начинающих)

Вам интересно, как добавить ссылки nofollow в WordPress?

Возможно, вы слышали о ссылках nofollow, но не знаете, что это такое и зачем их использовать.

В этой статье мы покажем вам, как легко добавлять ссылки nofollow в WordPress. Мы также расскажем, что такое ссылки nofollow и почему они важны.

Вот краткий обзор того, что мы рассмотрим в этой статье. Просто нажмите на эти быстрые ссылки, чтобы сразу перейти к различным разделам.

• Что такое ссылка Nofollow?
• Как проверить, является ли ссылка Nofollow
• Когда следует добавлять ссылки Nofollow?
• Как добавить ссылки nofollow в WordPress, используя все в одном SEO (просто)
• Как вручную добавить ссылки Nofollow в редакторе блоков WordPress (Gutenberg)
• Как вручную добавить ссылки Nofollow в редакторе WordPress Classic
• Как вручную добавить множество ссылок Nofollow в WordPress
• Как добавить ссылки Nofollow в WordPress Меню
• Как автоматически сделать все внешние ссылки Nofollow

Что такое ссылка Nofollow?

Ссылка nofollow — это тип ссылки, которая сообщает поисковым системам, что они не должны передавать какие-либо полномочия по ссылке с вашей страницы на другой веб-сайт, на который вы ссылаетесь. Вы можете превратить любую ссылку в ссылку nofollow, добавив атрибут ссылки отн = "nofollow" .

Ссылки или обратные ссылки являются важным фактором ранжирования в поисковых системах.

Когда вы ссылаетесь на внешний веб-сайт, поисковые системы рассматривают это как сигнал ранжирования и передают небольшую часть вашего авторитета (ссылочный вес) другому веб-сайту.

Некоторые эксперты по SEO считают, что размещение внешних ссылок nofollow может повысить рейтинг вашего собственного сайта WordPress. Однако это не доказано.

Несколько лет назад Google объявил, что их поисковый алгоритм теперь использует nofollow в качестве подсказки, а не директивы для сканирования и индексации.

Как проверить, является ли ссылка nofollow

Все ссылки nofollow содержат атрибут rel="nofollow" HTML.

Вот HTML-код примера ссылки nofollow: