Попросить поисковые системы не индексировать сайт что это значит: Почему не индексируется ваш сайт в поисковых системах? | Дропшиппинг

Содержание

Почему не индексируется ваш сайт в поисковых системах?

Сайт не добавлен в Яндекс Вебмастер и Google Search Console

Начнем с Google

Поисковый система Google, а конкретно различные роботы Google, сканируют более миллиарда документов помимо вашего сайта и есть вероятность что ваш сайт не попадет в индекс. Поэтому добавить сайт в Google Search Console стоит воспринимать как данность и просто необходимо это сделать.

Чтобы подтвердить права на Google Search Console нужно разместить код Search Console у себя на сайте.

После подтверждения переходим на вкладку “Посмотреть как Googlebot” далее добавляете страницы и нажимаете “Запросить индексирование”. Справа появится дата, когда документ был отправлен на индексирование, а слева статус, если он уже проиндексирован, то появится статус “Готово”.

Как правило в Google страницы индексируются чаще любой другой поисковой системы, поэтому долго ждать не придется за 1 неделю документы появятся в выдаче.

Индексация в поисковой системе Яндекс проходит гораздо реже, вероятность того, что сайт проиндексируется без добавления в Вебмастер очень мала.

Поэтому ниже скидываю гайд о том как добавить сайт в Яндекс Вебмастер:

Полное руководство по Яндекс Вебмастер

Сайт закрыт от индексации в robots.txt

Это самая частая проблема, почему ваш сайт до сих пор не проиндексирован.

Наличие файла robots.txt считается ключевым требованием при SEO-оптимизации абсолютно любого сайта. Отсутствие его может негативно сказаться на нагрузку со стороны роботов и медленной индексации, и даже более того сайт полностью не будет проиндексирован. Соответственно пользователи не смогут перейти на страницы через Яндекс и Google.

Бывает и такое, что при разработке сайта все страницы закрывают от индексации, дабы в выдачу не попала тестовая информация, которая никак не относится к компании.

Выглядит в robots.txt это так:
Disallow: /

Эта фраза означает, что сайт закрыт от индексации.

Чтобы закрыть индексацию от поисковой системы Google, но открыть для Яндекса (закрыв например раздел админки) необходимо прописать:

User-agent: Googlebot

Disallow: /

User-agent: Yandex

Disallow: /admin/

Host: site.ru

Директива Host необходима, чтобы поисковые системы правильно определяли зеркало сайта.

Чтобы перейти к файлу robots.txt необходимо ввести в адресной строке браузера:

site.ru/robots.txt — где сайт это название вашего сайта

На скриншоте пример нашего файла robots.txt

Кстати, если хотите более подробнее ознакомитБся с роботсом, читайте статью

Как правильно прописать robots.txt

Сайт закрыт от индексации через meta name robots

Тег meta name robots прописывается на нескольких страницах и не может быть применен ко всему сайту, для этих целей есть robots.txt

Данная строка говорит поисковой системе не индексировать сайт

<meta name=”robots” content=”noindex,follow” />

Если вы нашли подобную строку на страницах своего сайта, попросите программиста или удалите тег, который располагается в шапке <head>.

Попросить поисковые системы не индексировать сайт

По факту это тот же meta name robots noindex, nofollow, но применим ко всему сайту. Он уже встроен в настройки в CMS.

Например:

Чтобы убрать эту настройку в CMS WordPress необходимо зайти в Настройки — Чтение и убрать галочку с блока Видимость для поисковых систем.

На сайт наложены санкции со стороны поисковых систем

Страницы сайта могут не индексировать и по другим причинам. К примеру, сайт содержит множество дублей.

Посмотреть какие страницы являются дублями, вы можете через Яндекс Вебмастер. Для этого необходимо выбрать сайт, далее Индексирование — Страницы в поиске и нажать на таб Исключенные страницы. Далее через столбец статус отфильтровать по названию — Дубль.

Выводятся дубли вашего сайта. Проблема может возникает из за некорректности CMS сайта. Например, большое количество дублей встречается в Joomla и OpenCart. Всё решается через установку плагина или доработкой сайта со стороны программиста.

Так же ваш сайт мог попасть под фильтр АГС — поисковая система Яндекс посчитала, что ваш сайт не несет никакой пользы посетителям и исключила большую часть страниц из индекса.

Безусловно, необходимо сначала написать в поддержку Яндекс Вебмастера и разобраться в причине не индексирования сайта.

То же самое имеется и у Google, более известный под именем Google Panda. Смысл алгоритма практически такой же, ведь поисковики стремятся показать в выдаче только качественные сайты.

Более подробнее про поисковые системы читайте в статье:

Поисковые системы — список популярных систем в России
Заключение:

Важная задача при индексации сайта — проявление внимательности, от этого будет зависеть и дальнейшее продвижение вашего сайта. Желаю успехов в продвижении сайтов, если у вас остались вопросы задавайте их в комментариях.

Как запретить поисковым системам индексировать сайт на WordPress

Недавно один из наших пользователей спросил, как можно запретить поисковым системам обходить сайт на WordPress и индексировать его. Существует множество ситуаций, когда необходимо закрыть сайт от индексации и появления его в результатах выдачи. В сегодняшней статье мы покажем вам как запретить поисковым системам индексировать сайт на WordPress.

Зачем и кому может понадобиться запрещать поисковые системы на сайте

Для большинства сайтов, поисковые системы являются основным источником трафика. Поэтому возникает вопрос, кто может захотеть блокировать поисковых роботов?

Верите или нет, существует множество пользователей, которые работают над своими сайтами, размещая их на публично доступном домене вместо того, чтобы тестировать его на локальном сервере.

Некоторые люди создают сайты по управлению проектами на WordPress. Также многие используют WordPress для создания личных блогов. Во всех этих ситуациях как раз и понадобится закрыть сайт от индексации поисковыми системами, чтобы вас не нашли раньше, чем вы этого захотите.

Распространенным является заблуждение, что если вы не будете размещать ссылки на свой домен, то поисковые системы никогда не найдут ваш сайт. Это не совсем правда.

Существует множество способов, когда поисковые системы смогут найти сайт, даже если вы нигде его не «засветили». Например:

Ваш домен мог ранее принадлежать кому-то другому и, соответственно, существуют ссылки на домен, размещенные предыдущим владельцем.
Некоторые результаты поиска домена могут проиндексоироваться с сохранением ссылки на ваш ресурс.
Существуют буквально тысячи страниц со списками имен доменов, и ваш сайт может оказаться среди них.

Множество вещей происходят в сети и ни одна из них не подконтрольна вам. Однако, ваш сайт — в вашей власти, и вы можете заставить поисковые системы не индексировать свой сайт.

Блокируем обход и индексацию своего сайта от поисковых систем

В WordPress есть встроенная функция, которая позволяет вам сообщить поисковым системам о том, что не нужно индексировать ваш сайт. Все, что вам нужно сделать, это перейти в Настройки » Чтение и отметить галочку рядом с «Попросить поисковые системы не индексировать сайт».

Когда галочка отмечена, WordPress добавляет следующую строку в хидер сайта:


<meta name='robots' content='noindex,follow' />

Также WordPress изменяет ваш файл robots.txt и добавляет в него:


User-agent: *
Disallow: /

Эти строки «попросят» робота поисковых систем не индексировать ваши страницы. Однако, тут уже будут решать поисковики, реагировать на эти инструкции или нет. Даже не смотря на то, что эти инструкции воспринимаются, некоторые страницы или случайная картинка может быть проиндексирована.

Как убедиться в том, что ваш сайт не появится в выдаче?

Наиболее эффективным способом заблокировать поисковики — защитить паролем весь сайт на WordPress на уровне сервера. Это означает, что любой, кто попробует получить доступ к сайту, увидит запрос имени пользователя и пароля еще до того, как они увидят сам сайт. К поисковикам это тоже относится. Если вход не удастся, отобразится ошибка 401 и робот уйдет. Защитить весь сайт паролем можно следующим образом.

Защищаем весь сайт паролем с помощью cPanel

Если ваш хостер предлагает cPanel для управления хостингом, то можно воспользоваться панелью для защиты сайта. Просто логинимся в cPanel и кликаем на меню «password protect directories».

Выскочит всплывающее окно, где нужно будет выбрать корневую директорию.

На следующей странице выберите папку, в которой установлен ваш WordPress. Обычно это либо public_html, либо www. После этого отметьте галочку ‘Password protect this directory’. Далее, укажите название для защищенной директории и сохраните изменения.

Далее, вы увидите сообщение о том, что все прошло успешно и ссылку для возврата. Нажмите на эту ссылку, и вы попадете на страницу защиты паролем. Теперь вам нужно указать имя пользователя и пароль, который будет нужен для просмотра вашего сайта.

Вот и все, ваш сайт теперь защищен паролем, и никто, включая поисковые системы, не сможет получить доступ к вашему сайту.

У нас также есть статья о том, как защитить паролем ваш сайт WordPress. Однако, в той статье вам нужно будет использовать плагин. В случае же, если вам придется отключить этот плагин, то сайт станет доступен для поисковиков.

Мы надеемся, что эта статья помогла вам запретить поисковым системам индексировать сайт на WordPress.

Если вы только начинаете разбираться с WordPress, то не забудьте посетить нашу рубрику WordPress для новичков, где мы публикуем материалы специально для новых пользователей WordPress.

По всем вопросам и отзывам просьба писать в комментарии ниже.

Не забывайте, по возможности, оценивать понравившиеся записи количеством звездочек на ваше усмотрение.

VN:F [1.9.22_1171]

Rating: 5.0/5 (4 votes cast)

Закрыть сайт от индексации на WordPress: плагины и способы

Если вы заглядывали в серверную часть WordPress, то заметили настройку: «Попросить поисковые системы не индексировать сайт», и задались вопросом, что это означает. А может быть ищете способ скрыть свой сайт от нежелательных посетителей и задаетесь вопросом, достаточно ли этого маленького флажка, чтобы контент оставался конфиденциальным.

Что означает эта опция и что именно она делает с сайтом? И почему не следует полагаться на нее, если вы пытаетесь скрыть свой контент?

Ответы на эти вопросы и несколько способов закрыть сайт от индексации и блокировки доступа к определенным страницам будут рассмотрены ниже.

Как понимать «Попросить поисковые системы не индексировать сайт»

Вы задумывались, как поисковые системы индексируют сайт и оценивают его SEO? Они делают это с помощью автоматизированной программы, называемой пауком, также известной как робот или краулер. Пауки «ползают» по сети, посещая веб-сайты и регистрируя их контент. Google использует их, чтобы ранжировать и размещать веб-сайты в результатах поиска, извлекать фрагменты текста из статей для страницы результатов поиска и вставлять изображения в Картинки Google.

Когда устанавливается флажок «Попросить поисковые системы не индексировать сайт», WordPress изменяет файл robots.txt (файл, дающий паукам инструкции о том, как сканировать сайт). А еще может добавить метатег в заголовок сайта, который сообщает Google и другим поисковым системам, что сайт или какой-либо контент закрыт от индексации.

Ключевое слово здесь – «попросить»: поисковые системы не обязаны выполнять этот запрос, особенно поисковые системы, не использующие стандартный синтаксис robots.txt, который использует Google.

Сканеры по-прежнему смогут найти ваш сайт. Но правильно настроенные сканеры прочитают файл robots.txt и уйдут, не индексируя контент и не показывая его в результатах поиска.

В прошлом эта опция в WordPress не мешала Google показывать веб-сайт в результатах поиска, просто индексируя его контент. Вы по-прежнему можете видеть, что ваши страницы отображаются в результатах поиска с ошибкой типа «Информация для этой страницы недоступна» или «Описание этого результата недоступно из-за файла robots.txt сайта».

Хотя Google не индексировал страницу, он также и не скрывал ее полностью. Эта аномалия привела к тому, что люди могли посещать страницы, которые им не предназначались. Благодаря WordPress 5.3 теперь он работает правильно, блокируя как индексацию, так и листинг сайта.

Представляете, как это разрушит SEO сайта, если случайно будет включен этот флажок? Критически важно использовать эту опцию только в том случае, если вы действительно не хотите, чтобы кто-либо видел контент – и даже в этом случае это не единственная мера, которую нужно предпринять.

Почему иногда нужно закрыть сайт от индексации

Веб-сайты созданы для того, чтобы их видели люди: чтобы пользователи читали статьи, покупали продукты, потребляли контент. Зачем намеренно пытаться блокировать поисковые системы?

Есть несколько причин, по которым нужно скрыть часть или весь свой сайт:

Сайт находится в разработке и не готов к публикации.
Используете WordPress в качестве системы управления контентом, но хотите, чтобы указанный контент оставался конфиденциальным.
Пытаетесь скрыть конфиденциальную информацию.
Хотите, чтобы сайт был доступен только небольшому количеству людей по ссылке или только через приглашения, а не через общедоступные страницы поиска.
Планируете разместить некоторый контент для платного доступа (например, статьи, эксклюзивные предложения, информационные бюллетени).
Хотите сократить трафик к старым, устаревшим статьям.
Стараетесь предотвратить получение штрафов SEO на тестовых страницах или дублировании контента.

Для некоторых из этих пунктов есть лучшие решения – использование надлежащего автономного сервера разработки, установка приватности статей или размещение их под паролем. Но есть законные причины, по которым необходимо закрыть часть или весь свой сайт от индексации.

Как проверить, не отпугивает ли ваш сайт поисковые системы

Хотя могут быть законные причины для закрытия сайта от индексации, может быть ужасным шоком понимание, что вы включили этот параметр без намерения или оставили его включенным случайно. Если трафик с сайта нулевой, то есть подозрение, что сайт не индексируется. Как подтвердить это предположение?

Один из простых способов – установить флажок «На виду» на главном экране панели администратора. Если видите сообщение «Поисковые системы не одобряют» (Search Engines Discouraged), значит, эта настройка активирована.

Еще более надежный способ – проверить файл robots.txt. Это можно легко проверить в браузере, даже не заходя на сайт.

Чтобы проверить robots.txt, добавьте/robots.txtв конец URL вашего сайта. Например:https://namesite.com/robots.txt

Если видите, Disallow: /значит, весь сайт заблокирован для индексации.

Если видите, что Disallow:за ним следует URL-путь, например Disallow: /wp-admin/, это означает, что любой URL-адрес с /wp-admin/путем заблокирован. Такая структура является нормальной для некоторых страниц, но если, например, она блокирует /blog/страницы, которые необходимо проиндексировать, это может вызвать проблемы.

Теперь, когда WordPress использует метатеги, а не robots.txt для закрытия сайта от индексации, нужно проверить свой заголовок на наличие изменений.

Войдите в свой бэкэнд и выберите «Внешний вид» > « Редактор тем». Найдите заголовок темы (header.php) и следующий код:

<meta name='robots' content='noindex,nofollow' />

Еще можете проверить functions.php на наличие noindexтега, так как через этот файл можно удаленно вставить код в заголовок.

Если найдете этот код в своих файлах темы, значит сайт не индексируется Google. Но вместо того, чтобы удалять его вручную, сначала попробуем отключить исходную настройку.

Как препятствовать индексации поисковыми системами в WordPress

Можно пропустить лишние шаги и сразу перейти к исходным настройкам, чтобы активировать или деактивировать опцию «Попросить поисковые системы не индексировать сайт» в WordPress.

Войдите в свою панель управления WordPress и перейдите в «Настройки» > «Чтение». Найдите параметр «Видимость для поисковых систем» с флажком «Попросить поисковые системы не индексировать сайт».

Если обнаружите, что он уже включен и хотите, чтобы сайт был проиндексирован, снимите флажок. Если собираетесь запретить индексирование сайта, ставьте флажок (и запишите где-нибудь заметку, напоминающую выключить его позже!).

Теперь нажмите «Сохранить изменения», и все готово. Переиндексация сайта или его удаление из результатов поиска может занять некоторое время.

Если сайт все еще закрыт от индексации, можно удалить noindexкод из файла заголовка или вручную отредактировать robots.txt, чтобы убрать флаг «Disallow».

Это достаточно просто, но по каким причинам следует избегать этого варианта или, по крайней мере, не полностью полагаться на него?

Недостатки использования опции «Попросить поисковые системы не индексировать сайт»

Это кажется простым – поставьте галочку, и никто не сможет увидеть ваш сайт. Разве этого не достаточно?

Когда включаете этот параметр или любой другой подобный ему, он просто добавляет тег в заголовок или в файл robots.txt. Как показывают более старые версии WordPress, которые по-прежнему позволяют отображать ваш сайт в результатах поиска, небольшой сбой или другая ошибка может привести к тому, что люди увидят ваши предположительно скрытые страницы.

Кроме того, поисковые системы должны выполнить запрос на запрет индексировать указанный сайт. Основные поисковые системы, такие как Google и Bing, обычно выполняют эту опцию. Но не все поисковые системы используют один и тот же синтаксис robots.txt, и не все пауки, сканирующие Интернет, рассылаются поисковыми системами.

Например, одна из служб, использующих поисковые роботы, – это Wayback Machine. А если контент проиндексирован такой службой, он навсегда останется в сети.

Можно думать, если на новом сайте нет ссылок, то он защищен от пауков, но это неправда. Существование на общем сервере, отправка электронного письма со ссылкой на веб-сайт или даже посещение сайта в браузере (особенно в Chrome) может открыть этот сайт для сканирования.

Если хотите скрыть контент, не рекомендуется просто добавлять параметр и надеяться, что он поможет. Давайте проясним: если контент, который закрыт от индексации, носит конфиденциальный или личный характер, ни в коем случае не следует полагаться на robots.txt или метатег, чтобы скрыть его.

И последнее, но не менее важное: эта опция полностью скроет сайт от поисковых систем, хотя во многих случаях нужно закрыть индексирование только определенные страницы.

Итак, что нужно делать вместо этого метода или вместе с ним?

Смотрите также:
Как исправить фатальную ошибку WordPress max_execution_time

Другие способы закрыть сайт от индексации

Хотя вариант, предоставляемый WordPress, обычно выполняет свою работу, в определенных ситуациях лучше использовать другие методы сокрытия контента. Даже сам Google говорит, что не используйте robots.txt для скрытия страниц.

Пока сайт имеет доменное имя и находится на общедоступном сервере, нет никакого способа гарантировать, что контент не будет виден или проиндексирован поисковыми роботами, если вы не удалите его или не скроете за паролем или требованием входа в систему.

Тем не менее, как лучше скрыть сайт или определенные страницы на нем?

Блокируйте поисковые системы с помощью .htaccess

Хотя его реализация функционально такая же, как при простом использовании опции «Попросить поисковые системы не индексировать сайт», вы можете вручную использовать .htaccess, чтобы закрыть индексирование сайта.

Используйте программу FTP / SFTP для доступа к сайту и открытия файла .htaccess, который обычно находится в корневой папке (первая папка, которую видно при открытии сайта) или в public_html. Добавьте этот код в файл и сохраните:

Header set X-Robots-Tag "noindex, nofollow"

Примечание. Этот метод работает только для серверов Apache. Серверы NGINX должны вместо этого кода добавить другой код в файл .conf, который можно найти в / etc / nginx / (можете найти здесь пример реализации метатега):

add_header X-Robots-Tag "noindex, nofollow";

Защита секретных страниц паролем

Если есть определенные статьи или страницы, которые поисковые системы не должны индексировать, лучший способ закрыть их – защитить сайт паролем. Таким образом, только вы и желаемые пользователи сможете видеть этот контент.

К счастью, эта функция встроена в WordPress, поэтому устанавливать какие-либо плагины не нужно. Просто перейдите на Страницы записей и нажмите на ту, которую хотите скрыть. Отредактируйте свою страницу и найдите меню справа Статус и видимость > Видимость.

Если не используете Gutenberg, процесс будет аналогичным. Найдите такое же меню в поле «Опубликовать». Измените Видимость на «Защищено паролем» и введите пароль, затем сохраните – и теперь контент скрыт от широкой публики.

Что делать, если защитить паролем весь свой сайт не нужно? А требовать пароль для каждой страницы непрактично. Можно включить защиту паролем в Сайтах > Инструменты, потребовав как имя пользователя, так и пароль.

В противном случае вы можете использовать плагин ограничения контента (например, Password Protected). Установите и активируйте его, затем перейдите в «Настройки» > «Защищено паролем» и включите «Статус защиты паролем». Это дает более тонкий контроль, позволяя занести в белый список определенные IP-адреса.

Примечание: на момент написания статьи этот плагин не обновлялся более 11 месяцев. Он может больше не поддерживаться, что может повлечь за собой проблемы совместимости с последними версиями WordPress.

Установите плагин WordPress

Когда стандартной функциональности WordPress недостаточно, хороший плагин часто может решить ваши проблемы. Например, если вы хотите не индексировать определенные страницы, а не весь сайт, у плагина Yoast есть такая опция.

В Yoast SEO вы можете открыть страницу, которую хотите скрыть, и найти опцию на вкладке «Дополнительно»: Разрешить поисковым системам показывать эту запись в результатах поиска? Измените его на Нет, и страница будет закрыта.

Должны отметить, что оба плагина полагаются на те же методы, что и вариант WordPress по умолчанию, чтобы закрыть сайт от индексации поисковыми системами, и подвержены тем же недостаткам. Некоторые поисковые системы могут не удовлетворить ваш запрос. Поэтому нужно будет использовать другие методы, если вам действительно нужно полностью скрыть этот контент.

Другое решение – заплатить за доступ к вашему контенту или скрыть его за обязательным логином. Плагины Simple Membership или Ultimate Member помогут создать бесплатный или платный контент членства.

Используйте промежуточный сайт для тестирования

При работе над тестовыми проектами или незавершенными веб-сайтами лучше всего скрывать их, используя промежуточный или разрабатываемый сайт. Эти веб-сайты являются частными, часто размещаются на локальном компьютере, к которому никто, кроме вас и других доверенных лиц не могут получить доступ.

Многие веб-хосты предоставят простые в развертывании промежуточные сайты и позволят отправить их на собственный общедоступный сервер, когда вы будете готовы.

Если у вас нет доступа к простому способу создания промежуточного сайта, плагин WP STAGING может продублировать установку и переместить ее в папку для легкого доступа.

Используйте Google Search Console для временного скрытия веб-сайтов

Консоль поиска Google – это служба, которая позволяет заявить о праве собственности на веб-сайты. Что дает возможность временно заблокировать Google от индексации определенных страниц.

У этого метода есть несколько проблем: он эксклюзивен для Google (поэтому такие сайты, как Bing, не будут затронуты) и действует всего 6 месяцев.

Но если нужен быстрый и простой способ временно удалить контент из результатов поиска Google, это способ прекрасно справится. Для этого нужно добавить сайт в Google Search Console, если его тап нет. После этого откройте «Удаление» и выберите «Временное удаление» > «Новый запрос». Затем нажмите «Удалить только этот URL-адрес» и укажите ссылку на страницу, которую хотите скрыть.

Это надежный способ блокировки контента, но, опять же, он работает исключительно для Google и длится всего 6 месяцев.

Есть много причин, по которым нужно закрыть контент на своем сайте, но использование опции «Попросить поисковые системы не индексировать сайт» – не лучший способ убедиться, что такой контент не виден. Воспользуйтесь рекомендациями, подробно предоставленными в этой статье, чтобы закрыть сайт от индексации.

Источник: kinsta.com

Смотрите также:

Изучает сайтостроение с 2008 года. Практикующий вебмастер, специализирующий на создание сайтов на WordPress. Задать вопрос Алексею можно на https://profiles.wordpress.org/wpthemeus/

как попросить поисковые системы не индексировать сайт

Индексация сайта — то, без чего невозможно SEO-продвижение. Если поисковые роботы не проиндексировали страницы вашего ресурса, то они не попали в индекс, и не отображаются пользователям в поисковой выдаче.

Почему не индексируется сайт?

Бывают ситуации, когда вебмастер ведет работу над SEO-оптимизацией сайта: активно наполняет его контентом, наращивает ссылки, а количество страниц в поисковой выдаче Google или «Яндекс» не увеличивается. Или что еще хуже — в поиске нет ни одного документа с сайта. С чем это связано? Самые распространенные причины:

«Яндекс» и Google не знает о вашем сайте

Если это новый ресурс, и вы только недавно открыли его для поисковых роботов, то, возможно, они просто его еще не нашли. Но эту проблему легко решить, выполнив несколько простых манипуляций:

Добавить сайт в «Яндекс.Вебмастер» и Google Webmasters.
Направить поисковых роботов на страницы сайта.

В «Яндекс.Вебмастер» («Индексирование» — «Переобход страниц»):

В Google Webmasters («Проверить URL» — Добавить адрес страницы — «Запросить Индексирование»):

Нужно будет немного подождать, пока робот обойдет страницы сайта. Как правило, на это уходит 1-2 часа (хотя может затянуться на несколько дней).

Сайт или страницы закрыты от индексации в файле robots.txt

Порой вебмастера, работая над сайтом, забывают открыть его для индексации. Но это легко исправить. Добавьте следующую команду в файл:

User-agent: *
Disallow:

Это означает, что ресурс открыт для всех поисковых роботов. Но не забывайте, что нужно закрыть дубли на сайте, ведь не все содержимое должно принимать участие в поиске. Поэтому уделите заполнению файла robots.txt достаточно времени.

Настройки приватности

Если сайт управляется CMS WordPress, то по умолчанию в нем выставлены настройки приватности, которые запрещают индексацию поисковыми роботами. Авторизуйтесь в админке, перейдите в «Настройки — Чтение — Видимость для поисковых систем» и снимите галочку:

Сайт закрыт от поисковых роботов в мета-тегах

Запретить индексировать содержание страниц можно и с помощью мета-тега:

<meta name=«robots» content=«no index, nofollow»>

Как решить проблему:

Посмотрите, нет ли такого тега на странице.
Удалите код или добавьте другие мета-теги follow и index.

Ошибки сканирования

Проблемы с индексацией возникают и в том случае, если робот, обращаясь к ресурсу, не может просканировать его содержимое.

Проверьте все ли в порядке:

Авторизуйтесь в Google Webmaster.
Откройте «Сканирование» — «Ошибки сканирования»:

В идеале не должно быть никаких ошибок.

Сайт закрыт от роботов в .htaccess

В этом файле содержится правило 301 редиректа. Но помимо него, может быть прописана команда не индексировать сайт.

Чтобы проверить, выполните следующее:

Найдите и откройте файл файл .htaccess на сервере.
Проанализируйте содержимое кода.

Нестабильная работа сервера или хостинга

Выбирайте стабильный хостинг с хорошей репутацией. В противном случае, если роботы будут обращаться к сайту, он будет часто недоступен, а их попытки станут все реже. Через некоторое время они и вовсе откажутся заходить к вам на сайт.

Проблемы с индексацией AJAX/JavaScript

Поисковым роботам сложнее просканировать содержимое AJAX и JavaScript, чем HTML. Если вы допустите ошибки при оптимизации, то Google и «Яндекс» не проиндексируют определенные страницы или даже весь сайт.

Дубли контента внутри сайта

За дублирование контента поисковые системы наказывают санкциями, но это тоже одна из причин плохой индексации. К дублям может относиться одинаковый контент, открывающийся на разных страницах, мета-теги или даже страницы, если они доступны под двумя адресами (с www и без; http и https). Если не исправить проблему своевременно, то она негативно скажется на дальнейшем SEO-продвижении.

Плохая скорость загрузки

При плохой скорости загрузки ресурса, он может плохо индексироваться и потерять позиции, так как этот показатель относится к факторам ранжирования. Проверить насколько быстро загружается ваш сайт можно с помощью специального инструмента — Google Page Speed:

Поработайте над улучшением скорости загрузки сайта, учитывая рекомендации инструмента.

Домен с баном

Случается, что вебмастер выбирает и регистрирует созвучное имя для сайта, наполняет ресурс и ждет, когда он проиндексируется, но ничего не происходит. После анализа домена, выясняется, что домен ранее использовался и находится в бане поисковых систем.

Исправить такую ситуацию не просто. Придется написать в тех. поддержку «Яндекс», чтобы они пересмотрели ресурс или указали причину бана (если вы ее не знаете). Заниматься ли развитием сайта на этом домене — решать вам. Ориентируйтесь на то, что ответит вам техническая поддержка. Часто бывает проще начать все на новом домене.

Отсутствует sitemap

Не самая распространенная причина плохой индексации, но не стоит ее исключать. Создайте карту сайта и не забудьте добавить ее в сервисы для вебмастеров от Google и «Яндекс»:

В «Гугл вебмастер»:

Норма индексации в «Яндекс»

В среднем поисковая система «Яндекс» сканирует и добавляет в поисковую выдачу страницы несколько раз в месяц (2-4 раза). Однако авторитетные сайты с регулярным обновлением контента индексируются быстророботом и их материалы сразу попадают в поиск.

Нормы индексации в Google

Со скоростью индексации в Google ситуация обстоит несколько иначе. На нее может уйти от 1 дня до 2-х недель. Все зависит от показателей вашего ресурса. К примеру, сайты с постоянно обновляющимся контентом (новостники или форумы с высокой активностью) довольно часто посещают роботы. В результате попадание материалов в индекс — вопрос нескольких часов или дней.

Индексация среднестатистических сайтов с еженедельным обновлением контента осуществляется примерно за 2-4 дня. Новые сайты, которые только создали, могут в течение нескольких недель не попадать в индекс.

Если робот получает регулярные сигналы про обновление контента, он будет чаще заходить на такие сайты. Так, вы сможете увеличить скорость индексации новых материалов и получить дополнительный трафик.
Малополезные страницы для пользователей плохо индексируются и часто выпадают из индекса.

Как попросить поисковые системы временно не индексировать

Закрыть сайт от индексации можно несколькими способами:

Специальные мета-теги robots noindex, nofollow. Используют, если нужно закрыть от индексации определенное содержимое на странице.
Командой в файле robots.txt:

User-agent: *
Disallow: /

Если ваш сайт построен на движке WordPress, то достаточно зайти в «Настройки — Чтение» и отключить галочку напротив «Видимость для поисковых систем»:

Выводы

Если сайт долго не индексируется Google или «Яндексом», значит, на это есть определенные причины. Ваша задача — обнаружить и исправить проблему. Через некоторое время после проделанных работ, проверьте «зашли» ли ваши страницы в индекс.

Если вы сделали все правильно, то результат не заставит себя долго ждать. В противном случае, можете написать в техподдержку поисковой системы, чтобы специалисты указали на причину плохой индексации.

А как вы работаете над улучшением скорости индексации сайта? Поделитесь опытом в комментариях.

Продвижение сайтов на WordPress — Руководство 2021

В этой статье я предоставлю эффективные советы, которые способны повысить видимость в ПС вашего сайта на WordPress.

Используя эти советы, вы можете заметно увеличить трафик на вашем сайте.

Вам не обязательно быть человеком в теме, чтобы использовать нижеприведенные методы. Если вы уже знакомы с WordPress, у вас есть все, что нужно!

1. Хостинг для сайта

Обеспечьте быстрый доступ к вашему сайту, поскольку скорость является очень важным фактором ранжирования для Google. Если ваш сайт не загружается быстро (даже тяжелые страницы должны загружаться менее чем за 1,5 секунды), вы можете связаться со своим хостом и спросить их, почему ваш сайт медленно работает, но скорее всего их серверы просто дерьмо.

Выбирая хостинг, убедитесь, что вы не делаете те же распространенные ошибки, что и большинство новичков. Не выбирайте хост, основываясь на рекомендациях серых сайтов «топ-10 хостинг компаний». На самом деле, это список хостов, которые платят реферальную комиссию.

Я использую хостинг https://ukraine.com.ua/, в котором есть ну очень много настроек для ускорения загрузки вашего сайта.

Просто посмотрите на результаты теста — https://developers.google.com/speed/pagespeed/insights/?hl=ru&url=https%3A%2F%2Fpolitay.pro%2F

Настройка видимости сайта

Создавая новый сайт, вы можете использовать функцию «Попросить поисковые системы не индексировать сайт» WordPress до тех пор, пока вы не закончите работу над сайтом, прежде чем его запустить. Когда эта опция включена, она запрещает поисковым системам (ботам) сканировать ваши страницы (с помощью robots.txt).

WordPress также включает теги rel=»noindex» и rel=»nofollow» на страницах вашего сайта, чтобы они не индексировались поисковыми системами. Это полезно, потому что большинство владельцев, удаляют сообщение «Hello World» и настраивают структуру постоянных ссылок, что в противном случае привело бы к появлению 40% 404 страниц в Инструментах Google для веб-мастеров.

Для использования этой функции просто войдите в админку своего сайта и перейдите на страницу Настройки >> Чтение.

3. Постоянные ссылки

По умолчанию WordPress использует p=[id] для постов. Это не ЧПУ и не подходит для SEO, и вы потеряете возможность использовать несколько важных ключевых слов в url адресе.

Я использую формат «Название записи». Что бы установить его себе на сайт, перейдите в Настройки — Постоянные ссылки.

Важно! Если ваш веб-сайт работает более 6 месяцев, то, пожалуйста, не изменяйте свою структуру постоянных ссылок. Вы рискуете потерять существующий рейтинг SEO. Доверьте эту задачу профессионалу.

4. WWW редирект

Если вы только начинаете работу с вашим сайтом, вам нужно выбрать, хотите ли вы использовать www (http://www.example.com) или не использовать его (http://example.com) в URL вашего сайта.

Поисковые системы считают, что это два разных сайта, вам нужно выбрать один.

Вы можете настроить свое предпочтение, посетив страницу Настройки >> Общее. Добавьте предпочтительный URL-адрес в поля «Адрес WordPress» и «Адрес сайта».

С точки зрения SEO нет никакого преимущества использовать тот или иной вариант.

5. Плагин sitemap.xml

Установка плагина Sitemap.xml важна для всех сайтов. Предоставление поисковым системам, ко всем страницам вашего сайта в файле sitemap, предпочтительно в формате .xml, помогает быстрее индексировать содержимое вашего сайта.

Хорошим плагином для WordPress для автоматического создания и обновления файлов Sitemap является Google XML Sitemaps.
Дальше мы рассмотрим плагин Yoast SEO, который так же умеет автоматически создавать для вас карту XML.

6. Плагин для SEO

Установка плагина для SEO является обязательным, потому что он может автоматически заботиться о многих аспектах SEO вашего сайта. Как только вы установите его, вы должны включить тег rel=»canonical». Это помогает поисковым системам определять канонические URL-адреса контента. Таким образом, это помогает устранить дубли страниц на сайтах WordPress.
Я на своем блоге использую для этого Yoast SEO.

Он предоставляет широкий спектр опций, связанных с канонизацией ссылок, названиями страниц, метаописанием, оптимизацией ключевых слов, и еще много чего. Так много вариантов под капотом заставляют меня советовать вам этот плагин.

7. Nofollow

Гиперссылка с атрибутом rel=»nofollow» на странице означает, что страница сообщает ботам поисковых систем не переходить по ссылке и не гарантирует надежность данной страницы. Кроме того, добавление атрибута rel=»nofollow» в ссылку гарантирует, что она не получит PageRank со страницы, на которой была размещена.
Google сообщает, что веб-мастера устанавливают несвязанные ссылки как nofollow. Это включает в себя платные рекламные объявления на сайтах со ссылками на сайты рекламодателей. Это значит, что вы не должны ссылаться на сайты, которые либо не связаны с вашим сайтом, либо бесполезны для поисковых систем. Вы можете почитать, что Google говорит об этом.

8. Используйте кеширующий плагин, чтобы ускорить ваш сайт

Плагин кеширования является обязательным для любого сайта WordPress.
Кэширование делает две полезные вещи:

Во-первых, они делают ваш сайт быстрее.
Во-вторых, они уменьшают нагрузку на ваш веб-сервер.

Большинство кэширующих плагинов кэшируют статический и динамический контент, чтобы уменьшить время загрузки страницы. Одним из таких замечательных плагинов для WordPress является W3 Total Cache.
Альтернативой может послужить WP Super Cache, который генерирует и обслуживает статические страницы для ускорения работы сайтов WordPress.
Целью снижения времени загрузки веб-страниц является улучшение поведенческих факторов.
Если вы сделаете свой сайт быстрее, естественно, это будет хорошо с точки зрения SEO.

9. Оптимизируйте изображения на своем сайте

Оптимизация изображений путем сжатия и изменения размеров может значительно уменьшить их размеры, тем самым повысить производительность загрузки страниц на вашем сайте.
Вы можете использовать инструменты для изменения размера и сжатия изображений онлайн.
Я использую сервис — https://imagecompressor.com/ru/.

Убедитесь, что изображения, которые вы загружаете в WordPress, уже оптимизированы, но даже если у вас еще нет оптимизированных изображений для загрузки, вы можете использовать плагин, например Smush.it, для оптимизации и уменьшения размеров загружаемых изображений автоматически.
Вы также можете добавить теги alt=»» и title=»» к изображениям в своих постах, чтобы помочь им лучше ранжироваться в поиске.

10. Измените заголовки

Заголовки постов по-прежнему оказывают значительное влияние на SERP, поэтому приятный информативный заголовок, содержащий все необходимые ключевые слова, будет преимуществом, если ваша цель состоит в том, чтобы повысить рейтинг страницы в результатах поиска.
Используйте низкоконкурентные ключевые слова в свой заголовок, чтобы получить больше шансов занять высокое место в результатах поиска.
Но вам нужно убедиться, что люди на самом деле ищут их. Вы можете использовать Планировщик ключевых слов Google Ads, чтобы проверить статистику глобального и локального поиска и уровни конкуренции по ключевым словам и фразам.

11. Мета теги

Некоторые традиционные методы SEO все еще работают. Я говорю о SEO on page. Если вы используете плагин SEO, такой как «Yoast SEO», вы можете устанавливать собственные тайтлы и мета-описания для своих страниц для поисковых систем.

Ручное написание мета тегов с использованием ключевых фраз по-прежнему работает. Пока еще работает.

Тем не менее, современные поисковые системы, такие как Google, автоматически генерируют описания в зависимости от ключевых слов поиска (в некоторых случаях).

12. Оптимизируйте свою тему

Это важно, если вы используете не очень популярную бесплатную тему.
Но даже платные, которые стоят более ста долларов, могут иметь сложный код, что плохо для производительности сайта и SEO.
Тема с высокой функциональностью, которая делает больше запросов к серверу при загрузке страницы, не подходит для сайта, который не нуждается в таком уровне функциональности.
Если вам нравится ваша тема, за исключением нескольких областей, вы можете исправить ее в соответствии с вашими требованиями или попросить сделать это разработчика.

13. Адаптивный дизайн

Google дает преимущество адаптивным сайтам при поиске с мобильных устройств. Адаптивные темы приводят к улучшению поведенческих факторов.
Я предпочитаю адаптивные сайты, потому что я получаю практически одинаковый макет сайта и привыкаю к нему на всех моих устройствах.
Темы WordPress по умолчанию, такие как Twenty Eleven, Twenty Twelve и другие — это гибкие проекты, которые обеспечивают отличную основу для пользовательских тем.

14. Настройте robots.txt

Если вы не хотите, чтобы Googlebot сканировал и индексировал определенные разделы или страницы вашего сайта, вы можете заблокировать их прямо из файла robots.txt.
С плагином WP Robots Txt для WordPress вам даже не нужно иметь фактический файл robots.txt, который присутствует в установочном каталоге WordPress.
Плагин автоматически создаст виртуальный файл robots.txt для вашего сайта, который работает так же хорошо, как и реальный, вы можете редактировать его в любое время из меню Настройки >> Чтение.

15. Используйте наиболее важные ключевые слова в первых 100 символов

Основные ключевые слова должны быть в первом абзаце текста. Используйте именно точное вхождение не разбавляя его водой.

16. Исправьте 404 ссылки

Если на вашем сайте обнаружено слишком много 404 ссылок, он может быть оштрафован поисковыми системами, которые могут подумать, что это заброшенный сайт.
Вы можете использовать плагин Broken Link Checker для обработки битых внутренних и внешних ссылок. Этот плагин может отмечать 404 ссылки как «nofollow» автоматически, чтобы поисковые системы не получали негативного впечатления о вашем сайте.
Так же для поиска битых ссылок можно использовать один из самых мощных SEO инструментов — Screaming Frog SEO Spider.

17. Ограничьте длину URL

Прежде всего, очень длинные URL-адреса сложнее запоминать, так что это может повлиять на количество прямых посетителей.
Длинные URL-адреса выглядят плохо и создают плохое «первое впечатление» среди ваших потенциальных читателей.
Были разговоры о том, что Google и другие поисковые системы не любят слишком длинные URL-адреса.
Вместо этого они предпочитают краткие URL-адреса.
Кроме того, очень длинные URL не отображаются полностью в SERP.

18. Улучшите свой контент

В течение последних нескольких лет Google уделяет особое внимание качеству контента.
Обновления алгоритмов, такие как Google Panda и Google Penguin, сильно ударили по низкокачественному контенту. Люди не могут использовать стратегию «пиши статью, лей ссылки», которую они успешно использовали в 2004 году.
Лучший способ произвести впечатление на Google — это создать уникальный, продуманный контент, который понравится вашим читателям.

Рассчитывайте на трафик из поисковых систем, только когда у вас действительно есть отличный контент на вашем сайте.

Google использует различные методы, чтобы определить, нравится ли пользователям контент на вашем сайте или нет. К ним относятся социальные сигналы, активность пользователя на сайте, показатель отказов страницы и т.д.
Поэтому, даже если вам удастся продвинуть не очень полезную страницу вашего сайта с большим количеством ключевых слов, убедитесь, что ваши другие страницы не просели в результате плохих поведенческих факторов.

19. Используйте SSL/HTTPS

SSL (Secure Sockets Layer) — это технология, которая шифрует соединение между браузером пользователя и сервером, к которому они подключаются. Это добавляет дополнительный уровень безопасности на ваш сайт WordPress.

Веб-сайты, защищенные SSL, отмечены знаком блокировки в адресной строке браузера. Это делает ваш сайт более надежным, и это необходимо, если вы делаете интернет-магазин на WordPress и обрабатываете конфиденциальную информацию о платежах.

20. Добавьте свой сайт в Google Search Console

Google Search Console, также известный как Инструменты для веб-мастеров, представляет собой набор инструментов, предлагаемых Google, чтобы дать владельцам веб-сайтов возможность посмотреть, как их содержимое просматривается поисковой системой.

Он предоставляет отчеты и данные, которые помогут вам понять, как ваши страницы отображаются в результатах поиска.

Вы также можете увидеть фактические условия поиска, которые люди используют, чтобы найти ваш сайт, как каждая страница отображается в результатах поиска, и как часто переходят на ваши страницы.

Вся эта информация поможет вам понять, что работает на вашем сайте, а что нет. Затем вы можете спланировать свою контент стратегию.

Google Search Console также предупреждает вас о том, что с вашим сайтом что-то не так, например если поисковые боты не могут получить к нему доступ, найти дубликат контента и т.д.

Заключение

Потратьте некоторое время, переоцените свой сайт WordPress после того, как вы внедрили некоторые из этих методов. Проверьте, что на вашем сайте хорошо, а что нет.

В идеале вы должны увидеть значительный рост органического трафика вашего сайта.

Если у вас возникли трудности с пониманием или выполнением любого из вышеуказанных методов, вы можете оставить комментарий ниже.

Какие еще советы по SEO вы рекомендуете пользователям WordPress?

Почему не индексируется сайт — 12 самых популярных причин

После того, как работы над созданием сайта завершены. Странички содержат уникальные сведения, оригинальный фотоконтент и видеоматериалы, навигация понятная, а дизайн не мешает пользователям, разработчику остается только презентовать ресурс читателям. Но перед тем, как это произойдет, портал нужно показать поисковым ресурсам. Знакомство сайта с поисковиками называется индексацией.

Она подразумевает, что поисковая система не только знает о существовании определенного ресурса, но и занесла содержимое страниц в свою базу данных. Проведение индексации дает гарантию в получении информации с сайта поисковыми системами, но не дает никаких гарантий, что эти сведения отобразятся в поиске. Выдача будет формироваться из баз данных поисковика, включая все проиндексированные ресурсы. Если сайт не индексируется, его не смогут увидеть пользователи.

Существует несколько причин, почему не индексируются страницы сайта в Яндекс-поиске или Google.

Поисковые системы не успели проиндексировать сайт

Такое может случиться с сайтом-новичком. Яндекс и Google периодически запускают в выдачу новые сайты для идентификации их пользователями. Если ресурс понравится зрителям, он продолжит появляться в выдаче. Если нет, расти придется долго.

Чтобы использовать все возможности поисковиков, нужно добавить ресурс в Addurl и панели web-мастеров поисковых систем. После этих простых манипуляций сайт попадет в индекс от пары часов до 4 дней.

Сайт закрыт от индексации в robots.txt

CMS-движок – тот фактор, который больше всего влияет на скорость индексации. Во время работы над ресурсом важно прописывать краулерам путь к тем страничками, которые должны отображаться в выдаче.

Если этого не сделать, робот-поисковик начнет проверять файлы движка или разделы, которые не планируется продвигать. robots.txt нужен, чтобы скрыть мусорные страницы, технические разделы сайта и другую не нужную информацию от поискового робота.

Фото 1. Проблемы в robots.txt

Чтобы определить эту причину, нужно проверить настройки сайта. Если на всех страницах есть тег

<meta name=’robots’ content=’noindex,nofollow’/>,

ошибка в неправильной работе текстового файла robots.txt.

Если хотите индексировать весь сайт, в том числе техническую часть, создайте файл robots.txt с правилом, разрешающим индексировать всё:

User-agent: *

Disallow:

Если есть ограничения, пропишите в файле, а затем снова загрузите в корень сайта с помощью FTP-клиента.

Поисковые боты заблокированы в .htaccess

Этот документ нужен для блокировки поисковых роботов, обеспечивающих лишнюю нагрузку на CPU ресурса и ухудшающих индексирование. Неопытные мастера ставят команду, запрещающую индексацию всего сайта.

Фото 2. .htaccess

Для решения проблемы, нужно подтвердить причину. Сначала ищем на сервере документ .htaccess, затем смотрим закрыт ли сайт.

Использование HTTP-заголовка X-Robots-Tag

Этот вариант ограничивает индексацию в Google. Проблему обнаружить сложно, так как невозможно определить внутри кода. Нужно смотреть заголовки на сервере.

Для проверки нужно использовать плагин Web Developer: Chrome, FireFox. Или http://tools.seobook.com/server-header-checker/

Индексация запрещено мета-тегом noindex

Тегом <noindex> обозначаются фрагменты, которые запрещено индексировать в Яндексе.

Для закрытия части текста, его оборачивают мета-тегами:

<noindex>текст, спрятанный от индексации</noindex>

Иногда webmaster сигнализирует о том, что конкретная страница или сайт не индексируется в Яндексе. Такое может произойти, если при создании сайта на период работ использовалась настройка «Попросить поисковые системы не индексировать сайт». Или при использовании seo-плагина Yoast Seo и др. с настройками по запрету индексации. В обоих случаях функционал нужно отменить.

Проблемы с JavaScript/AJAX

Поисковая система Google индексирует AJAX и JavaScript. Гугл не индексирует сайт, если неправильно провести их настройку.

Настройки приватности для доступа к сайту

При использовании готовой CMS, нужно обязательно проверить приватность настроек. Неопытные мастера могут использовать установки «по умолчанию». Они – причина по которой, не индексируется сайт в поисковиках.

К примеру, если используется WordPress, нужно зайти в раздел настроек «Чтение» и выбрать функцию видимости для поисковых систем. Уберите галочку напротив «Попросить поисковые машины не индексировать сайт».

Фото 3. Уберите галочку

При использовании другой CMS, рекомендуем проверить отсутствие подобной опции.

Много дублированного и неуникального контента

Еще одна проблема не индексации ресурса поисковиками. Дублироваться могут отдельные разделы или мета-теги. При избыточном количестве подобных материалов Google Panda введет санкции. В результате сайт не индексируется поисковыми системами.

Если таких материалов в избытке, закройте лишнюю информацию от индекса с помощью

meta name=«robots» content=«noindex, nofollow»

или попробуйте прописать им 301 редирект. Иначе роботы исключат из выдачи дублируемые материалы.

Кроме того, уделить больше внимания составлению контента и качеству материалов. Переспамные тексты также отправляются в бан. Используйте LSI-копирайтинг, полностью раскрывайте тему, заменяйте повторяющиеся сочетания синонимами. При таком подходе сайт будет появляться в поисковой выдаче.

Не стабильная работа хостинга

Если портал не работает в момент проверки поисковыми роботами, сайт не будет индексироваться. Хостиг должен быть стабилен, а up time – хороший.

Существует несколько сервисов, позволяющих контролировать качество работы хостинга. В Я.Метрике есть бесплатная функция оповещений, срабатывающая при проблемах в доступности сайта.

Медленная загрузка страниц

Чтобы сайт попал в поисковики, он должен загружаться за 2-3 секунды.

Фото 4. Медленная загрузка

Если после нескольких попыток, страница не отреагирует, робот не сможет определить, что добавить в индекс. Проверьте скорость загрузки интернет-ресурса и хостинг. Низкое качество последнее тормозит работу системы.

Ошибки сканирования

При возникновении большого числа ошибок во время сканирования, не индексируется сайт в Google. Причина в том, что поисковый робот не доберется до нужных страниц.

Фото 5. Google Webmaster Tools

Для проверки наличия ошибок зайдите в Google Webmaster Tools и просканируйте сайт с помощью кнопки «Просмотреть как Googlebot». По завершении процесса сравните результаты проверки Google с тем, что должен увидеть посетитель. Все изображения должны быть идентичны.

Если есть различия, ищите и устраняйте ошибки.

Плохая история домена

При выборе ранее использованного доменного имени, будьте готовы к неожиданностям. Бывший владелец мог использовать серые и черные методы продвижения, что спровоцировало санкции со стороны поисковиков.

Чтобы исправить ошибки, отправьте запросы о пересмотре решения и уточните причину почему Google или Яндекс не индексирует сайт.

Если по прошествии трех месяцев сайт по-прежнему не индексируется, рекомендуем заменить домен или попробовать еще раз уточнить причину введения санкций.

Работа сайта без нормальной индексации бессмысленна. Ваша задача – определить неисправность и устранить. Через некоторое время после проведения всех манипуляций, нужно перепроверить индексацию. При нестабильной работе сайта смело пишите в поддержку Яндекс и Google.

Индексирование в поисковых системах и рейтинг в поисковых системах: в чем разница?

Опубликовано: 2021-03-23

Вы пытаетесь ранжировать свой сайт в поисковых системах, но еще не получили результатов? Возможно, вы заметили, что многие ваши веб-страницы были проиндексированы Google, Bing и Yahoo !, но вы не уверены, почему ваши страницы не появляются в результатах поиска?

Не должны ли проиндексированные страницы появляться в результатах поиска?

Да и нет.

Хотя веб-страницы должны быть проиндексированы, чтобы они появлялись в результатах поиска, индексирование не определяет рейтинг веб-страницы. Индексирование ваших веб-страниц означает, что поисковая система знает, что ваши страницы существуют.

Если вы хотите, чтобы ваши проиндексированные страницы отображались в результатах поиска, ваши отдельные страницы должны быть выбраны алгоритмами поисковой системы. Чтобы поисковые системы выбирали ваши страницы, каждой странице должен быть присвоен высокий рейтинг. Чтобы получить такой высокий рейтинг, вам нужна стратегия поисковой оптимизации.

Если вас индексируют, но не ранжируют, вы не одиноки. Независимо от того, начинаете ли вы ранжировать новый сайт или пытаетесь улучшить существующий, индексирование — это только первый шаг.

Чем отличаются индексирование и рейтинг поисковой системы?
Краткий обзор того, как работают поисковые системы
Почему так важно индексирование поисковой системы?
Почему важен рейтинг в поисковых системах?
Ранжирование и индексация не гарантируются
Некоторые аспекты ранжирования страниц находятся вне вашего контроля
4 распространенные проблемы с индексацией поисковыми системами
1. Команды файла robots.txt могут предотвратить сканирование и индексирование.
2. Страницы могут быть деиндексированы.
3. Доменные имена могут попасть в черный список
4. Настройки WordPress или других CMS могут блокировать поисковые роботы (обсудите флажок WordPress, который может забыть снять, когда вы начнете работать)
8 распространенных проблем с рейтингом в поисковых системах
1. Ваши целевые ключевые слова слишком конкурентоспособны.
2. Вы не используете ключевые слова с длинным хвостом.
3. У вас некачественный контент.
4. Ваш автор контента заимствовал чужой контент.
5. Вашему на странице не хватает SEO.
6. Ваш контент не подходит для мобильных устройств.
7. Вы блокируете пауков поисковых систем.
8. Ваш профиль обратных ссылок плохого качества или отсутствует.
Мы можем проиндексировать вас и занять место в поисковых системах

Чем отличаются индексирование и рейтинг поисковой системы?

Короче говоря, индексация поисковой системы похожа на создание каталога опций. Ранжирование в поисковых системах — это приоритезация и категоризация всех доступных вариантов в каталоге, чтобы гарантировать, что лучшие варианты будут отображаться в поиске.

Краткий обзор того, как работают поисковые системы

Поисковые системы выполняют три основных действия: сканирование, индексирование и ранжирование. Все три действия работают вместе, чтобы предоставить результаты пользователям, которые ищут ключевые слова и фразы.

1. Ползание . Поисковые системы используют роботов, называемых «сканерами» или «пауками», для поиска в Интернете нового содержания в виде веб-страниц или файлов. Сканер Google носит имя Googlebot.

Сканеры могут читать код. Фактически, вы можете размещать команды в своем файле robots.txt и на веб-страницах, чтобы указывать направления для пауков поисковых систем. Например, вы можете попросить поисковые системы не индексировать определенные фрагменты контента или каталоги.

2. Индексирование . Как только веб-сканер обнаруживает веб-страницу, она откладывается для доставки позже во время поиска, который поисковая система считает релевантным содержанию страницы.

3. Рейтинг . Сложные запатентованные алгоритмы поисковых систем просматривают каждую проиндексированную веб-страницу и оценивают ценность на основе сотен факторов ранжирования поиска, которые включают факторы на странице и вне страницы. Страницы, которые считаются более ценными, получают более высокий рейтинг и, таким образом, занимают более высокие позиции в результатах поиска.

Помимо индексации и ранжирования веб-страниц, поисковые системы также применяют штрафы к отдельным страницам и целым доменным именам при определенных обстоятельствах.

У поисковых систем есть условия использования, и если какая-либо страница или домен нарушают эти условия, они могут (и часто удаляются) удалены из индекса поисковой системы или налагаются штрафы, которые препятствуют их отображению в поисковых системах.

Почему так важно индексирование поисковой системы?

Проще говоря, без индексации веб-страница не будет отображаться в результатах поиска. Индексирование — это основа поисковой оптимизации.

Почему важен рейтинг в поисковых системах?

Рейтинг в поисковых системах определяет, где и как часто ваши веб-страницы появляются в результатах поиска. Чем выше ваш рейтинг, тем больше у вас шансов попасть на первую страницу результатов.

Конечно, персонализация поиска гарантирует, что каждый человек получит разный набор результатов для одних и тех же условий поиска, поэтому ваши страницы могут не ранжироваться для всех. Однако ваши страницы обычно доставляются, когда алгоритм поисковой системы считает, что ваш контент очень релевантен поисковому запросу пользователя.

Рейтинг важен по нескольким причинам:

Рейтинг может увеличить посещаемость
Трафик может помочь вам в продажах, потенциальных клиентах и узнаваемости бренда
Ранжирование может помочь вам доминировать в поисковых системах по определенным ключевым словам и фразам, что еще больше увеличит трафик.

Чрезмерно упрощенное объяснение состоит в том, что когда ваш сайт появляется в результатах поиска, вы получаете трафик. Когда ваш сайт занимает место на страницах результатов поисковой системы (SERPS) по определенным ключевым словам и фразам, вы привлекаете целевой трафик на свой сайт от пользователей, которые переходят по вашим ссылкам.

Посетив ваш веб-сайт, эти пользователи могут подписаться на рассылку новостей по электронной почте, купить продукт или услугу, прочитать ваш блог или добавить ваш сайт в закладки, чтобы вернуться. Наличие страниц с более высоким рейтингом на страницах результатов увеличит ваш поток органического трафика.

Чем больше поисковых запросов вы можете ранжировать, тем больше трафика вы можете получить.

В общем, успех вашего онлайн-бизнеса зависит от рейтинга в поисковых системах. Вы, безусловно, можете генерировать трафик с помощью контент-маркетинга, но вы не получите столько трафика, сколько вы можете получить, занимая высокое место в поисковой выдаче. Хотя контент-маркетинг, когда он используется для создания ссылок, на самом деле является частью высокого ранжирования в поисковой выдаче. Все взаимосвязано.

Ранжирование и индексация не гарантируются

То, что ваши веб-страницы существуют, не означает, что они будут проиндексированы. Точно так же то, что ваши веб-страницы проиндексированы, не означает, что они будут ранжироваться. Несмотря на то, что вы можете отправить свой сайт на быстрое проиндексирование, для повышения рейтинга ваших страниц потребуется сильная стратегия SEO с течением времени.

Рейтинги приходят и уходят. Они всегда в курсе событий, особенно для новых веб-сайтов. Это одна из причин, по которой для ранжирования в Google может потребоваться так много времени.

Некоторые аспекты ранжирования страниц находятся вне вашего контроля

На индексацию и ранжирование влияет бесчисленное множество факторов, и только некоторые из них находятся под вашим контролем. Например, переадресация может помешать Google индексировать ваши страницы. Если роботу Googlebot необходимо пройти через несколько переадресаций, это считается «цепочкой переадресации». Вы не можете изменить способ просмотра цепочек переадресации роботом Googlebot.

Цепочки переадресации часто создаются непреднамеренно. Например, вы можете перенаправить yoursite.com/1.html на yoursite.com/2.html .

Через год вы можете решить перенаправить yoursite.com/2.html на yoursite.com/3.html.

Это создает два перенаправления, в одном из которых нет необходимости; Лучшее решение — убрать средний редирект.

4 распространенные проблемы с индексацией поисковыми системами

Хотя индексирование поисковыми системами кажется основной задачей, это не всегда гладко. Есть несколько вещей, которые могут пойти не так, что может помешать индексированию ваших веб-страниц.

1. Команды файла robots.txt могут предотвратить сканирование и индексирование.

Ошибки robots.txt могут помешать индексации целых веб-сайтов в поисковых системах.

Когда робот Googlebot находит новый веб-сайт для сканирования, он сначала ищет файл robots.txt. Как правило, робот Google будет выполнять запросы в файле robots.txt и соответствующим образом сканировать сайт. Однако, если робот Googlebot не может получить доступ к файлу robots.txt веб-сайта и не может определить, существует ли файл robots.txt, он полностью пропустит сканирование этого веб-сайта. Если ваш сайт не просканируется, он не будет проиндексирован.

Другая причина, по которой robots.txt может предотвратить индексацию, — это команда. Вы можете поместить в файл robots.txt код, чтобы поисковые роботы пропускали сканирование всего вашего сайта или его частей.

Решение:

Выполните поиск по сайту в каждой основной поисковой системе, чтобы узнать, проиндексирован ли ваш сайт. В строке URL введите site: yoursite.com (удалите кавычки и замените yoursite.com адресом своего веб-сайта). Вы должны увидеть список всех ваших веб-страниц, которые были проиндексированы в этой конкретной поисковой системе. Если вы не видите результатов, значит, проблема.

Если вы не появляетесь в результатах поиска, проверьте свой файл robots.txt, чтобы убедиться, что он правильный, и при необходимости заново создайте файл целиком.

Если вы не можете решить проблему с индексацией, получите бесплатный SEO-аудит сайта, чтобы диагностировать проблему и сразу же проиндексировать свой сайт.

2. Страницы могут быть деиндексированы.

То, что веб-страница индексируется в поисковой системе, не означает, что она будет индексироваться вечно. Поисковые системы постоянно проверяют веб-страницы, чтобы убедиться, что они по-прежнему соответствуют условиям использования, а также требованиям к качеству контента.

Деиндексирование веб-страниц происходит по многим причинам:

На странице собрано слишком много некачественных обратных ссылок . Ваши страницы будут удалены из индекса, если на них будет слишком много обратных ссылок со ссылочных ферм или сайтов, содержащих спам, которые уже занесены в черный список поисковой системой.
Страница не соответствует требованиям Google к качеству содержания . У Google есть очень специфический набор рекомендаций по качеству, хотя точные формулы остаются запатентованными.
На странице мало контента . Если у вас есть страница для ранжирования с помощью трюков с черной шляпой SEO, не ожидайте, что она прослужит долго.
На странице слишком много перенаправлений .
На странице отображается ошибка 404 . Поисковые системы не хотят выдавать пользователям результаты, которых больше не существует. Вот почему вам следует регулярно проверять свой сайт на наличие ошибок 404, чтобы вы могли исправить их до того, как ваш контент будет деиндексирован.
На странице используется маскировка .
Компания Google обязана удалить страницу по закону . Независимо от того, считает ли Google, что необходимо удалить страницу, или существует постановление суда об удалении страницы, Google не бездельничает. Сайты, продвигающие нелегальный контент, часто удаляются из индекса. Другие поисковые системы должны последовать их примеру, но некоторые не применяют свои правила так быстро, как Google.
Google не считает, что ваш контент меняется, когда пользователи нажимают на различные навигационные ссылки . Google переходит по всем ссылкам при сканировании сайта. Если он достигает страницы и не думает, что ваши ссылки никуда идут, он деиндексирует URL-адреса, на которые указывают ваши ссылки. В этом есть смысл, но иногда робот Googlebot неправильно читает ссылки.

Например, именно по этой причине Google деиндексировал 10,5 миллионов страниц с Hubspot.com. Когда робот Googlebot просканировал URL-адрес www.hubspot.com/agencies , он обнаружил, по его мнению, миллионы ссылок, которые никуда не ведут. За исключением того, что ссылки действительно вели в различные категории и страницы, посвященные людям, предлагающим свои услуги.

Деиндексировано действительно не было 10,5 миллионов ссылок; это было больше похоже на 262 500 страниц. Были и другие ошибки, которые привели к завышению числа. Тем не менее, 262 500 страниц — это еще немалое количество страниц, которые нужно деиндексировать. К счастью, Hubspot удалось решить проблему.

Решение:

Публикуйте только качественный и актуальный контент. Это единственный способ избежать деиндексации за нарушение рекомендаций Google по качеству контента.

К сожалению, вы не можете предотвратить ошибки робота Googlebot при сканировании и индексировании вашего сайта. Однако, если вы продолжите создавать контент, который люди хотят поглощать, и создаете законный профиль обратных ссылок, с вами все будет в порядке.

3. Доменные имена могут попасть в черный список

Если вы не занимаетесь рейтингом в поисковых системах, ваше доменное имя может быть внесено в черный список. Доменные имена попадают в черный список, когда они публикуют запрещенный контент или используют теневые методы SEO для игры в систему.

Эта проблема может возникнуть, когда вы покупаете домен у кого-то другого. Любое «использованное» доменное имя потенциально могло быть использовано в прошлом спамерами или хакерами.

Примеры контента, домены которого попадают в черный список:

Зеркало веб-сайтов . Зеркальный веб-сайт — это сайт, на котором размещается контент, идентичный другому веб-сайту, на другом доменном имени или URL-адресе. Раньше многие люди дублировали контент, чтобы сделать его более доступным. Однако в этом нет необходимости, и поисковые системы рассматривают его как дублированный контент.
Страницы шлюза . Эти страницы, также называемые «дорвеями», не содержат большого количества контента. Они созданы для ранжирования в поисковых системах, а навигация обычно скрыта от посетителей.
Страницы с невидимой ссылкой, изображениями и копией . Невидимый контент — это быстрый способ попасть в черный список. Чрезмерные и часто нерелевантные ключевые слова являются наиболее распространенным типом невидимого контента. Хотя иногда люди публикуют невидимые изображения и ссылки.
Контент с наполнением ключевыми словами . Наполнение ключевыми словами приводит к тому, что в ваш контент помещается слишком много ключевых слов. Много лет назад поисковые системы оценивали сайты с набивными ключевыми словами. Сегодня это несуществующая стратегия и серьезно наказывается.
Маскировка . Это обман, при котором одна версия страницы отображается поисковым системам, а другая — посетителям, чтобы обмануть систему. Эта практика не только неэффективна, но и позволяет быстро попасть в черный список.
Контент размещен на ненадежном веб-хостинге . Дешевые веб-хосты часто имеют чрезмерное время простоя и отключают веб-страницы из-за превышения выделенной полосы пропускания. С хостингом менее 10 долларов в месяц на таких сайтах, как HostGator и BlueHost, нет причин использовать бесплатный хостинг.

Решение:

Убедитесь, что IP-адрес вашего веб-хостинга не внесен в черный список. Возможно, вы используете учетную запись хостинга, которая предоставляет клиентам общий IP-адрес. Если ваш IP-адрес был занесен в черный список из-за другого клиента, запросите новый IP-адрес или смените хосты.
Проверяйте историю всех «использованных» доменных имен перед их покупкой; он может быть занесен в черный список. Вы не хотите платить 5000 долларов за доменное имя только для того, чтобы узнать, что оно навсегда внесено в черный список Google. Если вы регистрируете новый домен, вам не о чем беспокоиться.
Постарайтесь изо всех сил придумать новое оригинальное доменное имя, чтобы не брать чужой багаж.

4. Настройки WordPress или других CMS могут блокировать поисковые роботы (обсудите флажок WordPress, который может забыть снять, когда вы начнете работать)

Когда вы разрабатываете новый веб-сайт, это нормально, когда поисковые системы не могут индексировать ваши страницы по мере их разработки. Вы же не хотите, чтобы посетители заходили на ваш сайт и видели что-то в действии. Большинство систем управления контентом имеют простую настройку, которая позволяет блокировать пауков поисковых систем. Предполагается, что это временно, но о нем часто забывают даже после запуска.

В WordPress вы можете отговорить поисковые системы от индексации вашего сайта с помощью простого флажка. Разумно включить это во время разработки, но когда вы начнете работать, это будет вредно.

Если вы используете WordPress и ваш сайт не индексируется, это может быть связано с тем, что у вас установлен этот параметр.

Решение:

Проверьте настройки WordPress в разделе « Настройки»> «Чтение: видимость» . Найдите параметр, препятствующий поисковым системам индексировать ваш сайт, и, если он установлен, снимите флажок.

Чтобы избежать этой проблемы с будущими веб-сайтами, создайте список задач, которые нужно выполнить сразу после запуска вашего сайта. Вероятно, вам уже предстоит выполнить несколько задач. Добавьте в список «снимите флажок, чтобы препятствовать поисковым системам в WordPress».

8 распространенных проблем с рейтингом в поисковых системах

Иногда рейтинг в поисковых системах идет не так, как вы планировали. Хотя это наука, мы не знаем всего об алгоритмах поисковых систем. Мы знаем достаточно, чтобы добиться больших результатов, но еще много неизвестного.

Вот что мы знаем о наиболее распространенных проблемах, препятствующих ранжированию страниц.

1. Ваши целевые ключевые слова слишком конкурентоспособны.

Когда вы впервые начинаете работать над поисковой оптимизацией, вы слышите, как люди говорят о «конкуренции за ключевые слова». Любой веб-сайт в определенной нише конкурирует с другими веб-сайтами по ключевым словам.

На первый взгляд, борьба за ключевые слова звучит как битва, которую можно выиграть с помощью правильной стратегии. Это почти похоже на вызов. Например, если у вас есть местный почтовый центр, при правильной стратегии вы сможете обогнать своего конкурента.

Когда вы находитесь на одном игровом поле, легко превзойти своих конкурентов. Однако высококонкурентные ключевые слова труднее ранжировать, потому что конкуренцию составляют гигантские корпорации с многомиллионными маркетинговыми бюджетами. Если у вас нет такого уровня бюджета, вы не сможете соревноваться.

Например, предположим, что вы создаете самый замечательный веб-сайт об автомобилях. Скажите, что дизайн идеален, а ваш контент намного превосходит все, что написано об автомобилях. Если вы не являетесь специалистом по маркетингу из одного человека, которому не нужно платить за маркетинговые услуги, вы, вероятно, никогда не будете ранжироваться по таким ключевым словам, как «автомобили», «грузовики», «фургоны» или любым другим вариациям общих фраз. Эти ключевые слова в основном принадлежат крупным корпорациям, которые могут перекупить любую используемую вами стратегию SEO.

Решение:

Сужайте свой рынок и выбирайте ключевые слова с длинным хвостом. Например, если вы пытаетесь ранжировать новостной блог, у вас огромная конкуренция со стороны профессиональных сетей и хорошо зарекомендовавших себя новостных сайтов. Единственный способ ранжирования — это создать нишу для своего новостного блога и затем настроить таргетинг на ключевые слова с длинным хвостом, относящиеся к этой нише.

Например, вы можете настроить таргетинг на консерваторов, демократов, студентов колледжей, людей, не имеющих партийной принадлежности, или людей, которым явно надоели основные СМИ. Может быть, вы сможете нацеливаться на студентов-демократов, которым надоели основные СМИ. Смысл в том, чтобы сузить вашу аудиторию от «всех» до очень конкретного «кого-то», а затем настроить таргетинг на соответствующие ключевые слова и фразы.

Это поднимает следующий момент.

2. Вы не используете ключевые слова с длинным хвостом.

Ключевые слова с длинным хвостом подходят не только людям, которые не могут конкурировать с большими маркетинговыми бюджетами. Каждый должен ориентироваться на ключевые слова с длинным хвостом. Ключевые слова с длинным хвостом дают вам возможность охватить людей, которые ищут конкретные вещи, и, что наиболее важно, людей, желающих купить ваши продукты.

Допустим, вы управляете бизнесом по продаже футболок с индивидуальным принтом. Вы никогда не попадете в рейтинг по ключевому слову «футболки», и это нормально. Ваши ключевые слова для зарабатывания денег — это такие фразы, как «самодельные футболки с трафаретной печатью», «футболки с трафаретной печатью на заказ, экологически чистые чернила» и аналогичные фразы, основанные на том, что вы на самом деле продаете.

Решение:

Ключ к ключевым словам с длинным хвостом — это конкретность. Вы хотите настроить таргетинг на ключевые слова, которые очень специфичны, но при этом генерируют достаточно поисковых запросов в месяц, чтобы на них можно было ориентироваться.

Чтобы найти свои лучшие ключевые слова с длинным хвостом, вам понадобится доступ к инструменту исследования ключевых слов, например, от SEM Rush. Или вы можете нанять профессиональное маркетинговое агентство, которое проведет для вас исследование ключевых слов.

3. У вас некачественный контент.

Это не всегда очевидно, когда ваш контент некачественный. У вас может быть контент, который вы считаете качественным, но на самом деле поисковые системы считают его плохим.

Качественный контент отмечен:

Ключевые слова LSI используются в вашем тексте надлежащим образом . Ключевые слова скрытого семантического индексирования (LSI) — это те ключевые слова, которые связаны с вашими основными ключевыми словами. Например, если вашими основными продуктами являются принадлежности для выпечки, ключевыми словами LSI будут такие вещи, как яйца, мука, смеси для тортов, рецепты, сахар и имена известных пекарей и поваров.

Ключевые слова LSI также являются синонимами ваших основных ключевых слов. Например, «врач» и «врач» являются ключевыми словами LSI, как и «юрист» и «поверенный». Синонимы будут появляться в результатах поиска, даже когда пользователь ищет другое слово. Например, когда пользователь ищет «врачи рядом со мной», ему будут предоставлены результаты, содержащие слово «врач», даже если слово «врач» не используется на странице.

Тщательная, хорошо написанная копия . У поисковых систем есть способы отличить тщательно написанный текст от слов, забитых на веб-странице. Алгоритмы могут определить, соответствует ли часть контента правильной грамматике, а не просто повторяет бессмыслицу.

Есть споры о том, следует ли публиковать длинные или короткие копии. У обоих есть свое место. Однако длинный текст имеет тенденцию превосходить по рейтингу короткий, вероятно, потому что качественный длинный контент подробно обсуждает тему, и поисковые системы могут определить эту глубину.

Уникальный контент . Ваши заголовки и контент должны быть уникальными. Хотя вы можете законно копировать заголовки других людей (заголовки не могут быть защищены авторским правом, если они не содержат товарный знак), поисковые системы не будут ранжировать ваш контент, если сочтут его дублирующим.

Ваши страницы содержат незаконные элементы . Такие элементы, как чрезмерная переадресация, маскировка, дорвеи, спам, ссылки на спам, наполнение ключевыми словами и т. Д., Запрещены в поисковых системах.

Решение:

Придерживайтесь одной основной темы в каждой части контента . Избегайте обсуждения нескольких не связанных между собой тем в одном фрагменте контента, чтобы попытаться оценить его. Если вам удастся обманом заставить поисковые системы ранжировать ваш контент по ключевым словам, не связанным с вашим реальным веб-сайтом, вы только навредите себе, потому что ваш показатель отказов резко возрастет, а коэффициент конверсии резко упадет.

Вы можете (и должны) обсуждать связанные темы, но только если они имеют отношение к ракурсу создаваемого вами произведения.

Создавайте уникальные заголовки для своих статей и веб-страниц . Потратьте некоторое время на создание уникальных и привлекательных заголовков для своих статей и веб-страниц. Используйте эти 51 формулу заголовка, чтобы получить несколько хороших идей. Однако избегайте использования заголовков кликбейтов, которые привлекают внимание, а затем разочаровывают читателя.

Сначала создайте контент для своих посетителей . Не создавайте контент только для того, чтобы ранжироваться. Всегда сначала создавайте ценный контент для посетителей, а затем оптимизируйте его для поисковых систем.

4. Ваш автор контента заимствовал чужой контент.

Дублированный контент часто является плагиатом или «очищенным» контентом. Это представляет собой двойную проблему для ранжирования вашего сайта. Дублированный контент не будет ранжироваться, а плагиат является незаконным и противоречит условиям использования поисковой системы.

Если ваши авторы контента занимаются плагиатом работы других людей, эти страницы вашего сайта не будут ранжироваться.

Решение:

Вы не можете контролировать то, что делают ваши авторы контента, но вы можете запустить их работу через Copyscape, чтобы убедиться, что контент, который вы получаете, не является плагиатом. Если вы можете, пропустите все копии через Copyscape, прежде чем платить своим писателям, если вы не работаете с писателями, которым вы можете доверять на регулярной основе. Однако вы все равно должны запускать все копии через Copyscape. Просто не платите своим писателям-фрилансерам, пока не убедитесь, что их работа оригинальна.

Лучшее решение — нанять профессиональное агентство по контент-маркетингу, которое напишет весь ваш контент, чтобы вам не пришлось беспокоиться о плагиате.

5. Вашему на странице не хватает SEO.

Факторы на странице, которые ищут поисковые системы, включают в себя качественный контент, а также такие факторы, как:

Ссылочный контент . Если ваша страница защищена паролем или по другим причинам на нее нельзя ссылаться, она не будет ранжироваться.
Наличие тегов заголовков . Теги заголовков являются частью вашего HTML-кода, которые сообщают людям и поисковым системам, о чем ваша страница. Заголовки отображаются в результатах поиска и в верхней части окна браузера.
Конкретные структуры URL . Структура вашего URL-адреса должна сообщать поисковым системам, о чем ваш контент. Например, хорошая структура URL-адреса выглядит так:

https://www.yoursite.com/videos/humor/funniest-cats

С помощью приведенной выше структуры URL-адреса поисковые системы будут знать, о чем ваш контент.

Плохая структура URL выглядит так:

https://www.yoursite.com/videos/ff1903877

С указанной выше структурой URL-адресов поисковые системы не поймут, что означает «ff1903877», и это не поможет вашему сайту в рейтинге.

Решение:

Убедитесь, что весь ваш контент имеет ссылки и доступен, если вы хотите, чтобы он был проиндексирован в поисковых системах. Можно исключить страницы входа в систему, и вы можете сделать это, указав поисковым роботам игнорировать эти страницы в файле robots.txt.

Оптимизируйте все теги заголовков, чтобы точно отражать содержание каждой страницы. Делайте заголовки как можно короче и информативнее.

Наконец, создайте правильную структуру URL-адресов для ваших файлов, папок и страниц, чтобы поисковые системы понимали их релевантность.

6. Ваш контент не подходит для мобильных устройств.

Для ранжирования весь контент должен быть адаптирован для мобильных устройств. Теперь, когда Google запустил индексирование с ориентацией на мобильные устройства, контент, оптимизированный для мобильных устройств, всегда имеет приоритет. Google всегда в первую очередь обслуживает страницы веб-сайта, оптимизированные для мобильных устройств.

Веб-страницы, у которых нет удобной для мобильных устройств структуры и контента, просто не будут ранжироваться.

Решение:

Оптимизируйте свой сайт для мобильных устройств. Убедитесь, что ваш контент хорошо выглядит и полностью работает на всех мобильных устройствах и операционных системах.

7. Вы блокируете пауков поисковых систем.

Если вы блокируете пауков поисковых систем, таких как Googlebot, ваш сайт не будет проиндексирован, а это значит, что он не сможет ранжироваться.

Решение:

Если вам сложно ранжировать определенные страницы, сначала определите, проиндексирован ли ваш сайт, выполнив поиск по сайту. Если ваши страницы не указаны в результатах, они не проиндексированы.

Узнайте, почему ваши страницы не индексируются. Сначала проверьте файл robots.txt, чтобы убедиться, что вы не блокируете поисковые роботы. Если вы не блокируете поисковые роботы, отправьте свой сайт в основные поисковые системы вручную. Попросите Google просканировать ваш сайт с помощью инструмента проверки URL.

8. Ваш профиль обратных ссылок плохого качества или его не существует.

Не невозможно занять место в некоторых нишах без обратных ссылок, но если вы работаете в конкурентной отрасли, вам нужен сильный профиль обратных ссылок. Обратные ссылки дадут вам силу и авторитет, но только тогда, когда вы получите правильные ссылки.

Решение:

Начните генерировать качественные обратные ссылки с максимально возможного количества авторитетных сайтов. Если вы не знаете, с чего начать, мы можем помочь. Вы можете начать с проверки нашей бесплатной программы проверки обратных ссылок здесь.

Мы можем проиндексировать вас и занять место в поисковых системах

Если вы хотите, чтобы вас проиндексировали и оценили в поисковых системах, мы можем помочь. Свяжитесь с нашей командой экспертов по SEO, и мы поможем вам добиться успеха в основных поисковых системах.

Во-первых, мы проведем бесплатный SEO-аудит, чтобы выяснить, где вы находитесь и как ваш сайт можно улучшить. Затем мы создадим и реализуем индивидуальную профессиональную стратегию SEO, чтобы повысить популярность вашего сайта в поисковых системах.

Свяжитесь с нами сегодня и давайте поговорим!

Как отговорить поисковые системы от индексирования сайтов WordPress

Владельцы сайтов сделают все, чтобы их сайты были проиндексированы. Однако вы можете не захотеть, чтобы поисковые системы сканировали ваш сайт, если он все еще находится в разработке. В таком случае рекомендуется отговорить поисковые системы от индексации вашего сайта. Оставайтесь с нами, если хотите узнать больше по этой теме!

Почему вы хотите, чтобы поисковые системы не индексировали ваш сайт?

Бывают случаи, когда люди хотят отговорить поисковые системы от индексации своих сайтов:

Незавершенные веб-сайты — на данном этапе ошибок и испытаний лучше не делать свой веб-сайт доступным для публики.
Веб-сайты с ограниченным доступом — если вы планируете иметь веб-сайт, доступный только по приглашениям, вы не хотите, чтобы он отображался в результатах поиска.
Тестовые аккаунты — владельцы сайтов создают дубликаты сайта для тестирования и пробных версий. Поскольку эти сайты не предназначены для широкой публики, не позволяйте им индексироваться поисковыми системами.

Так как же заблокировать индексирование вашего сайта поисковыми системами? Что ж, взгляните на несколько вариантов ниже и попробуйте сами.

1.Отговаривание поисковых систем от индексирования сайтов WordPress

Самый простой способ запретить поисковым системам индексировать ваш веб-сайт — запретить им сканировать его. Для этого вам необходимо отредактировать файл robots.txt каталога вашего веб-сайта. Вот несколько способов добиться этого:

Использование встроенной функции WordPress

Редактировать файл robots.txt WordPress довольно просто, так как вам нужно только использовать встроенную функцию WordPress. Вот как:

Войдите в админку WordPress и перейдите в Настройки -> Чтение .
Прокрутите вниз и найдите вариант видимости для поисковых систем.
Отметьте опцию Запретить поисковым системам индексировать этот сайт.
Сохранить изменения, и все! WordPress автоматически отредактирует файл robots.txt за вас.

Редактирование файла robots.txt вручную

Если вы предпочитаете ручной вариант, вы можете использовать File Manager или FTP-клиент для редактирования файла robots.txt файл.

В этой статье мы покажем вам, как это сделать с помощью файлового менеджера hPanel:

Войдите в hPanel и найдите File Manager в области Files .

Перейдите в папку корневого каталога WordPress (в большинстве случаев это public_html) и найдите файл robots.txt . Если вы не можете его найти, создайте новый пустой файл.
Щелкните файл правой кнопкой мыши и выберите Изменить .

Введите следующий синтаксис:
Агент пользователя: * Disallow: /

Приведенный выше код не позволит поисковым системам проиндексировать весь ваш сайт . Если вы хотите применить правило запрета к определенной странице, напишите подкаталог и заголовок страницы. Например: Disallow / blog / food-review-2019.

Синтаксис файлов robots.txt чувствителен к регистру, поэтому будьте осторожны при редактировании.

2.Защита паролем вашего веб-сайта WordPress

Поисковые системы и сканеры не имеют доступа к файлам, защищенным паролем. Вот несколько методов защиты паролем вашего сайта WordPress:

Использование панели управления хостингом

Если вы являетесь клиентом Hostinger, вы можете защитить свой веб-сайт паролем с помощью hPanel Password Protect Directories tool:

Войдите в hPanel и перейдите в каталог Защита паролем .
Введите корневой каталог в первое поле.
После выбора каталога введите свое имя пользователя и пароль и щелкните Protect .

Если ваш корневой каталог — public_html , оставьте столбец каталога пустым

Процесс в cPanel также очень похож:

Войдите в свою учетную запись cPanel и перейдите на страницу Directory Privacy .
Выберите корневой каталог. В нашем случае это public_html .
Установите флажок для защиты этого каталога паролем и назовите защищенный каталог.Нажмите Сохранить .
Создайте нового пользователя для входа на защищенный сайт, и все!

Использование плагинов WordPress

Существует множество плагинов, которые могут помочь защитить ваш сайт паролем. Однако плагин Password Protected может быть лучшим из существующих. Он был протестирован с новым обновлением WordPress, и его довольно просто использовать.

После установки и активации плагина перейдите в «Настройки » -> «Защищено паролем» и настройте параметры в соответствии с вашими потребностями.

3. Удаление проиндексированной страницы из Google

Не беспокойтесь, если Google проиндексировал ваш сайт. Вы можете удалить его из поисковой выдачи, выполнив следующие действия:

Настройте Google Search Console для своего веб-сайта.
Войдите в консоль поиска Google вашего недавно добавленного веб-сайта и прокрутите вниз до Устаревшие инструменты и отчеты -> Удаление.
Нажмите кнопку Временно скрыть и введите URL-адрес, который хотите удалить из Google.
В новом окне выберите Очистить URL-адрес из кеша и временно удалить из поиска, затем Отправить запрос .

И все! Google временно удалит ваш сайт из результатов поиска. Обязательно примените предыдущие методы, чтобы Google не смог снова проиндексировать ваш сайт.

Заключение

Вот и все! Быстрые и простые способы отговорить поисковые системы от индексации ваших сайтов. Вот краткий обзор методов, которым мы сегодня научились:

Отредактируйте файл robots.txt , которое можно выполнить автоматически или вручную.
Защитите свой сайт паролем с помощью плагина или панели управления хостингом.
Удалите проиндексированные страницы из Google через консоль поиска Google.

Если у вас есть другие методы или вопросы, дайте нам знать в комментариях. Удачи!

Domantas возглавляет отделы контента и SEO, предлагая свежие идеи и нестандартные подходы. Обладая обширными знаниями в области SEO и маркетинга, он стремится распространить информацию о Hostinger во всех уголках мира. В свободное время Домантас любит оттачивать свои навыки веб-разработки и путешествовать по экзотическим местам.

О поисковых системах и «пауках»

Операции> Вычислительная техника> Часто задаваемые вопросы

• Как запретить поисковым системам отображать мои страницы?
• Как я могу убедиться, что поисковые системы включают мои страницы?

Как запретить поисковым системам включать ваши страницы в свой индекс

Для этого есть три основных способа.

Мета-теги

Большинство поисковых систем будут учитывать метатег «роботы».Это вставленный HTML-тег в раздел HEAD вашей веб-страницы. Тег выглядит так:

Когда поисковая система видит «noindex», она не включает страницу в свой список. «nofollow» сообщает также нельзя переходить по ссылкам на другие страницы, находящиеся на этой конкретной странице. Ты сможешь используйте либо директиву отдельно, либо в комбинации, как показано выше.

Файл robots.txt

Различные поставщики поисковых систем объединились и установили стандарт исключения Веб-страницы из их индексов.Это делается путем создания файл robots.txt в корневой каталог веб-сайта. Когда паук поисковой системы впервые посещает сайт, он выглядит для этого файла.

Структура файла robots.txt довольно проста. Он должен содержать список пауков (называемых «User-agent»), за которым следует список того, что этот паук не должен индексировать. Поскольку в целом люди не устанавливают разные правила для разных пауков, вы можете использовать «*» для обозначения всех пауков. Комментарии начинаются со знака решетки «#».

    User-agent: * # Правила применяются ко всем поисковым системам
    Disallow: / temp # Исключить все, что начинается с "/ temp"
                            # (могут быть каталоги или файлы)
    Disallow: / private / # Исключить весь каталог "/ private"
    Disallow: / secret.html # Не индексируйте файл secret.html

Преимущество использования robots.txt в том, что вы можете создать одно правило для всего каталога вместо добавления мета-теги к каждому файлу. Кроме того, это упрощает отслеживание того, что исключается, а что нет. из поисковых систем. Но поскольку он может находиться только в корневом каталоге вашего веб-сервера, вы необходимо попросить веб-мастера внести дополнения или изменения — поисковые системы обычно не принимают во внимание файлы robots.txt, найденные где-либо еще.

Контроль доступа

Каталоги, доступные только определенным пользователям, не могут быть проиндексированы поисковыми системами, поскольку они не могут попасть в каталог для чтения файлов.

Как заставить поисковые системы индексировать ваши страницы

Теоретически основные поисковые системы автоматически найдут (и проиндексируют) ваши страницы, если ссылка на них существует с другой страницы, поэтому обычно ничего делать не нужно. На редкость Однако в некоторых случаях вам может понадобиться специально рассказать им о своей странице.

У каждой поисковой системы есть форма, которую вы можете использовать для этой цели. Вам просто нужно посетить сайт и найдите ссылку под названием «добавить свой URL», «проиндексировать свои страницы» или что-то подобное.Процедуры (и URL-адреса), используемые каждым движком, время от времени меняются, поэтому мы не включаем ссылки на эти страницы, но обычно ссылки на них можно найти в поисковых системах. первые страницы.

SEO: скажите Google, какие страницы не сканировать

Типичная цель поисковой оптимизации — сделать так, чтобы страницы вашего сайта отображались на странице результатов Google в ответ на запрос. Целью Google и любой другой поисковой системы является сканирование и индексирование всех страниц с описанием ваших продуктов, сообщений в блогах и статей, а также всего остального, что приводит к конверсиям.

Но есть страницы, которые не следует включать в результаты поиска. Удаление их из индекса Google может увеличить трафик поисковых систем на более важные страницы с более высокой конверсией.

Не индексируйте эти

Но разве вас действительно волнует, отображаются ли в Google ваша политика конфиденциальности, информация о GDPR или аналогичные страницы? Страницы, которые вы, вероятно, не хотите, чтобы Google индексировал, включают:

Страницы с благодарностями (отображаются после опроса или аналогичного)

Целевые страницы объявлений (предназначены для кампаний с оплатой за клики)

Результаты внутреннего поиска по сайту (поскольку переход со страницы результатов Google прямо на страницу результатов поиска вашего веб-сайта может быть неудобным для пользователей).

Не каждую страницу на веб-сайте вашей компании следует индексировать с помощью Google. Фото: Создатели кампании.

Удаление страниц

Удаление таких страниц из индекса Google также может повысить авторитет вашего веб-сайта, что, в свою очередь, может улучшить рейтинг различных страниц в Google по релевантным запросам.

Некоторые специалисты по SEO утверждают, что Google стал экспертом в определении качества контента и, так сказать, выискивает повторяющиеся, повторяющиеся или относительно некачественные страницы.

Более того, некоторые специалисты по SEO предположили, что Google усредняет относительную ценность всех страниц вашего веб-сайта, чтобы создать совокупную оценку авторитета или ценности. Это может быть авторитет домена, рейтинг домена или аналогичный показатель.

Если ваша компания наполнила индекс Google относительно дешевыми страницами — например, политикой конфиденциальности, которую ваш технический специалист скопировал и вставил у поставщика платформы электронной коммерции, — это может повлиять на то, насколько авторитетным Google считает ваш сайт в целом.

Например, описывая тему удаления страниц веб-сайтов (в данном случае удаления страниц), Крис Хики из Inflow, агентства электронной коммерции в Денвере, штат Колорадо, сообщил о 22-процентном увеличении органического поискового трафика и 7-процентном увеличении трафика. доход от органического поискового трафика после удаления тысяч повторяющихся страниц с веб-сайта электронной коммерции клиента.

Точно так же в 2017 году производитель инструментов SEO Moz удалил 75 процентов страниц своего веб-сайта из индекса Google.Страницы были в основном малоценными профилями участников сообщества Moz. На этих страницах не было особого уникального содержания, и удаление их из индекса Google привело к увеличению органического поискового трафика на 13,7% по сравнению с прошлым годом.

Инструмент для снятия

Пожалуй, лучший инструмент для удаления отдельной страницы из индекса Google — это метатег robots noindex .

Вставленный в раздел разметки HTML страницы, этот простой тег просит все поисковые системы не индексировать связанную страницу.Основной веб-сканер Google, робот Googlebot, следует этой директиве и отбросит любую страницу, помеченную как noindex , при следующем сканировании этой страницы.

Используя систему управления содержанием вашего веб-сайта, должно быть относительно легко добавить этот тег на страницы политики, результаты внутреннего поиска и другие страницы, которые не нужно включать в индекс Google или показывать в ответ на запрос Google.

Заголовок ответа HTTP

Директива robots noindex также может быть передана в заголовке ответа HTTP.Заголовок ответа HTTP можно рассматривать как текстовое сообщение, которое ваш сервер отправляет веб-браузеру или поисковому роботу (например, роботу Googlebot) при запросе страницы.

В этом заголовке ваш сайт может указать Google не индексировать страницу. Вот пример.

 HTTP / 1.1 200 ОК
X-Robots-Тег: noindex

Для некоторых предприятий может быть проще написать сценарий, который разместит этот X-Robots-Tag , чем вручную или даже программно добавить метатег robots.И этот HTTP-тег, и метатег имеют одинаковый эффект. Какой из этих методов использует ваш бизнес, зависит от ваших предпочтений.

Предотвратить индексирование?

Robots.txt не мешает индексированию. Файл robots.txt находится в корневом каталоге веб-сайта. Этот простой текстовый файл сообщает веб-сканеру поисковой системы, к каким страницам сайта он может получить доступ.

Часто владельцы и менеджеры веб-сайтов ошибочно думают, что запрет на использование страницы в файле robots.txt предотвратит отображение этой страницы в индексе Google.Но так бывает не всегда.

Например, если другой сайт ссылается на страницу веб-сайта вашей компании, робот Googlebot может перейти по этой ссылке и проиндексировать страницу, даже если эта страница запрещена в файле robots.txt.

Если вы хотите удалить страницы из индекса Google, файл robots.txt, вероятно, не лучший выбор. Скорее, это полезно для ограничения того, как Google индексирует ваш сайт, и предотвращения того, чтобы роботы поисковых систем перегружали веб-сервер вашей компании.

Важно отметить, что запрещать страницу в файле robots.txt и одновременно используйте тег noindex. Это может привести к тому, что робот Google пропустит директиву noindex.

В конечном счете, это может показаться нелогичным, но почти наверняка на веб-сайте вашей компании есть страницы, которые не следует включать в индекс Google или отображать на странице результатов Google. Лучший способ удалить эти страницы — использовать тег robots noindex .

IndexNow и будущее веб-сканирования

IndexNow — это новый способ оповещения поисковых систем о появлении нового или обновленного контента.В этой публикации я описываю, чем это отличается от сканирования в Интернете или XML-файлов Sitemap, и что это означает для будущего сканирования в Интернете.

Что такое IndexNow, как его использовать и что это значит для будущего веб-сканирования

В начале индексации API я объясняю, что сканирование поисковыми системами является недостаточным, устаревшим и расточительным.Вместо того, чтобы сканировать сайты, поисковые системы должны позволять владельцам сайтов доставлять им контент. Тенденция к индексированию API была в большей степени обусловлена Bing, чем Google. Может быть, потому, что Google не хочет отказываться от своей монополии на создание крупнейшего веб-индекса. Может быть, по техническим причинам. В любом случае повышенная эффективность сканирования полезна для всей сети, а не только для поисковых систем, поскольку она ведет к снижению нагрузки на сервер и снижению затрат на электроэнергию.

В любом случае предоставление контента поисковым системам через API дает четыре основных преимущества: меньше спама, потому что поисковые системы могут просто ограничивать доступ к API для спамеров, меньше проблем с рендерингом или их отсутствие, потому что поисковые системы могут запрашивать отрисованный HTML прямо с сайта, меньшая трата ресурсов, потому что поисковым системам больше не нужно сканировать Интернет, и более высокая экономическая эффективность.

Теперь Bing запустил IndexNow , открытый протокол для отправки нового контента непосредственно в поисковые системы в сотрудничестве с Яндексом и другими поисковыми системами.

IndexNow по сравнению с XML-картами сайта

IndexNow — это не полноценный API индексирования, который доставляет весь HTML-код поисковым системам, а скорее карта сайта XML на стероидах . Согласно официальной документации, IndexNow уведомляет поисковые системы о новых URL. Им больше не нужно сканировать карты сайта XML, которые могут быть ограничены по размеру и актуальности.Однако вы все равно можете использовать оба.

В документации также указано, что если URL-адрес меняется несколько раз в день, например, для сайта новостей или погоды, IndexNow будет , а не оптимальным решением. Однако поисковые системы отдают приоритет URL-адресам, отправленным через IndexNow , по сравнению с URL-адресами, найденными другим способом. Отправленные ссылки не должны возвращать код статуса 200. Это может быть код 404, например, для уведомления поисковых систем о страницах, которые больше не доступны, или перенаправления, чтобы их сканировать быстрее.

URL-адресов, обнаруженных с помощью IndexNow, учитываются в бюджете сканирования (или квоте сканирования, как это называет Bing).Неясно, как IndexNow изменяет бюджет сканирования, но я могу предположить, что отсутствие необходимости обнаруживать URL-адреса через ссылки или карты сайта XML намного эффективнее и должно увеличивать бюджет сканирования сайта.

Как использовать IndexNow

Использовать IndexNow очень просто:

Перейдите к генератору ключей и сгенерируйте ключ, чтобы подтвердить право собственности на сайт
Разместите ключ в текстовом файле в корневом каталоге
Отправьте новые URL-адреса с параметрами через запрос GET
Отслеживайте скорость сканирования и индексацию с помощью Bing Webmaster Tools

Каждому хосту (субдомену) нужен свой собственный ключ, и вы можете использовать разные ключи для каждой системы управления контентом.

Роль CDN в индексировании Интернета

Многие платформы планируют внедрить IndexNow, но Cloudflare выделяется по нескольким причинам. Во-первых, сети CDN имеют хороший «обзор» сети, а это означает, что они лучше всего подходят для отслеживания трафика ботов и людей, поскольку они проксируют множество сайтов. По данным W3C, 77% веб-сайтов не используют CDN. Но Cloudflare хорошо понимает, когда меняются URL-адреса, и может помочь поисковым системам обнаруживать изменения в качестве лидера рынка.

Доля рынка на одного поставщика прокси-серверов
Во-вторых, Cloudflare выпустила продукт под названием Crawler Hints, помогающий решать общие проблемы индексации.IndexNow отлично подходит для этого. Это говорит о том, что проблема, которую пытается решить IndexNow, является серьезной.
Cloudflare сообщает, что около 45% интернет-трафика исходит от ботов , в том числе 5% от «хороших ботов», таких как сканеры поисковых систем. Но 53% из этих 5% тратятся на повторное сканирование URL-адресов, которые не изменились, сканирование спама или другого нерелевантного контента. Вот где появляются подсказки для сканирования.
Из Cloudflare:
В Cloudflare мы видим трафик от всех основных поисковых роботов и в прошлом году изучали, как часто эти боты повторно посещают страницу, которая не изменилась с момента последнего. видел это.Каждое из этих посещений — пустая трата времени. И, к сожалению, наши наблюдения показывают, что 53% этого трафика краулера тратится впустую.
Положение CDN в веб-инфраструктуре и их широкий обзор активности трафика делает их важным партнером для IndexNow, но также и интересным средством более эффективного индексирования. Я ожидаю большего движения в этом направлении в ближайшем будущем.
Растущие проблемы сканирования Интернета
IndexNow дает множество преимуществ.Он позволяет веб-мастерам уведомлять все поисковые системы сразу. Это демократизировало индексацию и привело к уменьшению количества ресурсов, необходимых поисковым системам для сканирования Интернета.
Поисковые системы какое-то время боролись со сканированием. Проблемы включают спам, рендеринг javascript, а также более широкое использование тегов nofollow, что является одной из причин, по которой Google начал рассматривать nofollow скорее как предложение, чем как директиву.
Я не думаю, что открытие Интернета с помощью ссылок — лучший подход, и ожидаю, что больше поисковых систем будут полагаться на веб-мастеров, чтобы предлагать им новый контент через такие API, как IndexNow.
Как быстро и эффективно деиндексировать «вещи» из Google
Удаление контента из Google может быть непростым процессом. Есть важные вопросы, на которые нужно ответить, различные варианты использования и различные методы решения проблемы (которые различаются в зависимости от типа контента, масштаба, требований к скорости и т. Д. Каждый ваш шаг означает принятие новых решений!
Вы также можете видеть разные советы из разных источников (или основанные на разных вариантах использования). К счастью, мы здесь, чтобы помочь вам предоставить подробное объяснение — что делать в наиболее распространенных конкретных ситуациях, пытаетесь ли вы деиндексировать страницу, изображение, или весь сайт!
Вот о чем мы сегодня говорим:
Сценарии использования Deindex
Прежде всего, давайте рассмотрим типичные варианты использования для удаления «всяких вещей» — контента, изображений, веб-страниц или PDF-файлов — и какие инструменты (или комбинации инструментов) полезны в этих сценариях. .
Конфиденциальная информация ИЛИ страницы взломанного сайта
Вообще говоря, скорость решения имеет первостепенное значение.
Удалите оскорбительное содержимое. Удалите его, переместите и т. Д.
Используйте инструмент «Удалить URL» (доступ и разрешения GSC) или инструмент «Удалить контент» (если вы этого не сделали).
Взломали ли ваш сайт?
Срочно, но не конфиденциально
Здесь вы не можете (или не хотите) перемещать или удалять контент, но вам нужно быстро удалить его из Google.Что вы делаете?
Используйте инструмент «Удалить URL-адрес» — либо для определенного URL-адреса, либо для конкретной папки.
Если это несколько страниц, используйте тег Meta Robots Noindex.
Проследите и подтвердите исправление в течение следующих нескольких дней.
Если это много-много страниц (и поэтому ручная работа не стоит), используйте команду Disallow в файле Robots.txt.
Проследите и подтвердите (временное) исправление в течение следующих нескольких дней.
Затем установите напоминание в календаре, чтобы снова проверить это через 6 (иш) месяцев.
В зависимости от того, сколько ссылок на этот контент, вам может потребоваться продолжать отслеживать — и повторно увеличивать — запрос на удаление URL-адреса. Удалите ссылки на ресурс, чтобы уменьшить эту проблему!
Дублированное содержимое
Иногда вам нужно деиндексировать PDF-файл или страницу, потому что это дублированное содержимое. В данном случае:
Если это всего одна или несколько страниц, используйте метатег robots (или тег X-Robots в случае PDF-файлов).
Если страниц много (более 100), a Robots.txt Disallow, вероятно, проще (требует постоянного мониторинга). И снова — будьте осторожны, чтобы случайно не заблокировать ценные страницы!
Если вам нужно помочь завершить процесс раньше , также используйте инструмент «Удалить URL-адрес».
Раздутие индексации (Деиндексировать нужно МНОГО страниц!)
Если проблема заключается только в том, что у вас проиндексировано много некачественных страниц, вам нужно быстрое решение, которое не займет много времени на внедрение. Обычно это происходит с вариантами URL (например,г. Параметры URL), а также страницы / cart и / account (для доступа к которым уже требуется пароль). В этой ситуации:
Ищите шаблоны в структуре URL. Скорее всего, вы можете не индексировать все и вся в папках / cart, / account и т. Д.
Заблокировать эти папки в папке «Удалить URL».
Запретить эти папки в файле Robots.txt.
Отслеживайте результаты с течением времени, чтобы убедиться, что это больше не повторится.
Вы также можете использовать теги Meta Robots или X-Robots (вместо файлов Robots.txt), если хотите. Это просто компромисс: меньше мониторинга, но больше возможностей для проблем с обходным бюджетом. Не существует однозначного ответа — только самый лучший, самый разумный для вас!
Далее, давайте рассмотрим инструменты торговли! Имейте в виду, что некоторые из этих инструментов можно и нужно использовать вместе. Мы разберем эти подходящие комбинации в примерах использования деиндексации, описанных ниже.
Но сначала: 1 конкретную комбинацию НЕ следует использовать: не используйте роботов.txt Disallow в сочетании с любым инструментом уровня страницы (например, x-header, мета-роботами или каноническими тегами). Этот инструмент управляет сканированием НЕ индексированием . А если Google не может просканировать страницу, он не сможет прочитать ваш noindex или канонические теги, чтобы соблюдать их. Узнайте больше об этой и других распространенных проблемах сканирования и индексирования поисковыми системами в этом подробном руководстве.
Удаление (или перемещение) самого содержимого
Иногда очевидное решение оказывается правильным.Если вам нужно что-то уйти — как можно скорее — вы можете просто удалить это!
Перевести в черновой режим (или другой неактивный режим)
Поставьте перед ним требование пароля
Переместить его полностью на другой URL
Не настраивайте переадресацию в этом сценарии — убедитесь, что новая страница не индексируется.
Инструмент удаления URL-адреса
Этот инструмент доступен через консоль поиска Google (GSC), инструмент, который позволяет оптимизаторам поисковых систем быстро выявлять и устранять проблемы. Используйте эту магическую силу осторожно — не индексируйте другие ценные страницы случайно! Это «временное» исправление — Ограничение на 6 месяцев. Используйте его вместе с другим методом, чтобы страница / PDF / изображение, о котором идет речь, , оставались деиндексированными .
Люди склонны игнорировать этот инструмент из-за его временного характера, что, как я считаю, является ошибкой. Помимо полного удаления содержимого (не всегда вариант!), Это * самый быстрый * способ деиндексировать что-то. Так что используйте это, и используйте это хорошо.
Панель удаления URL-адресов GSC
Инструмент удаления контента
Используйте этот инструмент для контента:
, который вам * не * принадлежит или к которому у вас нет доступа (или достаточно высокого разрешения) в GSC. В этом случае используйте инструмент GSC Remove URL.
Это уже удалено. То есть, это будет работать только тогда, когда контент исчезнет.
Мета-роботы Noindex
Отправьте инструкцию noindex на страницу с помощью одной единственной строки кода, добавленной в раздел HEAD вашего HTML.Имейте в виду, что это более долгосрочное (также известное как, вероятно, не очень быстрое) решение, так как вам придется ждать, пока Google повторно просканирует страницу, чтобы * увидеть * этот тег. Однако это очень устойчиво. Если ваш вариант использования не является срочным, это отличный инструмент, и вы всегда можете запросить, чтобы Google повторно сканировал страницу раньше (через GSC).
Мета-роботы не помогут с вашим бюджетом сканирования , если это проблема (это обычно только для очень больших сайтов, когда страниц много noindex.)
X-Robots Noindex
Все те же правила, что и для тега Meta Robots, но отправляются через ответ HTTP-заголовка, а не через HTML. Он встречается гораздо реже и, вероятно, потребует помощи разработчика для его реализации.
Это отличный инструмент для деиндексации таких элементов, как PDF-файлы, в которых нет HTML для добавления метатега.
Robots.txt Disallow
(Вроде …)
Команда Disallow фактически не управляет индексацией, но для обычных страниц, которые вы не хотите индексировать, она может быть эффективной .Если есть какие-либо внутренние ссылки на рассматриваемый ресурс — или какие-либо внешние ссылки! — этот метод не сработает.
Тем не менее, это полезно для контроля бюджета сканирования (проблема для крупных веб-сайтов).
Канонизация для других ресурсов
(Опять же, вроде того.)
Если вы канонизируете страницу на другую страницу, вы говорите поиску движки, что это дубликат и, следовательно, менее достойный индексации. Часто это не приводит к индексации, но это никоим образом не гарантируется.
* Это в первую очередь полезно для дублированного контента, когда вы активно хотите указать «исходный» источник контента — на вашем веб-сайте или за его пределами.
Итак, к счастью, у нас есть несколько эффективных инструментов. Я бы добавил, однако, что эти два — безусловно — наиболее часто используемые, не зря. Если вы просто не знаете, что делать, используйте эти 2 (вместе, в идеале, или как минимум первый.)
Meta Robots Noindex tag
Инструмент удаления URL
«Имеет ли значение скорость? (Вам нужно БЫСТРО решить эту проблему с индексацией?) Инструмент «Удалить URL-адрес» — это то, что вам нужно.Просто убедитесь, что вы выполнили этот шаг с другим решением. Так что ваше исправление «прилипает». ”
Вот как на самом деле использовать эти инструменты для решения этих проблем (шаг за шагом).
Инструкции для инструмента удаления URL-адреса
Войдите в консоль поиска Google и создайте «Новый запрос» в разделе «Временное удаление». Вы можете найти это через элемент «Удаление» на левой панели навигации.
Инструмент удаления URL-адресов позволяет вам удалить весь сайт, страницу или часть вашего веб-сайта из результатов поиска (так что действуйте осторожно!)
Сначала перейдите в GSC и инструмент удаления URL-адреса в нем:
Нажмите «Удаление «В навигации по индексу GSC
Нажмите большую красную кнопку» Новый запрос «.Добавьте свой URL-адрес в поле «Введите URL-адрес» и нажмите «Далее» для подтверждения.
Как использовать инструмент удаления URL-адреса GSC
Используйте параметр «Удалить только этот URL-адрес», если вы деиндексируете одноразовые страницы.
Если вы хотите деиндексировать, скажем, все страницы, которые находятся в папке / cart, добавьте этот URL-путь в поле «Введите URL-адрес» и установите переключатель в положение «Удалить все URL-адреса с этим префиксом». * Остерегайтесь этой опции, так как вы можете случайно не индексировать другие страницы. В основном: убедитесь, что в этой папке нет ничего, что вы хотите проиндексировать.Если это так, то все готово!
Инструкции по тегу Noindex
Метатег noindex для роботов или заголовок x-robots — это метод связи, позволяющий поисковым системам удалить страницу из своих индексов.
Пример инструкции noindex мета-роботов:
Пример тега noindex x ‑ robots в ответе заголовка:
HTTP / 1.1 200 OK X-Robots-Tag: noindex
Основное различие между ними — для ваших целей — состоит в том, что первый работает для страниц (URL-адресов), тогда как ответ x ‑ robots работает для страниц И типов файлов, отличных от HTML, таких как PDF.X-Robots менее распространен и может быть или не быть доступен непосредственно в вашем CM (например, вам, вероятно, придется работать со своей командой инженеров, чтобы заставить его работать.)
Убедитесь, что ваши страницы доступны для сканирования — поскольку боты будут иметь чтобы просканировать вашу страницу и увидеть теги. Здесь вы можете найти подробную информацию о процессе сканирования и индексации роботов поисковых систем.
Узнайте все об индексировании роботов и о том, как это сделать, здесь.
Канонические инструкции по тегам
Когда существует несколько версий страницы, то есть копия страницы может быть достигнута через несколько URL-адресов или вариантов URL-адресов, оптимальным методом SEO является «консолидация» этих страниц путем их канонизации в основной URL-адрес.(ПРИМЕЧАНИЕ: предполагается, что вы не можете просто удалить и перенаправить дублированный контент.)
Узнайте все о канонизации и о том, как это сделать, здесь.
При реализации этой методологии помните, что боты могут игнорировать вас, особенно если страницы не являются настоящими дубликатами. Скорее, каноничность — это «рекомендация», которую вы даете Google, а не «команда», которой они должны следовать.
Robots.txt Disallow Instructions
Опять же — запрет не является * прямым * инструментом индексации, но может быть эффективным (особенно когда имеет значение масштаб!) При использовании в сочетании с другими методами (в частности, инструментом удаления URL и удаление ссылки.)
Вы можете узнать все о файле robots.txt и о том, как это сделать, здесь.
Все ли вы делаете правильно, но все еще не видите, что эти активы удаляются из поискового индекса?
Эта проблема, вероятно, связана с тем, что Google не сканирует эти URL-адреса (или PDF-файлы и т. Д.) До , см. новые инструкции, и, следовательно, не выполняет работу по их устранению.
Самым простым решением здесь является:
Создайте статическую карту сайта XML со списком старых / неверных URL-адресов
Загрузите этот список на свой веб-сайт
Отправьте файл в учетную запись GSC вашего сайта и отслеживайте результаты (обычно) ~ 1-2 месяца (иногда всего несколько недель)
Удалите файл из GSC / вашего сайта после завершения процесса (чтобы уменьшить количество ошибок в файле карты сайта)
Таким образом, Google быстро найдет каждый URL-адрес, просканируйте его, просмотрите обновленные инструкции и узнайте, какие действия следует предпринять как можно скорее.
* Не забудьте удалить файл из GSC / вашего сайта после завершения процесса (чтобы уменьшить количество ошибок в файлах карты сайта. В долгосрочной перспективе вы не хотите, чтобы это стало проблемой!)
Наконец, вот несколько быстрых советов «в дорогу»:
Подумайте, почему возникла эта проблема, и постарайтесь устранить причину проблемы, а не только ее симптом.
‍ Сделайте свои процессы SEO отказоустойчивыми, чтобы снизить риски возникновения таких проблем в будущем.Например, если у вас есть множество внутренних ссылок на страницу, которую не следует индексировать, nofollow по ссылкам на них. Если на этой странице также есть внешние ссылки, обратитесь к этим веб-сайтам и попросите их удалить ссылки или также запретите их. В конце концов, Google индексирует их только потому, что они считают, что кто-то этого хотел. Так что устраните причину, по которой Google проявляет заботу!)
Если вам нужно отслеживать индексацию с течением времени, вот несколько полезных инструментов:
GSC: вы можете «Проверить URL» для рассматриваемой страницы или просмотреть отчет о производительности. для показов / кликов по этому URL.Вы также можете следить за отчетом об охвате и искать любые всплески индексации (которых вы не ожидали и не хотели).
Удобное напоминание в календаре: Иногда это простые вещи! Просто пусть Google напомнит вам периодически проверять это.
Инструменты мониторинга сайта: Платные инструменты, такие как Content King, могут быть настроены для выполнения работы по мониторингу за вас и оповещения, если / когда это станет проблемой.
Если вам нужно удалить весь сайт из индекса Google (например,г. деиндексируйте все это!) Самый быстрый путь — запросить его в Google Search Console, а затем использовать инструмент Удалить URL-адрес — для всего домена, а не только для пути к странице. Не забудьте также запретить сканирование домена (через файл robots.txt) и отслеживать его во времени; примерно каждые 6 месяцев — на всякий случай. Вот настройки, которые вы захотите выбрать (заменив наше доменное имя своим!
Удачного деиндексации!
Что такое поисковая система?
Использовать поисковую систему очень просто: вы открываете веб-страницу, набираете несколько слов в строке поиска, и вуаля — за доли секунды появляются миллионы результатов.Например, поиск в Google по запросу «поисковая машина» дает 1,43 миллиарда результатов за 0,69 секунды. Но , а как именно ? Вот как дикая, дикая сеть стала полностью проиндексированной, доступной для поиска и ранжирования менее чем за десять лет.
Что такое поисковая машина?
Поисковая система — это программа, предназначенная для поиска определенной информации. Тип поисковой системы, с которой большинство из нас знакомо, — это поисковая машина в Интернете, которая представляет собой веб-службу, которая находит информацию в Интернете (иногда называемую «всемирной паутиной») на основе запроса пользователя, который обычно представляет собой набор слова.
Сегодня многие люди думают, что поисковые системы являются синонимами интернет-браузеров — отчасти благодаря браузеру Google Chrome, встроившему функции поисковой машины в строку веб-адреса. Но поисковые системы — это веб-службы, специально созданные для поиска информации. К ним легко получить доступ из браузера, но это разные технологии.
Как работают поисковые системы?
Хотя с годами поисковые системы стали более сложными, они по-прежнему следуют довольно простой формуле: сканировать и индексировать все данные в Интернете, чтобы, когда вы что-то ищете, они могли предоставить вам набор результатов, ранжированных по актуальность.Вот как они это делают.
Ползать . Веб-сканеры, также известные как пауки, — это программы, которые постоянно ищут в Интернете, находят новые сайты и выявляют новые ссылки. Сканеры также отправляют текст со всех веб-сайтов в индекс для анализа. Сканеры могут даже хранить всю или часть веб-страницы, называемую кешем. Веб-мастера (люди, которые запускают веб-сайты) могут добавить на свои сайты файл robots.txt, который сообщает сканеру, какие страницы следует просматривать или игнорировать.
Индекс .Данные, которые собирают сканеры, анализируются, упорядочиваются и сохраняются в индексе, чтобы механизм мог быстро находить информацию. Подобно указателю в конце книги — но гораздо более подробному — указатель поисковой машины включает запись для каждого слова на каждой проиндексированной веб-странице.
Поиск . Когда вы запрашиваете поисковую систему, она должна сначала перевести ваши слова в термины, относящиеся к ее индексу. Это делается с помощью множества методов, включая обработку естественного языка (НЛП, которое использует машинное обучение, чтобы понять, что вы ищете).Результатом этого начального процесса перевода является переписанный запрос, который идентифицирует важные части вашего запроса, исправляет орфографические ошибки и добавляет синонимы. Затем поисковая система проверяет свой индекс, чтобы найти веб-страницы, соответствующие переписанному запросу.
Рейтинг. Поисковые системы используют алгоритмы, чтобы представить вам список результатов с приоритетом, который, по их мнению, лучше всего отвечает вашему запросу. Для расплывчатых поисков, таких как «рамэн», ваша поисковая система может предоставить ряд ответов, чтобы охватить свои основы, например общую информацию о том, что рамэн является , а также другие популярные результаты, такие как рецепты, местные магазины рамена и даже « люди также спрашивают », чтобы сузить область поиска.
Как поисковые системы ранжируют результаты?
Один поиск может выявить миллиарды релевантных веб-страниц, поэтому часть работы поисковой машины заключается в сортировке этих списков с использованием алгоритмов ранжирования. И хотя эти алгоритмы предназначены для того, чтобы дать вам наилучшие ответы на ваши вопросы, они ориентированы на определенные факторы. Поисковые системы хотят показать вам результаты, на которые вы нажмете, и используют множество факторов для ранжирования результатов в соответствии с тем, что, по их мнению, вы собираетесь использовать.К ним относятся, но не ограничиваются ими:
Использование ключевых слов. Результаты поиска должны соответствовать хотя бы некоторым словам в вашем запросе. Поисковые системы отдают предпочтение страницам, на которых эти ключевые слова появляются на видном месте, например в заголовке страницы, или часто на всей странице.
Содержание страницы. Поисковые системы отдают приоритет высококачественному контенту, анализируя длину, глубину и широту веб-страниц.
Обратные ссылки . Обратные ссылки или упоминания одного веб-сайта на другом можно рассматривать как голосование в пользу авторитета этого сайта.Первоначально разработанный Google PageRank, ранжирование обратных ссылок оценивает страницы на основе того, сколько других сайтов ссылаются на этот сайт, и насколько высок рейтинг у этих сайтов.
Информация для пользователя. Поисковые системы, такие как Google, используют вашу личную информацию, такую как история поиска и местоположение, для предоставления результатов, которые имеют уникальное отношение к вам.
4 типа поисковых систем
Основные поисковые системы, такие как Google, могут быть главными, когда мы думаем о поисковых системах, но есть и другие типы поисковых систем, которые позволяют нам перемещаться по Интернету.
Основные поисковые системы . Основные поисковые системы, такие как Google, Bing и Yahoo! все они бесплатны и поддерживаются онлайн-рекламой. Все они используют варианты одной и той же стратегии (сканирование, индексирование и ранжирование), чтобы вы могли выполнять поиск по всему Интернету.
Частные поисковые системы . Популярность частных поисковых систем в последнее время возросла из-за проблем с конфиденциальностью, возникающих в связи с практикой сбора данных в основных поисковых системах.К ним относятся анонимные поисковые системы с поддержкой рекламы, такие как DuckDuckGo, и частные поисковые системы без рекламы, такие как Neeva.
Вертикальные поисковые системы . Вертикальный поиск или специализированный поиск — это способ сузить область поиска до одной тематической категории, а не до всей сети. Примеры вертикальных поисковых систем:
Панель поиска на торговых сайтах, таких как eBay и Amazon
Google Scholar, которая индексирует научную литературу по публикациям
Доступные для поиска сайты социальных сетей и приложения, такие как Pinterest
Вычислительные поисковые системы .WolframAlpha — пример вычислительной поисковой системы, предназначенной для ответов на вопросы, связанные с математикой и естественными науками.
Популярные поисковые системы
Поисковые технологии сильно изменились с момента разработки первой поисковой системы в 1989 году. Вот основные игроки на сегодняшний день.
Google . Есть только одна поисковая система, настолько популярная, что глагол стал синонимом слова «искать». Google, на долю которого приходится 92,24 процента мирового рынка поисковых систем, на сегодняшний день является крупнейшей и самой популярной поисковой системой в мире.Чистый внешний вид и система ранжирования на основе обратных ссылок снискали популярность у пользователей в 90-х годах, и она сохранила свое доминирующее положение благодаря почти постоянным инновациям и множеству эксклюзивных соглашений с производителями устройств, операторами беспроводной связи и разработчиками браузеров, которые составляют около 60 процентов. поисков в Интернете прямо в Google.
Бинг . На поисковую систему Microsoft Bing в настоящее время приходится 2,29 процента мирового рынка, что делает ее второй по величине поисковой системой в мире.С момента своего запуска в 2009 году Bing размещал фотографии на своей домашней странице, что резко отличалось от строгой целевой страницы Google.
Yahoo! Сочетание веб-портала Yahoo !, новостного сайта и поисковой системы составляет 1,52 процента доли рынка поисковых систем. Со своего скромного начала как «Путеводитель Джерри и Дэвида по всемирной паутине» Yahoo! стала основной поисковой системой и в 2017 году была продана Verizon за 4,48 миллиарда долларов.
Baidu . Baidu — это китайская поисковая система, на которую приходится 1.48 процентов мирового рынка поисковых систем. Как и Google, Baidu начинала как поисковая система, а сейчас является одной из крупнейших технологических компаний Китая.
DuckDuckGo . DuckDuckGo — это частная поисковая система с рекламной поддержкой, на которую в настоящее время приходится 0,58 процента мирового рынка.
В 2020 году Neeva объявила о создании первой в мире поисковой системы с частной подпиской без рекламы.
Краткая история поисковых систем
В первые дни Интернета было так мало веб-серверов (в основном компьютеров, на которых размещены веб-сайты), что Тим Бернерс-Ли, создатель Всемирной паутины, держал их все в одном список.Используя этот список Бернерса-Ли, вы могли легко получить доступ ко всем существующим веб-страницам, в основном к информационным сайтам университетов или правительственных организаций.
Сегодня существуют миллиарды веб-страниц и нет центральной системы для их отслеживания, поэтому мы полагаемся на поисковые системы для поиска информации в Интернете.
1989: Будучи аспирантом Университета Макгилла, Алан Эмтадж создал первую общедоступную поисковую систему ARCHIE (архив без буквы «V») в 1989 году, а год спустя он запустил ее для широкой публики.Программа Emtage позволила ему более легко находить файлы на сайтах FTP (протокол передачи файлов), которые появились раньше Интернета.
1994 : Дэвид Фило и Джерри Янг основали Yahoo! как веб-каталог их любимых сайтов. К концу 1990-х Yahoo! работает как веб-портал (целевая страница для доступа к различным функциям Интернета) и как поисковая машина.
1995 : AltaVista запущена как первая поисковая система на естественном языке, что означает, что она принимает запросы, написанные на устном языке, а не только ключевые слова.В то время в сети было не менее 30 миллионов страниц, около 20 миллионов из которых были проиндексированы AltaVista.
1996 : запущена программа «Спросите Дживса», которая поощряла пользователей формулировать свои запросы в виде вопросов. Спросите Дживса использовали человеческие редакторы, чтобы сопоставить результаты с наиболее популярными запросами. Сегодня около 8% поисковых запросов представляют собой вопросы, и Ask Jeeves (теперь Ask.com) больше не считается основной поисковой системой.
1998 : Ларри Пейдж и Сергей Брин основали Google на основе своей поисковой системы 1996 года Backrub, которая использовала обратные ссылки как способ ранжирования результатов поиска.В то время у Google был очень простой интерфейс без рекламы с синими ссылками, за которыми следовало двухстрочное описание каждого сайта. (Реклама появится позже, в 2000 году.)
2009 : Microsoft Bing был запущен как ребрендинг поисковой системы MSN / Live, которая первоначально была запущена в 1998 году. Вскоре после своего запуска Bing начал использовать Yahoo! поисковый движок.
Основные инновации в технологиях поисковых систем
С момента запуска первых поисковых систем в 1990-х годах лидеры отрасли вводили новшества в поисковые технологии, чтобы удовлетворить все больше и больше потребностей с помощью единого интерфейса.Теперь нам не обязательно покидать страницу результатов поисковой системы, чтобы получить ответы, которые мы ищем. Вот некоторые из основных моментов в развитии технологий поисковых систем.
Машинное обучение : Microsoft разработала и запустила RankNet в 2005 году, которая использовала машинное обучение для ранжирования релевантных результатов поиска. Версия RankNet позже будет использоваться Microsoft Bing. Google представил свой собственный компонент машинного обучения, RankBrain, в 2015 году.
Универсальный поиск : в 2007 году Google запустил универсальный поиск, который интегрировал некоторые из своих различных инструментов вертикального поиска (таких как изображения, новости, видео, карты и книги) ) на одну страницу результатов поисковой системы мультимедиа (SERP).Когда вы выполняете поиск «изображения заката» на Google.com и видите в верхней части страницы результатов коллекцию изображений вместо списка ссылок, это универсальный поиск. До появления универсального поиска вам приходилось искать изображения в Картинках Google.
Локализованные результаты: В 2012 году Google начал показывать локальные результаты (на основе IP-адреса пользователя) для общего поиска. Это означало, что при поиске «футболки» Google мог предложить ближайший принтер для футболок, тогда как ранее только поиск «футболки рядом с Бруклином» запускал интеграцию с Картами.В 2016 году Google начал использовать службы определения местоположения для смартфонов и определение местоположения по Wi-Fi (которое использует местоположение ближайших точек доступа для определения вашего местоположения), чтобы давать вам локальные результаты по вашему точному местоположению .
Hummingbird : Google представил свой алгоритм Hummingbird в 2013 году, который выходит за рамки поисковых запросов пользователя, используя контекст для определения их намерений. Например, такой поиск, как «какая сейчас погода», покажет результаты местной погоды, а не объяснение концепции погоды.При поиске по запросу «погода» без «что есть» будут перечислены новости с сайта weather.com.
Сеть знаний: Google приобрела Metaweb и Freebase, свою базу данных, содержащую «более 12 миллионов вещей», в 2010 году. Это заложило основу для сети знаний, которая была запущена в 2012 году. Эта технология позволяет пользователям получать информацию с других веб-сайтов без выход из поисковой выдачи. Когда вы видите фрагмент Википедии справа от результатов поиска, это сеть знаний. Эта функция имела далеко идущие последствия: в 2020 году около 65 процентов поисковых запросов в Google завершились без нажатия пользователем на какие-либо результаты, предположительно потому, что они нашли то, что искали, в поисковой выдаче.(Google утверждал, что есть много причин, по которым результат поиска может закончиться без каких-либо щелчков мышью, например, переформулировка вопроса.)
Хотите попробовать другой вид поисковой системы, созданной только для людей, а не для рекламы? Neeva — первая в мире частная поисковая система без рекламы, которая стремится показывать вам лучшие результаты при каждом поиске. Мы никогда не будем продавать или передавать ваши данные никому, особенно рекламодателям. Попробуйте Neeva на себе на neeva.com.
Установка правил индексации »SEO-блог Link-Assistant.Com
Индексация страниц сайта — это то, с чего начинается процесс поисковой оптимизации. Разрешение роботам-роботам доступа к вашему контенту означает, что ваши страницы готовы для посетителей и вы хотите, чтобы они отображались в поисковой выдаче, поэтому на первый взгляд всеобъемлющая индексация кажется огромным преимуществом.
Однако могут быть случаи, когда вы можете получить больше пользы от исключения определенных страниц вашего сайта из индексов. В этом посте рассматриваются основные случаи, когда разумнее скрыть свой контент от внимания поисковых систем.
И первый вопрос:
Какие страницы сайта не должны индексироваться Google?
Есть ряд причин, по которым вы хотели бы скрыть свои страницы от роботов поисковых систем. Среди них:
Защита контента от прямого поискового трафика является обязательной, когда страница содержит личную информацию, конфиденциальные данные компании, информацию об альфа-продуктах, информацию профилей пользователей, личную переписку, требования к регистрации или учетным данным.
Во избежание проблем с дублированием содержимого настоятельно рекомендуется скрывать страницы с дублирующимся содержимым (например, Adobe PDF или версии страниц веб-сайта для печати). Кроме того, сайтам электронной коммерции рекомендуется скрывать страницы с одинаковыми описаниями одного и того же продукта, которые различаются только цветом, размером и т. Д.
Предлагает мало или совсем не представляет ценности для посетителя веб-сайта
Страницы, которые не имеют ничего общего с основной целью сайта и не имеют практической ценности для зрителя, должны быть исключены из результатов поиска.Это могут быть страницы, созданные для внутренних нужд компании: страницы входа администратора, формы регистрации, страницы политики конфиденциальности, страницы благодарности и т. Д.
Страницы, которые находятся в процессе разработки, не должны попадать сканеры поисковых систем, пока они не будут полностью готовы для посетителей.
* * *
А теперь вопрос: как скрыть все вышеперечисленные страницы от надоедливых пауков? Ниже приведено несколько проверенных способов ограничить индексирование страниц (их гораздо больше, но давайте остановимся на самых простых и популярных).
Два простых способа скрыть веб-страницу от просмотра поисковой системы
1. Через файлы robots.txt.
Возможно, самый простой и прямой способ ограничить доступ сканеров поисковых систем к вашим страницам — это создать файл robots.txt.
Вот как это работает:
Роботы.txt позволяют заранее исключить нежелательный контент из результатов поиска. С помощью этого файла вы можете ограничить доступ к одной странице, целому каталогу или даже к одному изображению или файлу.
Создание файла robots.txt
Процедура довольно проста. Вы просто создаете файл .txt со следующими полями:
‘User-agent:’ — в этой строке вы указываете искателя, о котором идет речь;
‘Disallow:’ — 2 или более строк, которые запрещают указанным поисковым роботам обращаться к определенным частям сайта.
Также обратите внимание, что некоторые сканеры (в частности, Google) также поддерживают дополнительное поле под названием ‘Allow:’ . Как следует из названия, ‘Allow:’ позволяет вам явно указывать, какие файлы / папки можно сканировать.
Вот несколько основных примеров объяснения файлов robots.txt.
«*» в строке «User-agent» означает, что все роботы поисковых систем получили указание не сканировать ни одну из страниц вашего сайта, что обозначено «/».Скорее всего, именно этого вы предпочли бы избежать, но теперь вы поняли идею.
Этим файлом вы запрещаете роботу Google Image сканировать ваши изображения в выбранном каталоге.
Дополнительные инструкции о том, как записать такие файлы вручную , можно найти здесь.
Но процесс создания robots.txt можно полностью автоматизировать — существует широкий набор инструментов, которые могут создавать и загружать такие файлы на ваш сайт.Например, Website Auditor может легко скомпилировать файл robots.txt и мгновенно загрузить его на ваш сайт.
Если создание robots.txt звучит для вас как рутина, вы можете сделать это очень весело! Посмотрите эту статью — в ней рассказывается о забавных и интересных случаях, связанных с использованием этого типа файлов на некоторых сайтах.
NB!
И помните, что, несмотря на использование таких терминов, как «разрешить» и «запрещать», протокол носит чисто рекомендательный характер. Robots.txt — это не блокировка страниц вашего сайта, это больше похоже на «Личное — держаться подальше».
Robots.txt может помешать «законопослушным» ботам (например, ботам Google, Yahoo! Bing) индексировать ваш контент. Однако вредоносные боты просто игнорируют это и все равно просматривают ваш контент. Таким образом, существует риск того, что ваши личные данные могут быть извлечены, скомпилированы и повторно использованы под видом добросовестного использования. Если вы хотите, чтобы ваш контент был на 100% безопасным и безопасным, вам следует ввести более безопасные меры (например, ввести регистрацию на сайте, скрыть контент под паролем и т. Д.).
2.Через метатег robots noindex.
Использование метатега noindex для роботов для предотвращения индексирования определенных страниц роботами поисковых систем является одновременно эффективным и простым. Процесс создания таких тегов требует совсем немного технических знаний и может быть легко выполнен даже младшим специалистом по поисковой оптимизации.
Вот как это работает:
Когда бот Google получает страницу, он видит метатег noindex и не включает эту страницу в веб-индекс.
Примеры мета-тегов роботов:
Добавление этого метатега в исходный HTML-код вашей страницы указывает боту поисковой системы проиндексировать эту и все другие страницы вашего сайта.
Изменяя «Follow» на «nofollow», вы влияете на поведение бота поисковой системы. Такой тег указывает поисковой системе проиндексировать страницу, но не следовать всем ссылкам, которые на ней размещены.
Этот метатег указывает боту поисковой системы игнорировать страницу, на которой он размещен, но переходить по всем размещенным на ней ссылкам.
Этот тег, размещенный на странице, означает, что ни страница, ни ссылки, содержащиеся на этой странице, не будут отслеживаться или индексироваться.
Куда добавить мета-теги роботов?
Вы можете добавить метатег robots на первую страницу индекса, давая таким образом команду боту поисковой системы сканировать веб-сайт или нет. Кроме того, вы можете добавить эти теги на каждую страницу, которую нужно скрыть от индексации. Просто убедитесь, что добавлены соответствующие метатеги.
Файлы robots.txt или метатеги nofollow?
Тег noindex обычно считается более безопасным способом предотвращения индексации страниц.Однако с этим тегом труднее справиться, потому что он применяется постранично.
Использование файлов robots.txt — это более простой способ управления всеми неиндексированными страницами, поскольку вся информация хранится в одном файле.
***
Теперь вы знаете основы того, как находить и скрывать определенные страницы вашего сайта от внимания ботов поисковых систем.
Но если страницы, содержащие личную информацию или предназначенные для внутренних нужд вашей компании, легко найти, поиск страниц с дублированным контентом может оказаться довольно сложной задачей.Следите за обновлениями второй части этой статьи, чтобы узнать, как справиться с проблемой дублирования контента.
Изображение предоставлено: Wootpeanuts (через Flickr.