Почему страницы сайта выпадают из индексации

Наверное, каждый веб-мастер сталкивался с проблемой, когда органического трафика становится все меньше, посещения сайта падают, а в поисковой выдаче страниц почти не остается. Если с подобной проблемой столкнулись и вы, то стоит проверить, не выпал ли сайт и отдельные страницы из поисковой индексации. Как это сделать и почему страницы могут перестать индексироваться — разберемся в этой статье.

Чтобы узнать, индексируется сайт или нет, веб-мастеру потребуется:

1. Зайти в Яндекс Вебмастер, перейти на вкладку «Индексирование», нажать «Проверить статус URL». В поле проверки ввести ссылку на сайт, который необходимо проверить. Если будет написано, что страница обходится роботом и находится в поиске, значит, все хорошо.

Пример проверки в Яндекс Вебмастере

2. Далее воспользуемся поисковиком Яндекса и оператором URL для проверки. Вводим запрос (url:ссылка на сайт). Если страница индексируется, то нажав «Поиск», вы увидите ее в выдаче Яндекса, если нет — страница будет отсутствовать.

Пример индексированной страницы в поиске Яндекса

3. Проверим, что с сайтом в поисковой системе Google. Для проверки индексации в Google используется сервис Google Search Console. Заходим в сервис, вставляем ссылку на сайт и ждем ответа от Google.
4. По окончании проверки веб-мастер получает всю информацию о странице, в том числе индексируется ли URL.

Пример отчета Google Search Console

Массовое выпадение страниц из индексации

Помимо выпадения целого сайта из индексации, могут выпадать и отдельные страницы, поэтому за этим процессом необходимо периодически следить, проверяя хотя бы основные страницы.

1. Разберемся с выпадением страниц в Яндексе. Для этого опять направляемся в Яндекс Вебмастер, на вкладку «Индексирование» и переходим в раздел «Страницы в поиске».

Отчет об индексации в Яндекс Вебмастере

2. Обязательно проверяйте раздел «Исключенные страницы», здесь отобразится вся информация о дате и причине исключения из индексации.

Отчет об исключенных страницах в Яндекс Вебмастере

3. Для проверки исключений в Google используется Google Search Console, где после входа необходимо перейти на вкладку «Покрытие». Здесь отображается следующая информация:

• Страницы, имеющие ошибки (Google не может их проиндексировать).
• Страницы, которые имеют проблему, но индексируются.
• Страницы, не имеющие ошибок.
• Страницы, исключенные из индексации.

Отчет в Google Search Console

Причины выпадения страниц из индексации

Ключевых причин, по которым страница может пропадать из индексации, две: технические и контент. Третья причина на стороне поисковых систем, иногда Google/Yandex лагают, и сканирующий бот пропускает или просто не индексирует страницу.

Решается проблема через техническую поддержку Google/Яндекса. Пишите смело, ведь помимо точной информации о сайте и его страницах вы получите рекомендации по оптимизации страниц.

Технические причины

Редиректы. Поисковые системы исключают из индексации сайты, которые имеют редирект и переводят пользователя на другие страницы. При этом конечная страница, на которую и происходит редирект, может не выпадать из индексации, если не нарушает других правил.

Пример отчета редиректов в Яндекс Вебмастере

Следовательно, если не хотите терять позиции в поисковой выдаче — исключите редирект с сайта. Но бывает и другая ситуация, когда сайт меняет основную ссылку, переезжая на другой адрес. В этом случае редирект использовать стоит, чтобы не терять клиентов, которые переходят, пользуясь ссылкой на старый сайт.

404. Страницы, при переходе на которые пользователь видит 404 ошибку, не индексируются. Если страница удалена и не работает по ошибке, то ее стоит восстановить. В случае, когда страница не нужна, на сайте следует удалить все ссылки, которые на нее вели.

Пример 404 ошибки на сайте

Иногда и по вине хостинг-провайдера на страницах сайта висит 404 ошибка — если проблема повторяется часто, то лучше сменить хостинг, чтобы не терять позиции в поисковой выдаче.

Для проверки сервера перейдите в Яндекс Вебмастер, зайдите в раздел «Инструменты» и выберите «Проверка ответа сервера».

Проверка ответа сервера в Яндекс Вебмастере

Метатег Robots (noindex) и файл Robots.txt. Каждый владелец сайта может настраивать страницы, которые не стоит включать в поисковую индексацию, делается это при помощи файла Robots.

Открываете файл Robots, направляетесь к атрибуту «name», если стоит значение «robots», а атрибут «content» имеет значение «noindex» — это означает, что индексация страницы запрещена любому роботу поисковой системы.

Настройка показа страницы с использованием метатега Robots

Следовательно, если индексировать страницу не надо, оставляете «noindex», в иных ситуациях — удаляете. Больше информации о тонкостях работы с метатегами можно найти в справке Google.

Просканированная страница еще не проиндексирована. В Google Search Console есть сайты, исключенные из индексации, имеющие статус «Страница просканирована, но пока не проиндексирована» — это означает, что поисковый робот увидел страницу, просканировал, но в индексацию она еще не попала. Стоит просто подождать и страница появится в поиске.

Пример отчета в Google Search Console просканированной страницы

С проблемой индексации можно столкнуться еще и из-за плохого хостинга или постоянных технических работ. Например, поисковый робот, обходя сайты, попадет в интервал времени, когда страница находится на технических работах или упал хостинг.

В этом случае бот вынужден исключить страницу из индексации. После того, как сайт возобновит работу, вы можете просто направить бота просканировать страницы еще раз, и тогда они вновь проиндексируются.

Чтобы направить Google-бота, необходимо подать запросы в Google Search (больше информации), а в Яндексе зайти в Вебмастер и в разделе «Индексирование» назначить переобход страниц (информация по Яндексу).

Неканоническая страница. Неканонической является страница, которая схожа по контенту с другой страницей, но имеет меньший приоритет показа, из-за чего может выпадать из поисковой выдачи. Для этого в исходном коде присутствует атрибут rel=«canonical», который позволяет выделить для поисковых систем приоритетную страницу, вследствие чего другие страницы могут исключаться из поиска.

Но проблема может возникнуть на этапе сканирования страниц ботом, если он неправильно определяет каноническую страницу, то как раз основная выпадет из поисковой выдачи, чтобы этого избежать необходимо удалить атрибут rel=«canonical» с других страниц, которые не являются приоритетными в показе.

Пример отчетов в Google Search Console и Яндекс Вебмастер о канонических страницах.

Google Search Console

Яндекс Вебмастер

Вредоносный код на сайте. Сайт, который имеет вредоносный код вне зависимости от процесса появления кода (взломали сайт или вы самостоятельно изменили код) получает санкции и выпадает из индексации. Если вас взломали, то стоит сразу обратиться в техподдержку Google/Яндекса, сообщить о проблеме и восстановить работу сайта.

Причины зависящие от контента

Дубли. Страницы, которые дублируют контент с других ресурсов (речь идет о полном или частичном дублировании), исключаются из поиска.

Если на сайте есть похожие друг на друга страницы — это другая ситуация, здесь одна из страниц может выпадать из индексации, поэтому за ненадобностью от второй можно отказаться.

Пример отчета с Яндекс Вебмастера о дублированных страницах

Если необходимо, чтобы похожие друг на друга страницы оставались на сайте и проходили индексацию, то их нужно максимально уникализировать. Можно изменить метатеги, сделать уникальными картинки и текст. Процент уникальности текста должен быть около 90%, чтобы уникализировать картинки — перескриньте их или скиньте в Телеграм и скачайте).

Исключенные страницы за дублирование в Яндекс Вебмастере

В ситуации, когда нет времени уникализировать вторую страницу, можно сделать одну из них каноничной.

Плохое качество контента. Под плохим качеством контента понимается низкая уникальность статей, большое количество рекламы, спам, низкое качество изображений.

Искусственный интеллект поисковых систем все время сравнивает сайты и определяет, насколько каждая страница привлекательна пользователям, сколько по времени ее читают, где пользователи останавливаются, какой процент отказов и т. п. Поэтому чем хуже ИИ оценит качество наполнения сайта, тем ниже позиция будет в выдаче.

Отчет в Яндекс Вебмастере о плохом качестве контента

Плохое качество страниц. Плохими называются страницы, которые не удовлетворяют поисковому запросу человека. Например, пользователь ищет «как выбрать зубную щетку», а, попадая на сайт, ему приходится читать о здоровье зубов.

Обнаружив плохую страницу, робот опускает ее в поисковой выдаче. Чаще всего сюда относятся страницы с небольшим количеством контента.

Пример Яндекс Вебмастера

Для повышения позиций необходимо наполнять сайт разносторонним контентом, указывать контактную информацию. Например, веб-мастерам интернет-магазина рекомендуется рассказать о гарантии, о процессе покупки и получении продукта.

Переоптимизированный контент. Встречается на сайтах, где статьи пишутся для поисковых систем, а не читателей. На сайте все материалы с Сео-оптимизацией, статьи кишат ключевыми словами, но при этом информационная ценность в них минимальна.

Обычно такие сайты хоть и выигрывают на Сео-оптимизации, проигрывают, когда ИИ поисковиков оценивает ресурс с точки зрения пользы читателю. По итогу подобные сайты выпадают из индексации или теряют позиции в поисковой выдаче.

Переоптимизация в Яндексе

Решение — сосредоточиться на контенте для пользователей, в перспективе такой подход имеет больше преимуществ.

Накрутка поведенческих факторов. Поисковые системы в 2021 году достаточно хорошо развиты, чтобы вычислять «фейковые» поведенческие факторы, поэтому если владелец сайта решит накрутить популярности, то поплатится плохой индексацией.

Искусственные ссылки на сайт в отчете Яндекс Вебмастера

В качестве примера можно привести накрутку кликов по ссылкам на сайте, нередко черные сайты накручивают и клики по рекламе, чтобы увеличивать свой доход, тем не менее такой путь приводит лишь к блокировке и потере доверия со стороны поисковых систем (сайт может выпадать из индексации вплоть до 9 месяцев).

Семейный фильтр. Крупные поисковые системы (как раз Google и Яндекс) имеют фильтр, исключающий из поисковой выдачи страницы, содержащие материалы 18+. Помимо этого под фильтр могут попасть сайты, которые содержат рекламные блоки или ключевые слова, связанные с адалт-тематикой.

Пример семейного фильтра в Яндекс поиске

Блокировка сайта. К блокировке могут приводят действия, запрещенные правилами поисковой системы. Например, запрещенные способы продвижения, клоакинг, скрытые и многократные повторяющиеся теги h2 и strong, большое количество «украденного» контента и редиректов.

Отчет об имитации действий пользователей в Яндекс Вебмастере

Неуникальные сниппеты. Сниппет — небольшой информационный блок, отображающий содержание сайта по поисковому запросу. Сниппет помогает сложить первостепенное представление о контенте на странице, следовательно, чем сниппет привлекательнее, тем больше трафика получит сайт.

Пример сниппета в поисковой выдаче Google

Если сниппет сайта похож на сниппет конкурента, то поисковая система вынуждена скрыть один из них. Эта ситуация достаточно часто встречается в интернет-магазинах, где находятся одинаковые товары с похожим описанием (Например, можно вспомнить продажу цветов, товар у всех одинаковый, а придумать какое-то уникальное описание не просто).

Следовательно, чтобы избежать выпадения страницы из выдачи, рекомендуется использовать уникальное описание сайта. Если замечаете, что начинаете терять органический трафик по основным запросам, то, скорее всего, вас настигла эта проблема, но, поменяв описание и просканировав страницу поисковым ботом, вы решите проблему.

Аффилированность. Если компания имеет два сайта с похожим контентом и описанием, то они будут бороться и за поисковую выдачу, причем поисковые системы здесь не будут показывать один сайт на первом месте, а другой на второй, в выдаче будет только какой-то один сайт.

Пример аффилированности

Google и Яндекс все время борются за разнообразие поисковой выдачи, поэтому и стараются, чтобы два сайта одной компании не показывались по одному и тому же набору ключевых фраз. Процесс определения аффилиатов простой, поисковый робот сравнивает информацию сайтов, начиная с контактных данных.

Как проверить, находится ли сайт под фильтром

1. Для проверки в Яндексе заходите в Яндекс Вебмастер, направляетесь в раздел «Диагностика», подраздел «Безопасность и нарушения» и проверяете сайт. Если сайт получил фильтр, то информация об этом будет находиться прямо здесь.

Информация о диагностике сайта в Яндекс Вебмастере

2. Для проверки в Google переходите в Google Search Console, далее направляетесь в раздел «Меры, принятые вручную», а после «Проблемы безопасности». Если в обоих разделах пусто, значит нарушений нет и поисковой индексации ничего не мешает.

Диагностика в Google Search Console

Рекомендации от поисковых систем:

• Чтобы сайты хорошо индексировались как на ПК, так и на телефонах, убедитесь, что мобильная версия сайта содержит тот же самый контент.
• Используйте одинаково информативные заголовки для всех версий сайта.
• Проверяйте качество видео и фото. Лучше индексируются страницы, где контент высокого разрешения.
• Подтвердите право собственности на сайт.
• Убедитесь, что сайт не нарушает правил безопасности.

Вывод

Подводя итоги, рекомендуем чаще пользоваться сервисами Google Search Console и Яндекс Вебмастер для аналитики как сайта целиком, так и отдельных страниц, а также посвящать время технической составляющей поисковой выдачи. Ведь чем лучше вы разбираетесь в работе алгоритмом поисковиков, тем больше трафика сможете привлечь на сайт.

«Проверить URL» — в Яндекс.Вебмастере — что-то новенькое

#1 protector

Отправлено 13 Февраль 2014 — 12:05

В Яндекс.Вебмастере появилась новый сервис — «проверить url».
Подставляешь туда урл внутренней странице и выдается:
— сколько внешних ссылок на эту страницу
— сколько внутренних
— Версия страницы на момент построения поисковой базы (дата кеша)
— последний обход роботом

Стало удобнее анализировать внутренние страницы.
Спасибо Яндексу.

• Наверх

---

#2 iSeller

Отправлено 13 Февраль 2014 — 12:30

Интересный показатель внутренние ссылки или врет, или там есть свой секрет.

Пишет что внутренних ссылок 0.

Продажа оригинальной продукции Apple в Москве Apple-Seller.ru

• Наверх

---

#3 protector

TC Отправлено 13 Февраль 2014 — 12:45

iSeller (13 Февраль 2014 — 12:30) писал:

Интересный показатель внутренние ссылки или врет, или там есть свой секрет. Пишет что внутренних ссылок 0.

А быть правдой не может быть? Ссылки со страниц, которые не в индексе не будут считаться.

У меня вот , что выдало по странице, которая не в индексе

Цитата

Страница обходится роботом, но отсутствует в поиске, поскольку дублирует уже имеющиеся страницы. Возможные причины описаны в Помощи.

• Наверх

---

#4 aif17

Отправлено 13 Февраль 2014 — 12:54

Цитата

А быть правдой не может быть? Ссылки со страниц, которые не в индексе не будут считаться.

У меня на морду показывает 0 внутренних, то ли он сквозняки не считает, то ли недоделан
Да и было бы круто чтоб он показывал какие именно внешние ссылки на эту страницу, тогда б цены ему не было

Сообщение отредактировал aif17: 13 Февраль 2014 — 12:56

• Наверх

---

#5 virtuoso

Отправлено 13 Февраль 2014 — 13:01

Блин, зла не хватает! Извращаются как могут. Пусть бы лучше, сперва отшлифовали то, что имеют. А то хочешь сайтмап сменить — приходится долго танцевать с бубном
У Гугла нажал «resubmit» — и все, через секунду уже готово. Шайтан!?

• Наверх

---

#6 iSeller

Отправлено 13 Февраль 2014 — 13:12

protector сказал:

А быть правдой не может быть?

Ну правдой быть это не может по определению, так как в индексе 391 страница, вроде все что нужно в индексе и с каждой идет ссылка на главную.

Ссылки на остальные страницы показывает, видимо так задумано.

virtuoso сказал:

А быть правдой не может быть?

У да….. Был косяк с этим, решил только через Платонов. В момент захода робота хостинг был заблокирован, буквально 5 часов не работал, Яша сожрал sitemap Reg.ru, что я только не делал, ни как не мог самостоятельно удалить его.

Продажа оригинальной продукции Apple в Москве Apple-Seller.ru

• Наверх

---

#7 snatch

Отправлено 13 Февраль 2014 — 13:38

aif17 сказал:

Да и было бы круто чтоб он показывал какие именно внешние ссылки на эту страницу, тогда б цены ему не было

Ну да, и что бы еще напротив каждой внешней какой у нее траст/вес И тогда яндекс директ можно будет закрывать

Разместить рекламу на форуме, расценки тут

• Наверх

---

#8 protector

TC Отправлено 13 Февраль 2014 — 13:50

aif17 (13 Февраль 2014 — 12:54) писал:

Да и было бы круто чтоб он показывал какие именно внешние ссылки на эту страницу, тогда б цены ему не было

Так он это показывает в разделе «внешние ссылки».
У меня примерно правильно показывает кол-во внутренних ссылок.

snatch (13 Февраль 2014 — 13:38) писал:

Ну да, и что бы еще напротив каждой внешней какой у нее траст/вес

Ну и тогда является ссылкой сео или естественная.. да и вообще сео-аудит от яндекса нужен)

• Наверх

---

#9 Realtim

Отправлено 13 Февраль 2014 — 15:01

интересную вещь он показывает для страниц АГСных сайтов с уником:

Все анализаторы уникальности текстов показывают 95-100%. Контент — очень хорошо переработанный рерайт — взято несколько источников, далее писался на основе их информации, не подглядывая в источники. Такой рерайт можно причислить к копирайтингу. Тема сайта — 8 марта. Что тут свое придумывать? Все уже придумано, на основе этого и написано со своим авторским взглядом.

• Наверх

---

#10 protector

TC Отправлено 13 Февраль 2014 — 17:26

Realtim (13 Февраль 2014 — 15:01) писал:

Все анализаторы уникальности текстов показывают 95-100%. Контент — очень хорошо переработанный рерайт — взято несколько источников, далее писался на основе их информации, не подглядывая в источники. Такой рерайт можно причислить к копирайтингу. Тема сайта — 8 марта. Что тут свое придумывать? Все уже придумано, на основе этого и написано со своим авторским взглядом.

Значит Яндекс лучше определяет уникальность текстов, чем все анализаторы.. и это очень плохо. Нам трудно различить, где уник , а где нет.

• Наверх

---

#11 Realtim

Отправлено 13 Февраль 2014 — 18:18

protector сказал:

Значит Яндекс лучше определяет уникальность текстов, чем все анализаторы.. и это очень плохо. Нам трудно различить, где уник , а где нет.

согласен. Есть еще так называемая смысловая уникальность. И вроде даже кто-то в Яндексе говорил, что 10 000-ая статья про то, как установить кондиционер в индексе просто не нужна, если там нет своей изюминки и добавочной ценности.

• Наверх

---

#12 Drakon

Отправлено 14 Февраль 2014 — 00:03

чет ваще . ..чего у него за цифры такие, эти ссылки внешние и внутрении…. ппц логики не вижу ( лан бы их хоть показывал)

недорогие и надежные vds — инструмент поднятия ТИЦ
монетизация с ссылок: тут и тут
…
успевает тот, кто не спешит (с)

• Наверх

---

#13 protector

TC Отправлено 19 Февраль 2014 — 15:21

А вот и официальная информация

Цитата

Для анализа каждой из этих проблем в Вебмастере существует свой способ, однако для того, чтобы сразу можно было увидеть всю необходимую информацию, мы объединили эти возможности в новом инструменте «Проверить URL». Он поможет получить информацию об индексировании:

* дату последней загрузки страницы;
* наличие ошибки при этой загрузке;
* исключена ли страница при построении поисковой базы;
* какая версия страницы попала в поиск;
* количество внешних и внутренних ссылок на страницу.
Кроме того, теперь будут видны и новые статусы: известен ли роботу адрес страницы, начала ли она индексироваться и есть ли с нее перенаправления.

Отчет формируется в течение нескольких минут и хранится 6 месяцев; всего можно создавать до 250 отчетов для каждого подтвержденного сайта. Если вы уже создали 250 отчетов и добавляете ещё, то старые версии будут удаляться по мере добавления новых.

http://webmaster.ya….l?item_no=17844

• Наверх

---

#14 isay777

Отправлено 04 Март 2014 — 10:12

А все-таки клевая штука. Смотрел страницу в начале февраля, закупил ссылок…. Теперь смотрю в марте, красота…
Я так понимаю можно следить за тем, сколько ссылок учел яша…

Прикрепленные файлы

•  1. png   7,96К   17 Количество загрузок:
•  2.png   8,03К   18 Количество загрузок:

мое портфолио — Дешевый и надежный хостинг c SSD — СНИМАЕМ ПОЗИЦИИ ЧЕТКО

• Наверх

---

#15 Serg_pnz

Отправлено 04 Март 2014 — 12:21

Гы) Вчера проанализировал pdf документ на предмет наличия — оказывается не проиндексирован, ну я его в адурилку, а в сегодняшний ап минус 50 страниц. Адуреть эффект

Не все кальсоны с оторванными пуговицами – брюки. © Serg_pnz

• Наверх

---

#16 protector

TC Отправлено 04 Март 2014 — 13:53

isay777 (04 Март 2014 — 10:12) писал:

А все-таки клевая штука. Смотрел страницу в начале февраля, закупил ссылок…. Теперь смотрю в марте, красота…
Я так понимаю можно следить за тем, сколько ссылок учел яша…

Так и раньше можно было следить через сервис «внешние ссылки», если в строку подставить урл страницы

• Наверх

---

Почему заблокированный URL-адрес без индекса отображается в результатах поиска?

Изменено: 25.01.2021

Если вы используете robots.txt, чтобы заблокировать доступ к каталогу или определенной странице для сканеров поисковых систем, эта страница/каталог не будет просканирована или проиндексирована. В некоторых случаях Google покажет страницу, которая заблокирована через файл robots.txt в поисковой выдаче.

Content

Content

Вы можете заблокировать каталог «a-directory» и страницу «a-page.html» для вебкраулеров следующим дополнением к сайтам robots.txt:

 Агент пользователя: *
Запретить: /a-каталог/
Disallow: /a-page. html 

Почему я нахожу свою страницу в результатах поиска, хотя она заблокирована через robots.txt?

В некоторых случаях Google покажет страницу, которая заблокирована через файл robots.txt в поисковой выдаче (страницы результатов поисковой системы).

В этих случаях важно знать, что сканер действительно учитывает файл robots.txt и не добавляет содержимое таких заблокированных страниц в свой индекс. Поэтому Google не имеет доступной информации, когда дело доходит до этой страницы.

Когда заблокированная страница появляется в поисковой выдаче?

Если на заблокированной странице много входящих ссылок с окончательным текстом ссылки, Google может рассматривать содержание страницы как достаточно релевантное, чтобы отображать URL-адрес, который появляется в этих текстах ссылок, в результатах поиска. Однако содержание этого URL-адреса до сих пор неизвестно Google, поскольку они не могут просканировать или проиндексировать страницу.

Обычно вы можете распознать страницы в поисковой выдаче, которые были заблокированы через robots. txt от сканирования и индексации по отсутствующему фрагменту (например, описанию).

Google все больше внимания уделяет сигналам пользователей – пример

Мы используем robots.txt для блокировки доступа к нашей странице http://www.domain.com/grandmas-cakerecipe.html . Сканеры Google выполняют нашу просьбу не сканировать и не индексировать содержимое страницы. Поэтому Google понятия не имеет, какой контент содержится в файле grandmas-cakerecipe.html .

Допустим, эта страница содержит рецепт мирового класса, и мы получаем много входящих ссылок с других страниц, многие из которых содержат текст ссылки «Рецепт пирога мирового класса от бабушки». В таких случаях наша заблокированная страница http://www.domain.com/grandmas-cakerecipe.html может отображаться на страницах результатов поисковой системы (SERP) по запросу «Рецепт бабушкиного пирога мирового класса» — несмотря на то, что мы блокируем сканеры через robots.txt.

Как окончательно предотвратить отображение контента на страницах результатов поиска

Файл robots. txt не гарантирует, что ваша страница не попадет в результаты поиска.

Чтобы убедиться, что страница точно не попадет в результаты поиска, следует использовать роботов метаэлементов со значением NOINDEX.

Непросканированные URL в результатах поиска

Изменено: 25.01.2021

Google Search Console не может просканировать сайт из-за файла robots.txt

Первое правило поисковой оптимизации простое: Убедитесь, что Google – и другие основные поисковые системы — могут правильно получить доступ к вашему сайту! Если они не могут «просканировать» ваш сайт, не нужно быть большим ученым, чтобы понять, что ваш поисковый рейтинг не будет очень хорошим. На самом деле ты вообще не появишься. Так что, если Google Search Console сообщает вам, что ваш файл robots. txt блокирует сканирование сайта, у вас проблема. Хорошей новостью является то, что это не сложное решение, и это то, с чем мы сегодня вас познакомим.

Сначала немного предыстории. Что значит «сканировать» ваш сайт в первую очередь? Поисковые системы, такие как Google, используют автоматизированные сценарии для просмотра веб-сайтов во всемирной паутине. Эти сценарии называются «пауками», а процесс просмотра содержимого вашего веб-сайта называется сканированием.

Проще говоря, сканирование — это процесс, который поисковые системы используют для сбора информации о вашем веб-сайте. Таким образом, если ваш веб-сайт не позволяет поисковым системам их сканировать, ваш сайт практически невидим.

Не самое лучшее место!

Если ваш файл robots.txt блокирует сканирование сайта Google, обычно это происходит потому, что вы запустили сайт, но забыли заранее обновить файл robots.txt. Когда сайт находится в разработке, стандартная процедура блокирует его поиск поисковыми системами, потому что вы не хотите, чтобы посетители сайта натыкались на ваш наполовину созданный сайт.

Но если вы или ваш разработчик не обновите файл robots.txt заранее, он будет недоступен для поисковых систем, и вы получите следующее сообщение об ошибке в Google Search Console:

Итак, давайте поговорим о том, как это исправить.

Первый шаг — обновить файл robots.txt. Как правило, вы можете получить доступ к этому файлу через плагин веб-сайта или сам исходный код. Если вы работаете с веб-разработчиком, он или она может сделать это за вас очень легко.

Но простое исправление файла не решает проблему. Консоль поиска Google не узнает, что вы изменили свои настройки, если вы не предпримете никаких действий. Вот что нужно сделать:

Шаг первый: Откройте Google Search Console и выберите «Перейти к старой версии» в меню слева.

Шаг третий: Нажмите «Отправить»

Шаг второй: Выберите «Crawl», а затем «Robots.txt Tester»

Шаг четыре: в Диалоге. выберите «Попросить Google обновить»

 

 

Шаг пятый.