Ошибка «Нет используемых роботом файлов Sitemap»

Ошибка «Нет используемых роботом файлов Sitemap» появляется в панели вебмастера, если Яндекс не видит карту сайта. Уточним, что карта веб-ресурса — это документ в формате xml или txt, в котором содержится актуальных список всех разделов и URL-адресов ресурса. При её отсутствии поисковик может не сразу увидеть обновление проекта, из-за чего новые страницы попадут в индекс с задержкой.

Почему робот не видит карту сайта?

Чаще всего информации об отсутствии используемых роботом файлов sitemap появляется, если:

1. Документ был добавлен недавно и робот ещё не успел его проиндексировать;
2. Вы не добавили документ в панель вебмастера;
3. Проблема связана с настройками в robots.txt;
4. Вы указали нестандартное название документа;
5. На сайте отсутствует карта.

В первом случае нет повода для беспокойства. Яндекс обрабатывает документы с задержкой и, если вы загрузили корректный файл, в течение нескольких дней ошибка пропадёт. Однако, чтобы не терять время, пока он находится в очереди на обработку мы рекомендуем вам пошагово проверить другие возможные ошибки. Как это сделать мы расскажем далее.

Загрузка карты сайта

Первым делом перейдите в панель вебмастера Яндекс и откройте вкладку «Индексирование» — «Файлы Sitemap». Далее добавьте ссылку на карту ресурса в специальное поле. В течение двух недель система проверит документ и, если вы всё сделали правильно, напротив ссылки появится код ответа «ОК».

Аналогично необходимо загрузить документ в Google Search Console.

Настройка robots.txt

Иногда поисковая система может не видеть карту проекта из-за того, что её индексация запрещена в файле robots.txt. В таком случае перед ссылкой будет стоять директива «Disallow» и вам необходимо изменить её на «allow» .

Если же в robots.txt вовсе нет ссылки на документ, вы можете её добавить, прописав следующий код: «User-agent: * Allow: / Sitemap: [ссылка на документ]». Однако в таком случае вы откроете её для всех пользователей и этой информацией смогут воспользоваться злоумышленники. Поэтому мы рекомендуем предварительно посоветоваться со специалистом.

Проблемы с названием

Иногда отсутствие используемых роботом файлов с картой сайта может быть вызвано тем, что вы назвали документ нестандартным именем. Во избежание проблем лучше присваивать документу стандартное наименование «sitemap.xml» .

Как сформировать карту сайта?

В завершение рассмотрим ситуацию, когда на сервере вовсе отсутствует документ с картой ресурса.

Если у вас нет возможности нанимать специалиста в области SEO, вы можете воспользоваться автоматически генератором по созданию карты интернет-проекта. Однако этот способ платный и не всегда качественный. Поэтому некоторые большинство пользователей пытаются создать карту вручную с помощью рекомендаций Яндекс и Гугл. Однако следует иметь в виду, что они содержат не всю информацию. От себя также добавим, что при формировании файла sitemap, необходимо соблюдать следующие требования:

• Документ должен иметь формат xml или txt. Преимущество xml в том, что кроме списка адресов, в нём также можно указать дополнительные параметры страниц (частоту обновления и изменения, относительную значимость). Никто не знает улучшают ли данные сведения качество индексации, но лишним это точно не будет. Поэтому мы всё же рекомендуем использовать формат xml.
• Вы можете также создать вторую карту в формате html для пользователей. Однако поисковые системы будут её расценивать как обычную страницу. Поэтому наличие документа в формате xml или txt
  обязательно.
• Документ должен размещаться на одинаковом домене с сайтом, для которого он составлен, и указывать только на URL-адреса этого домена.
• В файле необходимо использовать кодировку «UTF-8».
• В документе необходимо указывать только актуальные и работающие ссылки. Например, в нём не должно быть битых ссылок и редиректов.
• Карта ресурса должна быть всегда актуальной, поэтому она должна автоматически генерироваться.

Как видите, без базовых знаний в области сайтостроения и поисковой оптимизации создать sitemap самостоятельно не так просто. Поэтому во избежание возможных ошибок и траты времени мы рекомендуем все-таки обратиться за помощью к профессионалам.

Rоbоts.txt и sitеmаp.xml: распространенные ошибки файлов

Некорректное составление rоbоts.txt

Rоbоts.txt — корневой файл, который будет содержать в себе запреты или команды для поисковых роботов, на основании которых системы будут перемещаться по сайту, выполнять индексацию содержания, иметь возможность контактировать с релевантной, по мнению роботов, информацией, которая может дать основание для помещение сайта в Топ, то есть «полезного для посетителей».

Для создания этого файла вам пригодится «блокнот» или стандартная программа WordPad, при создании этого файла вам нужно назвать его rоbоts.txt, где .txt – расширение файла. Дальше заполняйте его так, как написано в правилах создания этого файла в Яндекс. Вебмастере. После завершения работы с данным файлом нужно загрузить его в корневую папку ресурса.

Как найти файл?

Если вы не знаете, есть ли для вашего сайта такой файл, то это можно легко проверить, если вы наберете в браузерном поисковике: адрес сайта /rоbots.txt. Данный файл может иметь такой вид:

Для указания поисковикам на то, что нужно индексировать , а что нет, используются две команды. Директива «Disаllow: /» будет указывать на закрытую от поисковых роботов информацию, а «Allоw: /» — на открытую.

В данном случае можно воспользоваться примером. Есть интернет магазин спортивных товаров, среди его категорий есть раздел с предложениями о покупке и выборе мячей. Но сам дизайн этого раздела не закончен или ему еще нужно добавить графическую информацию или контент. Значит, если вы закроете его с помощью директивы «Disаllow: /cаtalog» , то раздел скажем, с футбольными сетками, который полностью готов к индексации, также окажется закрытым для поисковых роботов.

Проверка файла

Для нивелирования данных проблем вам нужно регулярно проверять работоспособность данного файла. В этом может помочь «Анализ rоbоts.txt», который располагается среди других инструментов Яндекс. Вебмстера.

Для этого вам потребуется:

• указать адрес ресурса и загрузить ваш файл:

  
  

• далее нужно добавить URL в соответствующем поле. Откроется окно, где вам нужно указать адреса страниц вашего ресурса, нуждающиеся в проверке:

• далее отрывайте результаты, где сразу будет видно, какие страницы открыты для индексации поисковыми роботами, а какие будут закрытыми:

  
  

Если вы выявили страницы, которые нужны для индексации, а они оказались закрытыми, вам потребуется исправлять эту проблему, прописав директиву в файле.

Некорректный файл sitеmаp.xml

Файлом Sitеmap.xml называется файл, который создан в формате XML; он содержит ссылки на страницы ресурса, которые должны быть индексированы поисковыми роботами. Его главной целью является указать роботам на самые важные страницы сайта, а также на то, как часто нужно их индексировать.

Создание файла

Создание данного файла доступно с помощью автоматизированных инструментов, таких как ХML-Sitеmaps.com (может дать указания роботу на 500 страниц), SitеmapGеnerator (используется для создания страниц служащих личными кабинетами зарегистрированным пользователям и до 2000), MуSitеmapGeneratоr (может также обслуживать 500 станиц). Если нужно прописать такой файл для ресурсов с большим количеством страниц, к примеру, их должно быть больше 10-20 тыс., то пишется специальный модуль, который способен генерировать данный файл для всех нужных страниц.

Часть файла будет выглядеть так:

Поиск ошибок

Если в данном файле обнаруживается ошибка, то это приводит к некорректной индексации страниц поисковыми роботами и, следовательно, средства, затраченные на развитие и продвижение сайта в ТОП, будут потрачены впустую.

Чтобы указать поисковым системам на Sitеmap.xml, можно воспользоваться несколькими способами (чтобы получить максимальный результат, лучше их совместить).

Инструменты Яндекс. Вебмастера, в частности пункт «файлов Sitеmap», который можно найти в настройках для проведения индексации. В этом поле нужно будет добавить соответствующий файл (этот инструмент также сможет помочь вам определить работоспособность данного файла и наличие в нем ошибок):

Можно также использовать запись в файле robоts.txt, он также служит для указания нужных путей поисковым системам. Сделать это нужно следующим образом:

Если вы хотите узнать о наличии ошибок в файле, то для этого существует специализированный сервис «Валидатор Sitemаp». В нем можно выбирать варианты загрузки файла, и с помощью кнопки «проверить» запустить валидатор в работу:

В случае корректной работы вы получите следующее:

Если же есть какие-либо ошибки или неточности в данном файле будет сообщение:

Если вы получили сообщение об ошибке, то ее нужно в срочном порядке исправлять. Это можно сделать, заново сгенерировав файл, или же открыть блокнот или любой текстовый редактор, найти ошибку и исправить ее самостоятельно.

«В вашем файле robots.txt нет ссылки на карту сайта»

спросил 6 лет, 9 месяцев назад

Изменено 2 года, 5 месяцев назад

Просмотрено 8к раз

Относительно новое для всего, что не требует здравого смысла в WordPress. Мой предыдущий сайт был сделан плохо и т. д., поэтому, короче говоря, я установил новую тему и снова начал создавать страницы и т. д.

Во время работы я провел различные диагностики SEO и т. д., и у меня возникли проблемы с индексируемостью и картами сайта.

Получение этого сообщения на проверке сайта onpage.org и нечто подобное на другой платформе, где говорится, что есть ресурсы, индексация которых запрещена.

Пожалуйста, помогите как можно скорее, так как у меня хороший рейтинг, и я не хочу, чтобы это повлияло на следующее сканирование.

• карта сайта
• robots.txt

1

Ну, это сообщение говорит само за себя. В вашем файле robots.txt нет ссылки на карту сайта. Итак, вы проверяете, есть ли у вас карта сайта (если нет, то устанавливаете плагин, который сгенерирует ее для вас) и добавляете эту строку в файл robots.txt в корне вашего сайта:

 Карта сайта: http://www.example. com/sitemap.xml
 

Во-первых, я не знаю, есть ли у вас карта сайта. Если нет, я предлагаю вам установить плагин YOAST SEO для управления вашими картами сайта.

С Yoast ваша карта сайта имеет эту ссылку: http://domain.com/sitemap_index.xml

Затем добавьте карту сайта в файл robots.txt, например:

 Карта сайта: http://domain.com/sitemap_index.xml
 

Если у вас уже есть карта сайта без Yoast, выполните те же действия.

Просто добавьте URL-адрес карты сайта в файл robots.txt, как показано выше.

О вашем комментарии:

Пожалуйста, помогите как можно скорее, так как у меня хороший рейтинг и я не хочу, чтобы это повлияло на следующее сканирование

Карта сайта — это всего лишь файл, который помогает поисковым роботам находить ваши страницы. Но если ваши новые страницы связаны на других страницах вашего сайта (например, на главной странице), поисковые роботы идентифицируют ваши новые страницы таким же образом.

Тогда не беспокойтесь об этом предупреждении. Есть много других важных вещей, которые следует учитывать, когда мы говорим о SEO, например, хороший контент, удобочитаемость контента, скорость страницы и мобильная навигация (отзывчивая и с усилителем).

Вы должны использовать Yoast Tool, Edit Files для создания и изменения файла robots.text.

WordPress Robot.txt tutorial

Тогда да, добавьте

 Карта сайта: https://domain. com/sitemap_index.xml
 

Зарегистрируйтесь или войдите в систему

Зарегистрируйтесь с помощью Google

Зарегистрироваться через Facebook

Зарегистрируйтесь, используя электронную почту и пароль

Опубликовать как гость

Электронная почта

Требуется, но никогда не отображается

Опубликовать как гость

Электронная почта

Требуется, но не отображается

Нажимая «Опубликовать свой ответ», вы соглашаетесь с нашими условиями обслуживания и подтверждаете, что прочитали и поняли нашу политику конфиденциальности и кодекс поведения.

Руководство по добавлению карты сайта в файл robots.

txt

Основополагающим аспектом создания контента в Интернете является желание, чтобы он отображался на странице результатов поисковой системы (SERP), чтобы ваша аудитория могла взаимодействовать с вашей работой. Чтобы ваш контент отображался в поисковой выдаче, ваш веб-сайт должен сообщить сканерам поисковых систем, какие страницы должны отображаться и ранжироваться. Для этого вам нужно убедиться, что вы правильно добавили файл Robots.txt в карту сайта вашего веб-сайта.

Что такое Robots.txt?

Robots.txt — это текстовый файл, который находится в корневом каталоге вашего сайта. С помощью ряда входных данных вы создаете набор инструкций, чтобы сообщить роботам поисковых систем, какие страницы на вашем веб-сайте они должны и не должны сканировать.

Вы можете вручную указать, какие веб-страницы следует игнорировать, установив для них значение «запретить», в то время как часть «агенты пользователя» текстового файла Robots.txt должна включать все URL-адреса, к которым должен обращаться каждый конкретный поисковый робот (например, Googlebot). . Этот процесс позволяет поисковым роботам сканировать определенные части вашего сайта, которые затем могут отображаться в поисковой выдаче и ранжироваться.

Файлы robots.txt также должны содержать расположение важного файла для вашего веб-сайта: XML Sitemap. В нем указывается, какие страницы вашего веб-сайта вы хотели бы видеть на странице результатов поисковой системы.

Что такое XML-карта сайта?

XML-карта сайта — это файл .xml, в котором перечислены все страницы веб-сайта, которые вы хотите обнаружить и получить к ним доступ с помощью файла Robots.txt.

Например, если у вас есть веб-сайт электронной коммерции с блогом, который охватывает различные темы в вашей отрасли, вы должны добавить подпапку блога в карту сайта XML, чтобы поисковые роботы могли получить доступ к этим страницам и ранжировать их в поисковой выдаче. Но вы бы не включили страницы магазина, корзины и оформления заказа в XML-карту сайта, потому что они не являются хорошими целевыми страницами для посещения потенциальными клиентами. Ваши клиенты, естественно, будут проходить через эти страницы при покупке одного из ваших продуктов, но они, конечно, не начнут свой путь конверсии, например, на странице оформления заказа.

XML-карты сайта также содержат важную информацию о каждом URL-адресе посредством его метаданных. Это важно для SEO (поисковая оптимизация), поскольку метаданные содержат важную информацию о ранжировании, которая позволит URL-адресам ранжироваться по сравнению с конкурентами в поисковой выдаче.

Важное примечание относительно субдоменов

Используете ли вы субдомены на своем сайте? Если это так, вам понадобится файл Robots.txt для каждого поддомена. Например, если вы разделили свой веб-сайт на несколько поддоменов, таких как: www.example.com, blog.example.com, shop.example.com и т. д., вам следует выделить файл Robots.txt для каждого из них.

Краткая история карт сайта

В середине 2000-х Google, Bing и Yahoo! объединены для поддержки системы, которая автоматически проверяет XML-карты сайта на веб-сайтах с помощью файла Robots. txt. Это было известно как автообнаружение файлов Sitemap, и это означает, что даже если пользователи не отправят карту сайта своего веб-сайта в несколько поисковых систем, карта сайта будет автоматически обнаружена из файла Robots.txt вашего сайта.

Это делает файл Robots.txt еще более важным, поскольку позволяет пропустить этап отправки карты сайта в основные поисковые системы. Просто не забудьте добавить карту сайта в другие поисковые системы, если вы пытаетесь появиться в других поисковых системах, помимо Google, Bing и Yahoo!.

Хотя добавление URL-адреса карты сайта в файл Robots.txt может сделать процесс отправки карты сайта непосредственно в поисковые системы необязательным, использование Google Search Console и Bing Webmaster Tools для отправки карты сайта непосредственно в поисковую систему дает определенные преимущества. Система отчетов, включенная Google и Microsoft в эти инструменты, позволяет владельцам сайтов поддерживать более детальное представление о том, какие URL-адреса были просканированы и/или проиндексированы.

Следует отметить, что оба этих инструмента также предоставляют отличные ресурсы для управления самим файлом robots.txt. Оба предлагают тестер Robots.txt, который позволяет вам обеспечить правильный синтаксис при создании файла. Это гарантирует, что поисковые роботы не будут игнорировать директивы, выдаваемые файлом robots.txt, что может привести к проблемам с доступом и необходимости использовать теги NOINDEX для удаления конфиденциальных страниц из индекса Google или Bing.

Как добавить карту сайта XML в файл Robots.txt

Ниже приведены три простых шага для добавления местоположения карты сайта XML в файл Robots.txt:

Шаг 1. Как найти карту сайта

Если вы работали со сторонним разработчиком над созданием своего сайта, свяжитесь с ним, чтобы узнать, предоставили ли они вашему сайту XML-карту сайта. Однако по умолчанию URL-адрес вашей карты сайта — /sitemap.xml. Это означает, что пример сайта www.example.com будет иметь карту сайта по адресу www. example.com/sitemap.xml.

Некоторым крупным сайтам требуется карта сайта для всех своих карт сайта. Это называется индексом карты сайта и следует тому же протоколу определения местоположения, что и стандартная карта сайта. Вместо /sitemap.xml индекс карты сайта можно найти в /sitemap_index.xml.

Кроме того, если Google ранее просканировал и проиндексировал ваш веб-сайт, вы можете найти его с помощью следующих операторов поиска:

site:example.com filetype:xml или filetype:xml site:example.com inurl:sitemap

Если вашему веб-сайту необходимо создать карту сайта, рассмотрите возможность использования генератора XML-карты сайта, такого как xml-sitemaps.com, который предоставляет бесплатную карту сайта для веб-сайтов с менее чем 500 страницами.

Шаг 2: Как найти файл Robots.txt

Как и при поиске файла Sitemap, вы можете проверить, есть ли на вашем веб-сайте файл robots.txt, введя /robots.txt после домена, например www.example.com/ robots.txt.

Если у вас нет файла robots. txt, вам придется создать простой текстовый файл с расширением «.txt» и добавить его в корневой каталог вашего веб-сервера.

Самый простой способ настроить файл Robots.txt, который не ограничивает доступ к вашему веб-сайту для сканирования, — это расширение:

User-agent: * 

Disallow:

Если вы предпочитаете давать сканирующим роботам более конкретные инструкции о том, какие URL следует отклонять или не сканировать, вы должны указать, какие «пользовательские агенты» вы хотите предоставить доступ или какие URL-адреса вы хотели бы «запретить».

Шаг 3. Как добавить карту сайта в файл Robots.txt

Начните с поиска карты сайта с помощью этой директивы: Карта сайта: https://www.example.com/sitemap.xml. Это означает, что файл robots.txt станет следующим: Карта сайта: https://www.example.com/sitemap.xml User-agent:* Disallow:

Как уже упоминалось, при создании карты сайта важно помнить о добавлении и редактировании дополнения «User-agent: * Disallow:» в конце карты сайта, чтобы указать роботам, какие URL сканировать.

И последнее, но не менее важное: если ваш сайт большой или имеет несколько поддоменов или подразделов, вам потребуется создать более одной карты сайта с файлом индекса карты сайта. Это также позволит вам сохранить вашу карту сайта более организованной, поскольку она будет разделена на большие разделы, а не сгруппирована вместе в одной большой карте сайта.

Существует два варианта добавления файла индекса карты сайта в файл robots.txt:

Вы можете указать URL-адрес файла индекса карты сайта в файле robots.txt. Результат будет выглядеть следующим образом:

Карта сайта: https://www.example.com/sitemap_index.xml

Вы также можете сообщать об отдельных файлах карты сайта URL для каждого раздела вашего веб-сайта, такого как блоги, сообщения и т. д.:

Карта сайта: https://www.example/sitemap_posts.xml

Карта сайта: https://www.example.com/sitemap_blogs.xml

Заключение

Добавление карты сайта в файл robots.