google — Робот не использует ни одного файла Sitemap

Вопрос задан 6 лет 6 месяцев назад

Изменён 6 лет 6 месяцев назад

Просмотрен 875 раз

Добрый день! Яндекс и Гугл не используют sitemap.txt, хотя он открыт и указаны пути к нему в настройках вебмастера…

Может robots.txt блокирует, хотя вроде бы нет… не знаю в чем проблема…

http://am-em.ru/robots.txt

http://am-em.ru/sitemap.xml

Что не так?

• google
• seo
• яндекс

Возможно в следствии того что там ошибка: Ссылка на результаты валидации сервисом Яндекс.Вебмастер

Нет данных в теге loc, стр. 556

2

В вашем файле robots блокирован index с директивами

Disallow: /index. php + Disallow: /index.html + Disallow: /index . Сайты построены внутри каталогов на вебсервере. Так же, как у вас есть папки на компьютере,в которые вы добавляете файлы, вы делаете то же самое с вебсервером с помощью добавления файлов вашего сайта, включая HTML — страницы, изображения, скрипты, CSS и т.д. Для вашего сайта, вы будете иметь каждую веб-страницу в виде отдельного файла. Например, ваша страница «Контакты» может быть «contact.html». Ваш сайт будет состоять из этих документов .html. Иногда, когда кто-то идет на сай, они делают это без указания одного из этих конкретных файлов в адресе. Например: example ru. Этот URL включает в себя домен, но нет конкретного файла в списке. По умолчанию этот файл/страница в каталоге называется index.html — файл главной страницы. Поэтому я рекомендую вам открыть эти файлы для просмотра, путём удаления указанных директив.

2

Зарегистрируйтесь или войдите

Регистрация через Google

Регистрация через Facebook

Регистрация через почту

Отправить без регистрации

Почта

Необходима, но никому не показывается

Отправить без регистрации

Почта

Необходима, но никому не показывается

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Диагностика сайта и Страницы в поиске. Разбор ошибок в Яндекс.Вебмастер ~ SEO простым языком

Доброго дня, читатели блога SEO-Дилетанта. Я всегда получаю много вопросов от вебмастеров, владельцев сайтов и блогеров об ошибках и сообщениях, которые появляются в Яндекс.Вебмастер. Многих такие сообщения пугают.

Но, хочу сказать, не все сообщения бывают критичны для сайта. И в ближайших статьях я постараюсь максимально полно охватить все возможные вопросы, которые могут возникать у вебмастеров. В данной статье пойдет речь о разделах:

1. Диагностика — Диагностика сайта
2. Индексирование — Страницы в поиске

О том, что такое Яндекс.Вебмастр и зачем он нужен, я писала ещё несколько назад. Если вы не знакомы с данным инструментом, ознакомьтесь сначала со статьей по ссылке.

Диагностика сайта

Возможные проблемы

1. В файле robots.txt не задана директива Host

Данное замечание Яндекс примечательно тем, что директива Host не является стандартизированной директивой, ее поддерживает только поисковая система Яндекс. Нужна она в том случае, если Яндекс неправильно определяет зеркало сайта.

Как правило, зеркало сайта определяется Яндексом автоматически на основе URL, которые формирует сама CMS, и на основе внешних ссылок, которые ведут на сайт. Чтобы указать главное зеркало сайта, не обязательно указывать это в файле robots.txt. Основной способ — использовать 301 редирект, который либо настроен автоматически в CMS, либо необходимый код вносится в файл .htachess.

Обращаю внимание, что указывать директиву в файле robots.txt нужно в тех случаях, когда Яндекс неправильно определяет главное зеркало сайта, и вы не можете повлиять на это никаким другим способом.

CMS, с которыми мне приходилось работать в последнее время, WordPress, Joomla, ModX, по умолчанию редиректят адрес с www на без, если в настройках системы указан адрес сайта без приставки. Уверена, все современные CMS обладают такой возможностью. Даже любимый мной Blogger правильно редиректит адрес блога, расположенного на собственном домене.

2. Отсутствуют мета-теги

Проблема не критичная, пугаться ее не нужно, но, если есть возможность, то лучше ее исправить, чем не обращать внимание. Если в вашей CMS по умолчанию не предусмотрено создание мета-тегов, то начните искать плагин, дополнение, расширение или как это называется в вашей CMS, чтобы иметь возможность вручную задавать описание страницы, либо, чтобы описание формировалось автоматически из первых слов статьи.

3. Нет используемых роботом файлов Sitemap

Конечно, лучше эту ошибку исправить. Но обратите внимание, что проблема может возникать и в тех случаях, когда файл sitemap.xml есть, так и в тех, когда его действительно нет. Если файл у вас есть, но Яндекс его не видит, просто перейдите в раздел Индексирование — Файлы Sitemap. И вручную добавьте файл в Яндекс.Вебмастер. Если такого файла у вас вообще нет, то в зависимости от используемой CMS, ищите варианты решения.

Файл sitemap.xml находится по адресу http://vash-domen.ru/sitemap.xml

4.

Не найден файл robots.txt

Все же этот файл должен быть, и если у вас есть возможность его подключить, лучше это сделать. И обратите внимание на пункт с директивой Host.

Файл robots.txt находится по адресу http://vash-domen.ru/robots.txt

На этом фонтан ошибок на вкладке Диагностика сайта у меня иссяк.

Вкладку Безопасность и нарушения я пропускаю. К счастью, на нескольких десятках сайтов у меня ни разу не было сообщений в этом разделе. Поделиться нечем.

Индексирование

Страницы в поиске

Начнем именно с этого пункта. Так будет легче структурировать информацию.

Выделяем в фильтре «Все страницы»
Опускаемся ниже, справа на странице «Скачать таблицу» Выбираем XLS и открываем файл в Excel.

Получаем список страниц, которые находятся в поиске, т.е. Яндекс о них знает, ранжирует, показывает пользователям.

Смотрим, сколько записей в таблице. У меня получилось 289 страниц.

А как понять, сколько должно быть? Каждый сайт уникален и только вы можете знать, сколько страниц вы опубликовали. Я покажу на примере своего блога на WordPress.
В блоге на момент написания статьи имеется:

• Записи — 228
• Страницы — 17
• Рубрики — 4
• Метки — 41
• + главная страница сайта

В сумме имеем 290 страниц, которые должны быть в индексе. В сравнении с данными таблицы разница всего в 1 страницу. Смело можно считать это очень хорошим показателем. Но и радоваться рано. Бывает так, что математически все совпадает, а начинаешь анализировать, появляются нестыковки.

Есть два пути, чтобы найти ту одну страницу, которой нет в поиске. Рассмотрим оба.

Способ первый. В той же таблице, которую я скачала, я разделила поиск на несколько этапов. Сначала отобрала страницы Рубрик. У меня всего 4 рубрики. Для оптимизации работы пользуйтесь текстовыми фильтрами в Excel.

Затем Метки, исключила из поиска Страницы, в результате в таблице остались одни статьи. И тут, сколько бы статей не было, придется просмотреть каждую, чтобы найти ту, которой нет в индексе.

Обращаю внимание, что в каждой CMS своя структура. У каждого вебмастера свои SEO настройки мета тегов robots, canonical, файла robots.txt.

Опять же, если на примере WordPress, обратите внимание, какие разделы сайта у вас индексируются, а какие закрыты. Здесь могут быть и страницы Архива по месяцам и годам, страницы Автора, пейджинг страниц. У меня все эти разделы закрыты настройками мета тега robots. У вас может быть иначе, поэтому считайте все, что у вас не запрещено для индексации.

Если взять для примера Blogger, то владельцам блогов нужно считать только опубликованные Сообщения, Страницы и главную. Все остальные страницы архивов и тегов закрыты для индексации настройками.

Способ второй. Возвращаемся в Вебмастер, в фильтре выбираем «Исключенные страницы».

Теперь мы получили список страниц, которые исключены из поиска. Список может быть большой, намного больше, чем со страницами, включенными в поиск. Не нужно бояться, что что-то не так с сайтом.

При написании статьи я пыталась работать в интерфейсе Вебмастера, но не получила желаемого функционала, возможно, это временное явление. Поэтому, как и в предыдущем варианте, буду работать с табличными данными, скачать таблицу можно также внизу страницы.

Опять же, на примере своего блога на WordPress я рассмотрю типичные причины исключения.

В полученной таблице нам в первую очередь важна колонка D — «httpCode». Кто не знает, что такое ответы сервера, прочитайте в википедии. Так вам будет легче понять дальнейший материал.

Начнем с кода 200. Если вы можете попасть на какую-то страницу в интернете без авторизации, то такая страница будет со статусом 200. Все такие страницы могут быть исключены из поиска по следующим причинам:

1. Запрещены мета тегом robots
2. Запрещены к индексации в файле robots.txt
3. Являются неканоническими, установлен мета тег canonical

Вы, как владелец сайта, должны знать, какие страницы какие настройки имеют. Поэтому разобраться в списке исключенных страниц должно быть не сложно.

Настраиваем фильтры, выбираем в колонке D — 200

Теперь нас интересует колонка E — «status», сортируем.

Статус BAD_QUALITY

 — Недостаточно качественная. Самый неприятный из всех статус. Давайте разберем его.

У меня в таблице оказалось всего 8 URL со статусом Недостаточно качественная. Я их пронумеровала в правой колонке.

URL 1, 5, 7 — Страницы фида, 2,3,4,5,8 — служебные страницы в директории сайта wp-json. Все эти страницы не являются HTML документами и в принципе не должны быть в этом списке.

Недостаточно качественной может являться только HTML страница с информацией для пользователя. Здесь же на лицо программная ошибка, которую, не нужно бояться.

Поэтому внимательно просмотрите свой список страниц и выделите только HTML страницы.

Статус META_NO_INDEX. Из индекса исключены страницы пейджинга, страница автора, из-за настроек мета тега robots

Но есть в этом списке страница, которой не должно быть. Я выделила url голубым цветом.

Статус NOT_CANONICAL. Название говорит само за себя.

Неканоническая страница. На любую страницу сайта можно установить мета тег canonical, в котором указать канонический URL.

Это очень полезная настройка, когда CMS создает много дублей одной страницы, когда на сайте много страниц пейджинга.

На этом пока заканчиваю. Остальные разделы будут подробно разобраны в следующих постах блога. Подписывайтесь на обновления блога.

Если у вас в Вебмастере есть ошибки из описанных в этой статье разделов, которые я не разобрала, пишите в комментариях, будем разбираться вместе.

Как исправить «Карта сайта не указана в Robots»

Как исправить Sitemap.xml не указан в Robots.txt
Если вы видите уведомление об ошибке: « ваша карта сайта не включена в файл robots.txt» во время аудита, вот как вы можете решить эту проблему.

Но сначала давайте обсудим, что означает эта проблема.

Если вы не понимаете, почему это вредно и почему вы должны это исправить, я быстро пройдусь по этому вопросу и научу вас, как это исправить. Мы также обсудим инструменты, которые вам понадобятся для его ремонта, и к концу статьи я покажу вам небольшой удобный способ исправить это, если у вас нет необходимых инструментов.

Что такое файл robots.txt? Думайте о файле robots.txt как о вышибале вашего веб-сайта.

Это то же самое, что вышибала в клубе, баре или месте проведения мероприятия, который стоит у входной двери со списком гостей. Если вы идете на мероприятие, вы подходите и говорите вышибале свое имя, и они ищут его в своем списке. Тебя либо пускают, либо нет. Возможно, они поставят вам штамп на руку или предложат вам браслет.

Может быть, они даже предложат вам VIP-пропуск, чтобы пройти за кулисы или что-то в этом роде. Это очень похоже на то, как работают файлы robots.txt. Он позволяет вам войти и предоставляет вам доступ к определенной части веб-сайта, а также может ограничивать доступ.

Итак, в чем проблема?

Это может быть проблемой, потому что это очень важно. Это самая первая встреча бота, такого как бот Google или пользователь, с вашим веб-сайтом, точнее с браузером, чтобы увидеть, войдут они или нет. Они решают, будет ли вам предоставлен бесплатный или ограниченный доступ к веб-сайту.

Это довольно фундаментальная проблема, поэтому, если у вас возникла эта проблема, проще всего ее решить с помощью FTP-программы. Если у вас есть FTP-приложение, вы должны запустить его. Если у вас нет FTP-приложения, перейдите по ссылке ниже, где мы рассмотрим некоторые из самых популярных.

Тот, который я сейчас использую, известен как Transmit. Он доступен только для Mac, и хотя он не бесплатный, и за программу нужно платить, у него есть несколько замечательных функций, которые могут помочь в решении проблемы.

Если у вас нет опыта работы с FTP и вы не хотите учиться, я понимаю, что большинство FTP-программ могут быть привередливыми.

Если вы не хотите использовать FTP, дочитайте этот пост до конца, так как я представлю вам ярлык, который поможет вам обойти это.

Если у вас открыта программа FTP, найдите в корневом каталоге файл с именем robots. txt, а затем откройте его.

Это будет очень простой файл. Как вы увидите, первые несколько предложений наиболее вероятны.

Обычно это то, что идет с WordPress по умолчанию. И потом, вы, вероятно, упустили это, так как этот знак прямо здесь читает карту сайта, двоеточие, пробел, а затем весь URL-адрес. Если этого здесь нет, вы должны вставить строку именно там, где вы хотите, внизу.

Итак, скопируйте и вставьте, затем замените мой домен своим. XML-код карты сайта должен быть таким же, как только вы это сделаете.

Вы можете сохранить его, а затем просто выйти. Вот и все, проблема решена.

Теперь, если вы не хотите использовать FTP-программу (я понимаю, почему вы этого не делаете, потому что они могут быть головной болью), мы можем использовать небольшой изящный обходной путь. Итак, войдите в WordPress, перейдите к плагинам и, если вы еще не используете плагин Yoast SEO, создайте новый плагин, выполнив поиск Yoast SEO.

Обычно я этого не делаю, так как мне не нравится плагин Yoast SEO. Меня это не устраивает, и я предпочитаю комплексный SEO-пакет и настоятельно рекомендую вам его использовать. Тем не менее, есть несколько крутых трюков, которые вы можете выполнить с ним, и это один из них.

После того, как вы установили Yoast SEO, активируйте его. Если вы используете другой плагин SEO, например универсальный SEO, вы можете получить предупреждение. Не используйте два разных SEO-плагина.

Вы обязательно столкнетесь с некоторыми проблемами, особенно если вы используете два плагина SEO, но это нормально для того, что мы здесь делаем.

Итак, после того, как вы установили и активировали его, посмотрите вниз в нижней части левой навигации для SEO, чтобы найти небольшой логотип Yoast, прокрутите его или щелкните по нему, а затем перейдите в раздел инструментов. .

 

В разделе инструментов найдите функцию, называемую редактором файлов, которая должна выглядеть примерно так.

Итак, нажмите на нее. И когда он откроется, вы увидите свой файл robots.txt, и вы, скорее всего, пропустите эту строку прямо здесь с вашей картой сайта. вырежьте и вставьте эту строку, убедившись, что вы включили URL вашей собственной карты сайта, а не моей.

После этого сохраните изменения. После этого вернитесь на страницу плагинов, а затем прокрутите вниз, чтобы найти плагин Yoast SEO, а затем деактивируйте его.

И теперь ваш файл robots.txt был изменен, и тот факт, что мы только что деактивировали Yoast, в порядке. Этот файл robots.txt по-прежнему будет присутствовать.

Если вернуться назад, файл robots.txt можно найти следующим образом: перейдите в свой домен и введите после your.com/robots.txt.

Это продемонстрирует, что он все еще будет присутствовать. Таким образом, вы можете войти в систему, активировать Yoast, изменить этот файл, а затем деактивировать Yoast. Этот файл останется доступным. В результате файл не будет удален, и проблема будет решена без использования FTP-приложения.

Последний шаг — перепроверить, если вы загрузили для этого плагин Yoast, и особенно если вы используете другой плагин SEO, что он не активен, вернувшись на страницу плагинов. В противном случае у вас будут проблемы.

 

Evisio.co | Как исправить Sitemap.xml, не указанный в Robots.txt?

Цель поисковой оптимизации и, следовательно, цель любого администратора сайта или разработчика — добиться как можно более высокого рейтинга своего сайта в результатах поиска Google. Для этого веб-мастера в значительной степени полагаются на роботов поисковых систем, которые сканируют и индексируют страницы их веб-сайтов.

1. Почему файлы robots.txt и Sitemap.xml важны?

2. Как добавить Sitemap.xml в Robots.txt?

3. Похожие сообщения:

Файл robots. txt вашего веб-сайта и XML-карта сайта работают за кулисами, чтобы гарантировать, что эти автоматические поисковые роботы имеют все данные, необходимые для эффективного сканирования вашего сайта. Однако, если у вас нет XML-карты сайта в файле robots.txt, эти поисковые пауки могут пропустить индексацию важных страниц, что значительно снижает ваши шансы на получение органического трафика.

Почему файлы robots.txt и Sitemap.xml важны?

Файл robots.txt — это основной текстовый файл, который следует поместить в корневой каталог вашего веб-сайта. Он содержит ряд инструкций, которые сообщают роботам поисковых систем, какие страницы вашего сайта им разрешено сканировать, а какие нет.

Также важно убедиться, что адрес вашей XML-карты сайта включен в файлы robots.txt веб-сайта, так как это дает конкретную информацию о том, какие страницы вашего веб-сайта вы хотите найти для поисковых систем.

Как добавить Sitemap.xml в Robots.txt?

Чтобы устранить проблему, выполните следующие действия:

1. Найдите URL-адрес вашей карты сайта

Если разработчик уже создал вашу карту сайта, ее URL-адрес может выглядеть примерно так: http://www.

example.com/ карта сайта.xml». Введя этот URL в браузер, вы, вероятно, перенаправитесь на карту сайта или сообщение об ошибке 404, которое указывает на то, что карта сайта не существует в этом месте.

Если это не сработает, вы можете использовать операторы поиска в Google, чтобы найти свою карту сайта. Введите «site: example.com filetype: xml» в строку поиска Google, чтобы определить, обнаружила ли его поисковая система.

Если вы все еще не можете найти свою карту сайта, возможно, она не существует. В этом случае вы можете создать карту сайта самостоятельно или попросить разработчика сделать это за вас.

2. Найдите файл robots.txt

Таким же образом вы можете проверить, содержит ли ваш веб-сайт файл robots.txt. За исключением этого случая, вам нужно искать «http://www.example.com/robots.txt».

Если на вашем веб-сервере еще нет файла robots.txt, вам необходимо его создать. Кроме того, убедитесь, что он находится в корневом каталоге сервера. Создайте текстовый файл с расширением .txt и добавьте в него следующий текст:

User-agent: *

Disallow:

Этот язык позволяет всем ботам сканировать каждую часть вашего сайта.

3. Добавьте местоположение вашей карты сайта в файл robots.txt.

И последнее, но не менее важное: вы должны отредактировать файл robots.txt, включив в него путь к карте сайта. Для этого вам нужно будет изменить файл robots.txt и включить директиву, содержащую URL-адрес вашей карты сайта.

 Например:

Карта сайта: http://www.example.com/sitemap.xml

На данный момент ваш файл robots выглядит примерно так:

Карта сайта: http://www.example.com/sitemap.xml

Агент пользователя: *

Запретить:

Убедитесь, что вы правы Страницы сканируются

Включение карты сайта в файл robots.txt является важной частью каждого веб-сайта, поскольку она указывает поисковым роботам, куда идти.