С точки зрения SEO, Sitemap имеет определенное влияние, поскольку карта сайта значительно ускоряет индексацию. К тому же повышается вероятность, что web-страницы попадут в индекс до того, как недобросовестные конкуренты успеют скопировать и опубликовать контент. Поисковые системы отдают предпочтение первоисточнику, тогда как копипаст подвергается пессимизации.

Как создать сайт мап

Проще всего воспользоваться одним из специализированных сервисов. К примеру, online-генератор http://www.mysitemapgenerator.com/ позволяет бесплатно сделать карту сайта, размером до 500 страниц. Предусмотрена возможность платной генерации Sitemap без каких либо ограничений. Вебмастеру потребуется всего лишь указать адрес своего сайта, а затем поместить полученный файл в корневой папке сервера.

Можно воспользоваться программой SiteMap Generator. В поле http:// следует завести адрес стартовой страницы сайта, кликнуть по клавише «start» и подождать, пока будет сформирована карта сайта. Затем нужно перейти на вкладку «Google Sitemap/XML», скопировать полученный код и вставить его в файл формата .xml.

Файл sitemap xml – доступные директивы

• Параметр Lastmod указывает роботу, когда документ последний раз обновлялся.
• Тег priory указывает на приоритет документа, по отношению к другим страницам сайта.
• Параметром loc обозначают URL адрес страницы.
• Тег changefreq используется для обозначения динамичности страниц (документы с параметром «0» робот будет посещать очень редко).

Как сообщить поисковику о карте сайта

Чтобы оповестить Яндекс, можно добавить директиву sitemap в файл robots.txt. Код будет выглядеть следующим образом:

Sitemap: http://yoursite.ru/sitemap.xml

Кроме того, можно передать карту сайта через интерфейс Яндекс.Вебмастер. Для этого нужно перейти на вкладку «Настройка индексирования» >> «файлы Sitemap», а затем указать системе адрес карты сайта.

Аналогичным образом можно оповестить Google. В панели инструментов для вебмастеров нужно перейти на вкладку «Сканирование» >> «файлы Sitemap».

semantica.in

Что такое карта сайта и как правильно сделать sitemap xml

Карта сайта (sitemap) — это html страница сайта или специальный xml файл, в котором отражены ссылки на все важные страницы сайта. Чтобы понять, что такое карта сайта, достаточно представить книжное оглавление и сразу же станет ясно, зачем нужна карта сайта. Карта сайта помогает посетителю, будь это человек или поисковый робот, быстро найти любую страницу сайта, совершая минимальное число переходов. На простых, небольших сайтах все страницы могут быть доступны через 1-2 клика от главной страницы, но что делать, если сайт большой и структура его непроста? Подобный сайт будет неудобен не только посетителям, но и неочевиден для поисковых систем.

Какие бывают карты сайта

Поисковые системы индексируют сайт постепенно, уровень за уровнем, начиная с главной страницы. Если на сайте много уровней вложенности страниц, то пока все страницы сайта проиндексируются пройдут многие месяцы. Значит, необходимо создать карту сайта, на которой будут все ссылки на все страницы сайта сразу, чтобы робот не тратил время на переходы по уровням вложенности, верно? И да и нет. Ответ зависит от того зачем делается карта и какой она будет. Давайте рассмотри, какие бывают карты сайта.

Карта сайта HTML Sitemap

Карты сайта делятся на 2 основных вида или формата: карта сайта html и карта сайта файл xml. HTML карта сайта — это страница сайта, на которой перечислены ссылки. Обычно это ссылки на самые важные разделы и страницы сайта. HTML карта сайта больше рассчитана на людей, нежели на роботов и помогает быстрее ориентироваться в основных разделах сайта. Для карты сайта в виде html-страницы существуют серьезные ограния по количеству ссылок на одной странице. Если на странице будет слишком много ссылок, далеко не все ссылки могут быть проиндексированы или вовсе страница карты сайта может быть исключена из поиска за чрезмерное количество ссылок, пусть даже внутренних ссылок.

Для того, чтобы карта сайта html правильно индексировалась и адекватно воспринималась посетителями не стоит размещать на странице более 100 ссылок. Этого более чем достаточно, чтобы разместить на странице все разделы и подразделы, которые не влезли в основное меню.

Обычно, карта сайта в формате HTML имеет древовидную структуру, где указаны развернутые разделы и подразделы. Излишне громоздкие HTML карты сайта, зачастую оформляются графическими элементами, CSS-стилями и дополняются Java-script. Однако, карта сайта html не имеет большого значения для поисковых систем.

HTML карта сайта — это не есть полноценный sitemap. Как же быть, если на сайте сотни, тысячи, десятки тысяч страниц? Для этого необходимо разместить ссылки на все страницы в карте сайта в формате xml.

Карта сайта XML Sitemap

XML карта сайта — это файл формата xml, вида sitemap.xml, который обычно находится в корне сайта. У карты сайта в формате xml есть множество преимуществ перед html картой сайта. Sitemap xml — это специальный формат карты сайта, который определяется всеми популярными поисковыми системами, например Google и Яндекс. В xml sitemap можно указать до 50.000 ссылок. Более того, в sitemap xml можно указать относительный приоритет и частоту обновления страниц.

Стоит сказать, что содержимое карты сайта является лишь рекомендацией для поискового робота. Например, если установить для страницы сайта ежегодную частоту обновления, поисковые роботы все равно будут ходить чаще. А если установить частоту обновления страницы ежечасно, это не значит, что роботы будет индексировать страницу каждый час.

Карта сайта xml имеет определенный синтаксис, давайте рассмотрим структуру xml карты сайта подрбнее.

Пример файла карты сайта sitemap.xml

Правильный sitemap.xml должен иметь кодировку UTF8. Содержимое файла карты сайта sitemap.xml выглядит следующим образом:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <url>
  <loc>http://mysite.ru/</loc>
  <lastmod>2014-09-18T18:54:13+04:00</lastmod>
  <changefreq>always</changefreq>
  <priority>1.0</priority>
 </url>
 <url>
  <loc>http://mysite.ru/category/</loc>
  <lastmod>2014-09-18T18:57:09+04:00</lastmod>
  <changefreq>hourly</changefreq>
  <priority>0.8</priority>
 </url>
 <url>
  <loc>http://mysite.ru/page/</loc>
  <lastmod>2014-09-18T18:59:37+04:00</lastmod>
  <changefreq>daily</changefreq>
  <priority>0.6</priority>
 </url>
</urlset>

Где используются следующие обязательные теги:

• <urlset> — родительский тег, в него заключаются все url-адреса;
• <url> — тег, в котором указываются сведения о конкретном url-адресе;
• <loc> — в данном теге указывается непосредственно url.

Далее, следуют необязательные теги:

• <lastmod> — этот тег заключает в себе дату последнего изменения страницы;
• <changefreq> — тег используется, чтобы указать насколько часто изменяется страница: always, hourly, daily, weekly, monthly, yearly, never;
• <priority> — указывает приоритет определенной страницы, относительно других страниц сайта от 0,1 – низкий приоритет, до 1 – высокий приоритет.

Так же, в файле карты сайта в формате xml должно содержаться указание на пространство имен языка XML:

xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"

Если файл карты сайта включает более 50 тысяч ссылок или размер sitemap.xml превышает 10 мб, рекомендуется разделить карту сайта на несколько файлов. В таком случае, в карте сайта необходимо указать несколько ссылок на разные файлы карт.

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 <sitemap>
  <loc>http://mysite.ru/sitemaps/sitemap01.xml</loc>
  <lastmod>2014-09-18T18:54:13+04:00</lastmod>
 </sitemap>
 <sitemap>
  <loc>http://mysite.ru/sitemaps/sitemap02.xml</loc>
  <lastmod>2014-09-18T18:54:13+04:00</lastmod>
 </sitemap>
</sitemapindex>

Здесь используются уже знакомые нам теги <loc> и <lastmod>, а так же обязательные теги:

• <sitemapindex> — родительский тег, в который заключаются адреса всех карт сайта;
• <sitemap> — тег, в котором заключается параметры для каждой карты сайта.

Пример файла карты сайта sitemap.txt

Еще одним способом оформления карты сайт в виде файла может быть карта сайта в формате txt:

1. http://mysite.ru/
2. http://mysite.ru/page/
3. http://mysite.ru/page1/

Все просто. В файле sitemap.txt построчно перечисляются все необходимые ссылки. Карта сайта в формате txt — это «вариант для ленивых». Здесь работает аналогичное sitemap xml ограничение в 50.000 ссылок. Однако, TXT карта сайта лишена возможностей указания даты последнего изменения и приоритета страницы.

Как создать карту сайта

Создание карты сайта важный процесс, в котором необходимо четко указать, какие страницы сайта нужно индексировать и как лучше их индексировать. В зависимости от того о каком типе карты сайта идет речь, используются различные способы создания карты сайта. Как создать html карту сайта обсуждать отдельно смысла нет. Рассмотрим как сделать карту карта в формате xml файла. Существует несколько основных способов создания карты сайта, но все их объединяет то, где находится карта сайта и как файл sitemap определяется поисковыми системами.

Как уже было написано выше — файл карты сайта размещается в корне сайта. Поисковые системы способны самостоятельно обнаружить файл карты сайта. Но существует несколько способов указания прямой ссылки на файл(ы) карты сайта(ов) для более скорого обнаружения поисковыми системами. Самый простой способ указать место расположения файла карты сайта — это непосредственное указание ссылки или нескольких ссылок на файлы карт сайта в инструментах для вебмастеров от Yandex и Google. Там же можно проверить карту сайта, провести анализ карты сайта на корректность, соответствие того, какие страницы из карты сайта найдены поисковой системой и сколько из них находится в индексации.

Второй способ указать поисковым системам на расположение файла карты сайта — это директива Sitemap файла robots.txt.

Указание ссылки на карту сайта в robots.txt:

Sitemap: http://mysite.ru/sitemap.xml

В robots.txt можно указать несколько файлов sitemap, после чего, он автоматически будут добавлены в инструменты для вебмастеров. Как найти карту сайта мы рассмотрели, теперь перейдем к тому, как создать карту сайта.

Основные способы создания карты сайта

1. Генерация карты сайта силами системы управления сайта, если CMS имеет подобную встроенную возможность.
2. Скачать карту сайта со стороннего онлайн сервиса. Существует множество online генераторов карт сайта с различным возможностями и ограничениями. Напрмер xml-sitemaps.com обладает возможностью настройки параметров карты сайта, но имеет ограничение по количеству ссылок в файле sitemap.xml в 500 штук.
3. Скачать программу-генератор карты сайта. Подобные программы генераторы обычно платные, но при их помощи можно можно регулярно генерить sitemap xml для одного или нескольких сайтов. Вот пара примеров подобных программ-генераторов: SiteMap XML Dynamic SiteMap Generator, WonderWebWare SiteMap Generatior.
4. Автоматическое создание sitemap карты сайта в Joomla (Джумла), WordPress (Вордпресс), Bitrix (Битрикс).
5. Создание карты сайта вручную.

Карта сайта — один из важнейших инструментов SEO оптимизации сайта. Не важно, как будет создана карта сайта. Важно — какие ссылки будут перечислены в карте сайта и как часто она будет обновляться. Иногда, в карту сайта выгружается все подряд и даже те ссылки, которые запрещены в robots.txt или неканонические ссылки. А обновление карты сайта происходит раз в месяц или реже. Подобное отношение к карте сайта может не просто сделать ее бесполезной, но того хуже — запутать поискового робота, что негативно отразится на индексации и позициях сайта в поиске.

Создайте карту сайта для своего ресурса. Но будте внимательны и хорошо подумайте, что выгружать в sitemap, а что нет.

convertmonster.ru

Что такое карта сайта? Зачем нужна и как правильно её создать

Здравствуйте, уважаемые читатели! Сегодня узнаем: что такое карта сайта и как сильно она влияет на скорость появления новых веб-страниц в поиске. После прочтения статьи вы будете знать зачем карта нужна, как правильно и быстро ее создать, разместить и показать поисковым роботам.

Для чего нужна карта сайта

Карта сайта – это список его разделов и страниц, отражающий их иерархический порядок. Если бы ваш сайт был книгой, то карта была бы его оглавлением.

Она служит двум основным целям.

• Первое – обеспечивает удобство пользователям ресурса, помогая в минимальное число кликов найти необходимый подраздел или статью.
• Второе – помогает поисковым роботам быстрее проиндексировать страницы сайта. Тем самым ускоряет индексацию и способствует продвижению веб-проекта в поисковой выдачи.
  Для роботов и для людей карта создается в разных форматах.

Карта для посетителей веб-ресурса

Веб-проекты бывают разные. Не каждому понадобится отдельная интернет-страница со списком всех подразделов и постов. Если ресурс представляет собой Landing Page, то такая страница ему не понадобится. Все разделы умещаются в навигационной панели.

Если же у веб-сайта существуют разные уровни вложенности страниц, структура более разветвленная, а материала достаточно много, то пользователю нужно помочь найти необходимое. Именно эту функцию и выполняет карта сайта для посетителей.

Создается она в виде отдельной HTML-страницы и включает список всех подразделов и/или всех веб-страниц в виде ссылок. Иерархия должна быть соблюдена и отражена. При помощи стилей и заголовков стоит обозначить более общие разделы и подразделы по аналогии с содержанием книги.

Не стоит загружать ее картинками и другими отвлекающими элементами. Оформите так, чтобы человек мог найти информацию как можно быстрее.

По необходимости можно добавить короткие описания к ссылкам.

Расположить ссылку на пользовательскую карту стоит на видном месте, чтобы она была доступна с любой страницы сайта.

Не стоит забывать и об актуализации. Если сайт или блог систематически пополняется новыми постами, делайте обновления своевременно.

Sitemap для поисковых машин

Чем лучше индексируются веб-страницы, тем скорее они попадают в выдачу, занимая соответствующие позиции. При большой вложенности, сайт может индексироваться достаточно долго. Если веб-проект молод, то индексация затягивается еще больше.

В любом случаем нам следует помочь поисковику и сделать все возможное, чтобы раньше появиться в поиске.

Карта для роботов создается в формате xml. Это особый формат, который поисковики сразу видят и хорошо его понимают. Располагается файл sitemap.xml в корневом каталоге сайта.

Принцип создания иной, чем для пользовательской карты. Учитывается кодировка и наличие определенный тегов.

Кодировка sitemap.xml должна быть UTF-8.

Документ включает в себя обязательные теги, такие как urlset, url и loc . Они образуют основную структуру документа, помещая в себе информацию о url-адресе страниц.

Также есть необязательные теги — lastmod, changefreq, priority. Они содержат дополнительную информацию о том, когда интернет-страница изменялась последний раз, как часто изменяется и какой приоритет имеет.

Следить за актуальностью также важно, как и для пользовательской карты. Поэтому обновлять Sitemap следует регулярно, особенно, если новая информация публикуется часто.

Как создать карту веб-сайта

Если вы испугались увидев незнакомые теги, то хочу вас обрадовать. Есть несколько способов создания карты интернет-сайта. Многие из них не потребуют от вас больших усилий и займут минимум времени.

1. Sitemap.xml можно сгенерировать и скачать со специальных онлайн-сервисов. Ограничение на них, как правило, 500 веб-страниц. Для многих веб-ресурсов этого будет достаточно. Если не хватает, за сравнительно небольшую сумму можно перейти на безлимитную версию pro.
2. Существуют программы (платные и бесплатные). Можно их скачать на компьютер и генерировать sitemap, если по каким-то причинам онлайн-сервисы не подходят.
3. Большинство популярных CMS предлагают в своем функционале генерацию sitemap.xml. Обычно в администраторской части есть кнопка с нужным названием. Для каждой CMS настройки могут немного отличаться, но почитав документацию разобраться будет не сложно.
4. Сделать все руками. Если хочется разобраться и научиться, то можно пойти и по такому пути.

Пример создания при помощи онлайн-сервиса

В сети есть достаточно сервисов для создания Sitemap. Выбирайте тот, что нравится больше. Я на примере одного лишь продемонстрирую простоту создания sitemap.xml.

Сервис называется mysitemapgenerator. Позволяет также сгенерировать карту html-формата и RSS-ленту.
На главной странице видим кнопку «Sitemap Бесплатно» (ограничение 500 интернет-страниц). Нажав на нее, переходим на другую веб-страницу, где нужно ввести адрес веб-сайта в специальное поле. Чуть ниже есть 4 вкладки: «параметры индексации», «параметры обработки ссылок и веб-страниц», «параметры генерации», «пользовательские фильтры». В этих вкладках много регулируемых настроек.

Например, нужно ли индексировать JavaScript, учитывать ли инструкции файла robots.txt, формировать ли теги priority (приоритет) и lastmod (последние изменения). Также можно задать собственные настройки, указав приоритет определенной веб-страницы и режим обновления.

После задания настроек останется лишь ввести код капчи и нажать кнопку «Старт». Файл будет сгенерирован и можно его скачать. Если вы заранее укажете свой e-mail, то файл будет отправлен по электронной почте.

Что еще нужно сделать

Готовый файл размещаем в корневой директории сайта.

В инструментах для веб-мастеров Яндекс и Google в разделе «файлы Sitemap» добавляем url-адрес, по которому находится карта.

Не забываем прописать инструкцию для файла robots.txt, которая должна выглядеть так: Sitemap: http://имя_сайта.ru/sitemap.xml.

Остается карту сайта только своевременно обновлять и наслаждаться быстрой индексацией вашего веб-сайта.

На этом все. Делитесь постом с друзьями в социальных сетях. Подписывайтесь на обновления и будьте первым, кто прочтет самое интересное.
До скорого.

www.lf-digital.com

HTML, XML, TXT, как создать, добавить в Яндекс и Google вебмастер

Sitemap (карта сайта) – это файл формата XML, расположенный в корне сервера, или HTML-документ, где содержатся ссылки на важные для SEO продвижения сайта страницы, которые следует проиндексировать поисковым системам.

Для чего нужна?

Карту сайта можно сравнить с оглавлением в книге, содержащим перечень всех важнейших разделов. На сайте это такой каталог, где указаны ссылки на главные разделы и страницы веб-ресурса. В целом же в сайтмап находится следующая информация:

• список URL-адресов страниц сайта в иерархическом порядке;
• формат появившегося на сайте контента: текст, видео, картинки;
• сведения о видео и изображениях, необходимые роботам для их внесения в базу данных и формирования поисковой выдачи;
• информация о приоритетности страницы;
• данные о внесении последних изменений документов и регулярности их обновлений;
• сведения про другие версии веб-страницы.

Sitemap помогает посетителям и особенно роботам поисковиков быстро определять расположение всех самых необходимых для индексации страниц, а также их важность по отношению к другим документам, частоту и время последнего изменения, при этом делать как можно меньше «лишних» переходов. Sitemap помогает системе индексировать ресурс более эффективно.

Да, на мелких сайтах к любому документу можно перейти всего в пару кликов, но вот крупные содержат по несколько тысяч страниц и структура их куда сложнее. Без Sitemap на таких ресурсах будет сложно и посетителям, и поисковым ботам.

Исходя из вышеописанного можно выделить три основных ситуации, в ходе которых возникают проблемы с индексацией ресурса и нужен сайтмап:

1. огромное число страниц;
2. сложная структура ресурса;
3. отсутствие внешних либо внутренних бэклинков на важные для индексации страницы.

На заметку. Применение карты сайта не дает стопроцентной гарантии того, что все указанные здесь страницы попадут в индекс поисковиков. Она лишь дает рекомендации краулерам для более рационального сканирования документов.

Виды карт

Любой поисковик вносит страницы сайта в индекс постепенно, начиная с главной страницы и заканчивая документами с глубокой вложенностью это зависит какой краулинговый бюджет имеет сайт.

Чтобы ускорить индексацию веб-сайта необходимо создать файл Sitemap. Он делится на несколько видов в зависимости от того, с какой именно целью вы его создаете.

HTML

Представляет собой страницу, где находятся ссылки на статьи и разделы ресурса. HTML карта создана для живых посетителей и меньше подходит роботам, помогая нам с вами быстрее находить интересующие разделы.

У данного документа есть рекомендуемый лимит на количество доступных к размещению ссылок. Если их будет больше положенного, то в лучшем случае многие из них просто не попадут в поиск. А в худшем – вся страница может улететь из выдачи за злоупотребление ссылками, даже если они внутренние.

Во избежание этого в карте сайта рекомендуется размещать не больше 200 ссылок. Этого количества вполне хватит для размещения всех важных разделов и даже их подразделов, не попавших в главное меню. Так поисковые системы грамотно проиндексируют Sitemap, а посетителям будет легче воспринимать его содержание.

Структура HTML Sitemap древовидная, здесь указаны раскрытые разделы и подразделы. Слишком масштабные HTML-карты разбавляют графическим оформлением, элементами JavaScript и стилями CSS. Делая sitemap.html важно отталкиваться от:

• Структуры содержания. Пользователь должен легко разобраться в карте сайта и быстро отыскать нужный ему контент.
• Ссылочных анкоров. Здесь для каждой ссылки необходимо прописать название, что поможет пользователям вкратце понять содержание страницы, на которую они хотят перейти.
• Доступность ссылки. В большинстве случаев на карту сайта можно перейти, кликнув по ссылке в подвале (футере) – так она доступна на всех страницах.

На заметку. HTML карта сайта не настолько значима для поисковых машин, чтобы ее можно было считать полноценным ресурсом для продвижения. Если вы хотите указать в файле ссылки на более чем 200 веб-страниц, то лучше создать XML-карту.

Пример

XML

Это файл

webmasterie.ru

Карта сайта sitemap.xml и .html: как создать

Что такое карта сайта?

Карта сайта — отдельная страница либо файл, где перечислены все разделы, подразделы, статьи. Напоминает каталог, в котором зафиксированы все страницы сайта со ссылками на эти самые статьи. Если сайт статичный, с небольшим количеством страниц и малой вложенностью, проблем с индексацией не возникнет. Можно обойтись и без карты.

А вот если у нас крупный интернет-магазин, где вложенность категорий может достигать пяти, важно помочь поисковым ботам разобраться в структуре и упростить процесс индексации.

Для чего нужна карта сайта? XML или HTML: какая карта лучше?

Раньше карта сайта в формате html использовалась для посетителей, чтобы облегчить им поиск нужной информации. В настоящее время в первую очередь она нужна для поисковых ботов, чтобы сообщить им о структуре сайта и упростить индексацию ресурса, если невозможно создать отдельную xml-карту.

Если структура сайта построена правильно, сайт удобен с точки зрения юзабилити, простые пользователи, как правило, не будут использовать html-карту для навигации. Все страницы, товары, статьи из блога и т.д. должны быть доступны из меню либо через поиск. Посетитель должен за несколько кликов сам находить нужную страницу, не используя для этого отдельную карту.

Основные разделы меню сайта важно вынести в подвал. Это упростит навигацию для обычных пользователей и ускорит индексацию сайта. Поисковый бот с главной страницы получит ссылки на основные разделы меню и проиндексирует их в первую очередь.

В идеальном случае пользователь должен за пару кликов попасть на любую страницу сайта. Структура вложенности должна быть понятна как для пользователей, так и для поисковых ботов. Не используйте большую вложенность страниц. Рекомендуемый параметр вложенности 3-4. Если вложенность сайта больше, есть шанс что страницы будут индексироваться очень долго, а живые пользователи на них так никогда и не попадут.

Для облегчения навигации рекомендуем установить на сайт хлебные крошки с микроразметкой. Поисковые боты видят, как связаны страницы между собой, что облегчает понимание общей структуры сайта.

Если сомневаетесь, удобно ли пользоваться вашим сайтом — пишите нам, дадим пару рекомендаций бесплатно 🙂

Карта сайта в формате xml необходима для поисковых систем — чтобы поисковый робот увидел все ссылки, которые есть на сайте и быстрее индексировал ресурс. Бот видит структуру сайта, вложенность, конкретные адреса страниц и изображений. Все это упрощает индексацию.

С помощью файла Sitemap вы можете сообщить Яндексу, Google и другим поисковикам какие страницы вашего сайта нужно индексировать, как часто обновляется информация на сайте, а также индексирование каких страниц наиболее важно.

Формат xml разберем позднее, сначала попробуем разобраться с форматом html.

Карта сайта HTML: 6 рекомендаций для вебмастеров

1. Размещайте её на отдельной странице, попасть на которую можно из главного меню. То есть ссылка на карту сайта должна быть видна с любой страницы сайта.
2. Структура карты должна отражать иерархию страниц сайта: в структуре должно чётко прослеживаться, где основные разделы, а где подразделы.
3. Не перегружайте карту сайта излишними картинками, лучше вообще обойтись без них.
4. Не забудьте проставить ссылки с пунктов карты на внутренние страницы сайта, чтобы поисковый бот либо посетитель смог мгновенно перейти в нужный ему раздел.
5. Следите за актуальностью карты сайта. Если из структуры удаляются какие-то страницы или, наоборот, добавляются новые, не забудьте отразить это в карте. Если это возможно, карту сайта следует сделать автообновляемой.
6. На одной странице лучше размещать до 100 ссылок, так боту будет проще индексировать страницу.

Соблюдайте эти 6 правил, и карта сайта станет отличным навигатором для поисковых ботов и посетителей.

Карта сайта sitemap.xml: зачем нужна и как ее создать для своего сайта.

Карта сайта XML – это файл, размещенный в корневой директории сайта с информацией для поисковых систем (таких как Яндекс, Google, Rambler, Bing и других) о страницах вашего сайта. Этот файл нужен, чтобы поисковым системам было легче индексировать ваш сайт.

Как работает sitemap.xml?

Заходя на сайт, поисковый робот, прежде всего, читает инструкции в файле robots.txt о том, как следует индексировать сайт. И если в нём указать, что есть карта сайта sitemap.xml, то робот перейдет по указанному адресу, где перечислены URL-адреса всех страниц сайта.

Перед созданием xml карты следует подумать, какие адреса можно передавать поисковым ботам, а какие нет. В карте не стоит размещать адреса служебных страниц: вход в админ. панель сайта, страницу поиска, страницы фильтрации, регистрации, авторизации.

Если страница создана, но контент на ней отсутствует, лучше пока не указывать ее в карте сайта.

В карте сайта допускается размещение не более 50 000 ссылок. Если страниц больше, xml карту следует разбить на несколько частей.

XML файл карты должен содержать кодировку UTF-8. Сама карта выглядит следующим образом:

Для передачи информации поисковым ботам используются следующие элементы:

• Обязательный элемент содержит адрес страницы.
• Lastmod ата последнего изменения страницы. Передает информацию боту, когда страница была изменена. Если после последнего обхода значение не изменилось, бот не будет тратить время на повторный обход страницы.
• Changefreq — частота изменения страницы. Допустимые значения: always, hourly, daily, weekly, monthly, yearly, never.
• Priority — приоритете страницы для бота. Бот загружает страницы согласно приоритету от 0.0 до 1.0. Значение не дает преимуществ при ранжировании страниц в поисковой выдаче. Это позволяет указать поисковой системе, какие страницы, по вашему мнению, более важные для индексации, а какие менее. Например, если на главной странице сайта ежедневно обновляются новости, превью статей и т.п, рекомендуем установить значение 1.0.

Содержимое карты сайта является только рекомендацией для поискового бота. Параметры индексации могут игнорироваться поисковой системой. Не забывайте об этом.

Очень важно следить за актуальностью карты сайта. Если это технически возможно, карта сайта должна быть автоматически обновляемой. Если такой возможности нет, не забывайте вручную добавлять все новые страницы сайта. Иначе весь смысл карты сайта теряется. Бот не будет знать о появлении новых страниц на сайте, что существенно замедлит индексацию в поисковиках. Трафик на такие страницы будет расти очень медленно.

После создания адрес карты сайта следует сообщить поисковому боту. Адрес указываем в файле robots.txt, директива sitemap.

Пример:

User-agent: Yandex
Allow: /
Sitemap: http://mysite.ru/my_sitemaps.xml

Вот так карта сайта sitemap.XML облегчит работу поисковику и обеспечит качественную индексацию вашему сайту.

В большинстве современных систем управления сайтом xml карта формируются стандартными инструментами CMS.

В Bitrix карта сайта настраивается в разделе Сервисы — Поисковая оптимизация — Настройки sitemap.xml

В Настройках следует задать протокол для адресов страниц — http/https. Если на сайте настроено SSL-шифрование, обязательно выбираем https — адреса страниц в карте сайта должны соответствовать основному протоколу.

Далее в разделе Файлы выбираем блоки, которые должны быть проиндексированы и размещены в XML карте. Исключаем все служебные страницы.

Вкладка Инфоблоки отвечает за разделы инфоблоков, доступных для индексации. Если в инфоблоке часто появляются новые страницы, используйте опцию Автогенерации. Карта сайта будет автоматически обновляться при размещении новой страницы в разделе.

В OpenCart переходим в раздел Каналы продвижения — Google Sitemap. После активации модуля карта сайта будет создана автоматически. По умолчанию карту будет автообновляемой. Как правило, дополнительных настроек не требуется.

Для WordPress рекомендуем использовать плагин Google XML Sitemaps, либо Yoast SEO, All in WP SEO. Установите плагин обычным способом, используя функцию Плагины — Добавить новый.

После установки плагина переходим в Настройки — XML-Sitemap.

Оптимальные настройки Google XML Sitemaps для WordPress выглядят следующим образом:

В Joomla чаще всего используются плагины Xmap, OSMap, JL Sitemap. Большинству простых небольших сайтов подойдёт бесплатная версия OSMap.

После установки компонента он появится в основном меню сайта в разделе «Компоненты». Переходим во вкладку Компоненты>>>OSMap и на карте сайта Default кликаем на значок в столбце «Edit Links». Плагин OSMap просканирует ваш сайт и создаст карту. Посмотреть можно через ссылки столбца «Sitemap Links», на той же вкладке.

Если используется нестандартная CMS, либо нет возможности подключения плагинов, рекомендуем использовать сторонние сервисы для создания карты сайта.

Как создать карту на xml-sitemaps.com:

1. Копируем адрес сайта в поле:

   

2. После завершения сканирования переходим сюда:

   

3. Нажимаем скачать карту сайта.

   

Перед тем как загрузить файл на сервер рекомендуем проверить и удалить все ненужные для индексации страницы. Редактировать xml карту можно с помощью Блокнота.

Нажимаем правовой кнопкой на скаченный файл с картой Открыть с помощью — Блокнот.

Создание карты с помощью программы ComparseR:

1. Запускаем сканирование сайта. Программа проанализирует сайт, найдет все страницы и покажет их в специальном окне.

   

2. После завершения сканирования переходим в пункт Sitemap — Создать Sitemap.xml

   

После чего полученный файл sitemap.xml загружаем на сервер в корень сайта.

Размещение карты сайта в вебмастерах Яндекс и Google

После создания файла с картой сайта его важно загрузить в Вебмастер.

В Яндекс.Вебмастере переходим в раздел Индексирование — Файлы Sitemap, указываем адрес карты сайта, нажимаем «Добавить». Для обработки файла потребуется некоторое время.

После индексации рекомендую проверить файл на ошибки.

В Google Search Console раздел Индекс — Файлы Sitemap, указываем адрес карты сайта, нажимаем «Добавить». Боту потребуется какое-то время на сканироание файла.

После успешной обработки файла будет доступна статистика индексации по каждой странице.

Можно отследить количество страниц в индексе, количество исключенных страниц и причины отклонения:

Если возникнут сложности, пишите нам, создадим и разместим XML карту для любого сайта.

1ps.ru

Карта сайта (файл Sitemap) от А до Я

Разберемся, как составить Карту сайта, из чего она состоит, какие требования к Sitemap у поисковиков. Обновленный материал.

Sitemap или Карта сайта – специально созданный файл с перечнем страниц ресурса, которые необходимо проиндексировать.

Зачем нужен файл Sitemap

Существует два вида Карты сайта, которые различаются форматами и назначением:

HTML-карта

Её составляют для пользователей, чтобы упростить им навигацию по страницам сайта. Это необязательный элемент, такую карту можно составить на большом сайте со сложной иерархией для удобства пользователей.

XML-карта

Нужна для поисковых ботов, она важна для SEO, так как помогает ботам индексировать страницы ресурса.Наличие этого файла подсказывает поисковым роботам, как именно организована структура сайта. Соответственно, Яндекс, Google, Bing и другие поисковики получают возможность более качественно индексировать проект.

В этом материале разберем создание XML-карты.

Для чего нужна Карта сайта:

1. Ускорить процесс полной индексации.
   Поисковые роботы Google могут пропустить недавно созданные или измененные страницы, а Карта поможет в них ориентироваться.
2. Дать дополнительную информацию.
   В Карте указывают дополнительные рекомендации для робота: делают пометки о важности страницы, частоте и дате обновления.
3. Отобразить количество проиндексированных URL
   Сигналы из Sitemap нужны в том числе для отображения проиндексированных ссылок в Search Console.
4. Ускорить процесс пакетной деиндексации.
   Для этого создают временный файл Sitemap, в который включают страницы для удаления. Об этом рассказал Джон Мюллер, он рекомендует обязательно указать дату последнего изменения страниц, когда им был присвоен код ошибки 404 или атрибут noindex. Так Google будет знать, что необходимо заново просканировать содержимое сайта. Через несколько месяцев эту временную карту сайта можно будет убрать.

При этом даже если Google найдет ссылку в Sitemap, но ее не будет в навигации, он не придаст ей веса и не проиндексирует. Ссылки в Карте сайта — это рекомендации, важнее всего составить грамотную структуру сайта, в которой поисковый робот найдет все нужные страницы.

В большинстве случаев грамотной внешней и внутренней перелинковки страниц достаточно, чтобы поисковые роботы узнали о всем содержимом сайта. Лендингам, небольшим корпоративным сайтам из пары страниц, одностраничным визиткам Карта сайта и не нужна — бот разберется в страницах без труда. Карты нужны для сайтов, которые сложно краулить, поэтому для остальных проектов ее рекомендуют создать.

Карта обязательно нужна сайтам с такими признаками:

• Проект создан недавно, у него мало внешних ссылок. В этом случае поисковому боту сложнее найти сайт.
• В структуре сайта много архивов веб-документов, не связанных между собой.
• У проекта большое количество страниц, разделов и подразделов;
• В структуре преобладают динамические страницы.
• На сайте есть мультимедийный контент. Бот сможет получить дополнительную информацию из Sitemap для показа в результатах поиска.

Поисковые системы могут не проиндексировать все нужные страницы таких сайтов, если не предложить краулерам файл Sitemap. Разберем, как его создать.

Базовые критерии создания файла Sitemap

У поисковиков есть свои требования к составлению Карты сайта, о которых нужно помнить веб-мастеру.

Общие требования к Sitemap:

1. Количество URL-адресов в файле Sitemap не должно превышать 50 тысяч. Если их больше, необходимо создать несколько отдельных Карт сайта, которые прописывают в файле индекса Sitemap. По словам официального представителя Google, для этого достаточно создать несколько отдельных файлов Sitemap, не больше 50 тысяч ссылок каждая, а в сумме ссылок может быть больше лимита. После этого для нескольких Карт создают общий материнский файл Sitemap.
2. Максимальный размер файла – 50 Мб. Файл можно уменьшить при помощи сжатия gzip, но в несжатом виде он все равно должен быть меньше 50 Мб.
3. Файл Sitemap должен находиться на том же домене, что и веб-сайт, для которого он создан.
4. Можно использовать кодировку UTF-8, а также латинские буквы и цифры.
5. Ответом сервера на обращение к файлу Sitemap должен быть HTTP-статус с кодом 200 OK.
6. URL идентификаторы сессий не должны быть в Карте сайта.
7. Ссылки должны иметь одинаковый синтаксис.
8. В Карте указаны только канонические URL.
9. Карта не конфликтует с информацией в robots.txt — если в robots.txt какие-то страницы закрыты от индексации, то их не должно быть в Карте.

Подробнее о требованиях есть в Справке Google и на странице Помощи Яндекса.

Некоторые веб-мастеры беспокоятся о порядке ссылок в файле, но представитель Google Джон Мюллер сказал, что очередность не имеет значения вообще, главное — поместить в Sitemap самые важные канонические ссылки.

Допустимые форматы Карты сайта

Особое требование предъявляется к формату файла Sitemap. Карту сайта можно создать в виде XML-файла, текстового файла или посредством RSS, mRSS и Atom 1.0. Яндекс указывает, что поиск не поддерживает передачу RSS и Atom-фидов с помощью Sitemap. Если ориентируетесь на разные поисковые системы, используйте формат XML. Правила создания файла описаны в стандарте.

Служебные теги Sitemap

Обязательные теги Карты сайта:

• — контейнер с указанием стандарта протокола;
• — родительский тег для каждой записи URL-адреса;
• — указание URL, начинается с префикса, к примеру, http или https.

Дополнительные теги:

• — частота обновления веб-документа с атрибутами never, always, yearly, monthly и так далее;
• — дата последнего обновления на странице;
• — указание разной важности страниц ресурса от 0,1 до 1, определяет очередность обработки URL на этом сайте. Google его не поддерживает. Приоритет можно дать самым важным страницам и нет смысла указывать высокий приоритет всем ссылкам, тогда тег вообще ни на что не повлияет.

Другие языковые версии сайта указывают с помощью атрибута hreflang.

Пример Карты сайта в формате XML

Sitemap для PR-CY.ru, если бы он состоял из одной страницы и содержал упомянутые теги, мог бы выглядеть так:

<!--?xml version="1.0" encoding="UTF-8"?-->
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.pr-cy.ru/</loc>
<lastmod>2016-03-21</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
</urlset>

Как создать и где разместить файл Sitemap?

При желании составить Карту сайта можно вручную, но это слишком трудозатратно и бессмысленно — Карта сайта должна быть динамической, если вы регулярно обновляете сайт — публикуете новые записи в блоге, развиваете интернет-магазин. Лучше создавать файл Sitemap автоматически, обратившись к услугам бесплатных онлайн-сервисов и плагинов для CMS.

Сервисы для создания Sitemap

• XML-Sitemaps
  Сделает Карту для небольших сайтов до 500 страниц бесплатно и без регистрации, для обновляемого файла с большим количеством страниц нужно подключить PRO-аккаунт, которые дает много дополнительных преимуществ с анализом ссылок. Есть PHP-скрипт для установки на своем сервере.
• Генератор СайтРепорт
  Бесплатное онлайн-создание файла карты до 5000 страниц.

Работа онлайн-сервиса
• MySitemapGenerator
  Бесплатно составит карту до 500 страниц, 2,5 доллара стоит генерация файла до миллиона страниц и создание карты с неограниченным количеством ссылок и автоматическим обновлением по расписанию стоит 4 доллара в месяц.
• Xml Sitemap Generator
  Бесплатно генерирует HTML, RSS и Google XML-карты сайта. Есть онлайн-режим, плагин для WordPress и возможность скачать программу для Windows.
Онлайн-режим

CMS-плагины для создания Sitemap

WordPress: Xml Sitemap Generator, SEO Plugin Rank Math, YOAST SEO, All in One SEO Pack.

Joomla: демо и платная версия OSMap, демо и платная jSitemap, бесплатная JL Sitemap.

1С-Битрикс: в админпанели в разделе «Маркетинг» есть «Настройка sitemap.xml».

После того, как Карта сайта готова, файл необходимо определить в корневую директорию. В этом случае ссылка, указывающая поисковым системам путь к файлу Sitemap, может выглядеть так: http://www.pr-cy.ru/sitemap.xml

Добавление Карты сайта в поисковые системы

Чтобы о новом файле Sitemap быстрее узнали поисковые роботы, веб-мастеру необходимо внести изменения в файл robots.txt, прописав в нем особую директиву, указывающую точный маршрут к Карте сайта:

 Sitemap: http://www.pr-cy.ru/sitemap.xml

Готовый файл Sitemap нужно проверить на ошибки и добавить в Яндекс или Google при помощи Яндекс.Вебмастера или Google Search Console.

Как удалить старую Карту сайта

При реорганизации контента и создании новых Sitemap нужно удалить старую Карту сайта. ​В панели Вебмастера Google нет такой функции, но сотрудник Google Джон Мюллер советует присвоить ссылке на файл ошибку 404. Если ссылка на Sitemap XML отдает код ошибки 404, то со временем поисковик автоматически перестанет учитывать этот файл.

---

Наличие у сайта правильно составленной Карты — не гарантия того, что поисковик проиндексирует все страницы. Sitemap — подсказка для поисковых ботов о том, как лучше сканировать ресурс. Тем не менее, если вы управляете не лендингом и не сайтом из нескольких страниц, составьте файл для своего проекта.

pr-cy.ru

Зачем нужен файл sitemap.xml (карта сайта для роботов) и как с ним работать. Мифы и реальность

В последнее время часто приходится отвечать на вопросы, связанные с файлами sitemap. Всплеск интереса к этому далеко не самому важному аспекту оптимизации сайтов объясняется выходом новой версии Яндекс.Вебмастера, который помечает отсутствие карты сайта как ошибку.

В разделе «Возможные проблемы» показывается следующее уведомление:

Нет используемых роботом файлов Sitemap
Робот не использует ни одного файла Sitemap. Это может негативно сказаться на скорости индексирования новых страниц сайта. Если корректные файлы Sitemap уже добавлены в очередь на обработку, сообщение автоматически исчезнет с началом их использования.
Обратите внимание на раздел «Файлы Sitemap».

Так ли страшно это предупреждение? Обязательно ли создавать sitemap и если да, то для чего? Разложим по полочкам.

Что такое sitemap и для чего он предназначен?

Это файл, содержащий список адресов страниц сайта, сформированный по специальному (достаточно простому) стандарту. Подробно о нем можно почитать на www.sitemaps.org.

Чаще всего используется формат xml, который позволяет указывать помимо самих URL-адресов также некоторые их характеристики (частоту обновления и изменения, относительную значимость страницы). Однако можно использовать и совсем простую структуру. Это файл txt, содержащий список URL (каждый с новой строки) — и больше ничего.

Назначение списка — предоставить поисковым паукам информацию об имеющихся на сайте документах. Это помогает роботу найти все страницы ресурса и добавить их в результаты поиска. Дополнительные данные из xml — это рекомендация поисковым паукам чаще или реже посещать те или иные страницы. Кстати, не слышал ничего о том, как эти рекомендации выполняются. Очень может быть что они не учитываются вообще или являются значительно более слабым сигналом по сравнению с другими факторами.

Мифы о карте сайта

1. Достаточно сделать sitemap.xml — и об индексации можно не беспокоиться

Это самое частое заблуждение, сталкиваюсь регулярно. На самом деле для крупных сайтов (сотни тысяч страниц) полнота индекса — одна из наиболее важных проблем и простым размещением карты сайта она не решается. Карта дает роботу возможность найти все страницы, но это не значит, что а) индексации не помешает что-то другое, например, технические проблемы и б) поисковая система сочтет страницу «достойной» быть в поиске.

Для индексации всех страниц даже относительно небольшого (30 — 50 тысяч страниц) сайта нередко приходится прилагать дополнительные усилия. См. обзорную статью на эту тему а также описание автоматизированного подхода к ускорению индексации.

2. Sitemap обязателен для всех сайтов

Маленькие проекты (до тысячи страниц) с более-менее адекватной структурой, когда можно в пару кликов перейти на любую страницу, прекрасно себя чувствуют и без него. Это понятно как из общих соображений (основной механизм нахождения материалов для индексации — это переходы по внутренним ссылкам), так и из практики. Видел десятки сайтов без карты, которые полностью корректно воспринимались роботом.

Наконец, о том же говорит Гугл в своей справке:

Если страницы файла корректно связаны друг с другом, поисковые роботы могут обнаружить большую часть материалов. Тем не менее, с помощью файла Sitemap можно оптимизировать сканирование сайта, особенно в следующих случаях:

• Размер сайта очень велик. Поисковые роботы Google могут пропустить недавно созданные или измененные страницы.
• Сайт содержит большой архив страниц, которые не связаны друг с другом. Чтобы они были успешно просканированы, их можно перечислить в файле Sitemap.
• Ваш сайт создан недавно, и на него указывает мало ссылок. Робот Googlebot и другие поисковые роботы сканируют Интернет, переходя по ссылкам с одной страницы на другую. Если на ваш сайт указывает мало ссылок, его будет сложного найти.
• На сайте используется мультимедийный контент, он отображается в Новостях Google или использует другие аннотации, совместимые с файлами Sitemap. Из файлов Sitemap может получать дополнительную информацию для отображения в результатах поиска.

3. Если удалить страницу из sitemap, она выпадет из индекса

Аналогично — миф. Сталкивался с огромным количеством сайтов, где sitemap отваливался из-за технических проблем или отдавался роботам в сильно урезанном виде. Это могло вредить попаданию в поиск новых страниц, но со старыми все было в порядке.

Наоборот, нередко используется прием «удалим из карты все проиндексированное чтобы сосредоточить внимание робота на новых страницах». Он дает определенный эффект в плане оптимизации краулинга (сканирования) сайта. Однако для большинства случаев я не рекомендую его использовать, о причинах см. ниже.

4. Обязательно нужно настраивать все доп. параметры (приоритет, частота обновления)

Нет. Как уже упоминалось, можно без проблем использовать обычный txt-файл со списком url. Разумеется, хуже от указания максимума информации в карте не будет. Однако:

1. Нет достоверных данных о том, что поисковики действительно учитывают эти инструкции. Вообще-то Яндекс зачастую игнорирует даже куда более жесткую рекомендацию — заголовок сервера Last-Modified и If-Modified-Since (см. подробнее).
2. Даже если сигналы учитываются строго по заявлениям поисковиков — то есть как рекомендация — то выигрыш в эффективности сканирования будет чаще всего весьма незначителен. Исключение — по-настоящему крупные проекты, где полнота индекса критична.
3. Указание всех данных требует от SEO-аналитика дополнительной кропотливой работы по подбору их значений.
4. Аналогично, настройка генерации файла со всеми параметрами — это дополнительные затраты на разработку.
5. Пункты 3 и 4 еще серьезнее, чем кажутся. Ведь сайт меняется, должны меняться и расширенные данные, иначе рекомендации станут неактуальными.

Думаю, на этом хватит о мифах, перейдем к настоящим рекомендациям.

Как правильно работать с sitemap?

Большая часть необходимых сведений о создании файлов и предоставлении роботам доступа к ним содержится в справке поисковых систем. См. помощь Google и Яндекса. Я же расскажу о нескольких неочевидных моментах.

Во-первых, файл со списком url сайта, к которому легко получить доступ, может пригодиться не только поисковым роботам. Он крайне удобен для ряда задач SEO-аналитики.

Пара примеров.

Оценка полноты и качества индекса

Раз мы точно знаем количество доступных для поисковых систем страниц (число ссылок в карте посчитать несложно) — значит, можем быстро оценить, насколько полно он проиндексирован. Делаем грубую оценку через оператор «site:» (лучше с некоторыми ухищрениями, см. о проверке индексации в Google).

Если количество страниц в выдаче меньше, чем в карте — находим те, что ускользнули от роботов и загоняем их в поиск — правкой структуры, Твиттером (инструкция) и т.д.

Если больше — то в поиск могли попасть случайно сгенерированные, «мусорные» страницы. Их нужно найти и либо довести до ума, либо закрыть с помощью robots.txt, canonical, мета-тегов. Опять же, для поиска лишнего пригодится список нужного, чем и является sitemap.

Поиск страниц, которые не приносят трафик

Если страница есть на сайте, но не приносит нам посетителей в течение долгого времени, с ней что-то не так. Подобные url нужно найти и разобраться в причинах — зачастую это помогает здорово поднять трафик.

Как это сделать? Хотя бы так:

Строим в Метрике отчет по страницам входа из поиска за квартал:

Фильтруем по источнику — по одной из поисковых систем, под которую работаем:

И выгружаем список страниц (данные таблицы) в excel.

Теперь нам осталось:

а) перегнать xml-карту в excel (для этого есть море онлайн-конвертеров).

б) используя функции excel находим url, которые есть в столбце из карты, но нет в столбце из Метрики.

Алгоритм выглядит довольно громоздко, но ничего сложного в нем нет. А для ленивых ценящих свое время (таких как я) есть автоматизация процесса. Один из отчетов моего сервиса анализа сайта как раз проверяет списки из sitemap по разным параметрам. Например, вчера вышло обновление, где на основе sitemap работает поиск потенциально опасных страниц, которые загоняются в индекс ссылочным спамом от конкурентов, желающих навредить сайту.

Подобных примеров можно привести еще много. Суть не в них, а в том, что  иметь под рукой актуальный перечень страниц сайта очень полезно. К нему можно быстро получить доступ с помощью разных сервисов и софта (на крайний случай — используя excel) и использовать в процессе оптимизации сайта.

Да что там говорить, даже стандартный технический аудит с применением парсеров вроде Screaming Frog делать удобнее, если подать на вход не url главной страницы, как обычно, а sitemap. Процесс делается более управляемым: можно заранее отобрать для анализа часть страниц (например, по самому проблемному разделу) и не ждать, пока будут обработаны другие.

Это был первый не очень очевидный момент.

Как лучше дать роботам доступ к карте?

В некоторых случаях лучше не указывать ссылку на stiemap в robots.txt, а отправлять вручную через Google Search Console и Яндекс.Вебмастер. Дело в том, что в robots.txt ее может увидеть кто угодно. Например, какой-нибудь злодей, который ищет где спарсить контент. Не стоит облегчать ему задачу.

Если дать SEO-паранойе разгуляться еще сильнее — то приходит мысль не использовать стандартное имя (sitemap.xml), а назвать файл как-нибудь иначе, чтобы ее не нашли, введя традиционное название.

Не скажу, что это особо критичный совет, но почему бы не подстелить соломки, если это несложно?

Резюме

1. Файл sitemap помогает сайту в плане индексации, но отнюдь не является панацеей. Если есть проблемы с полнотой индекса — их нужно решать комплексно.
2. Использовать необязательно, но желательно для крупных сайтов и некоторых специфичных задач (см. выше цитату из справки Google).
3. Предыдущий пункт справедлив в отношении задачи «облегчить жизнь поисковым роботам». Однако для задач анализа сайта и принятия решений в процессе оптимизации иметь под рукой карту удобно практически для всех сайтов (кроме совсем маленьких).
4. Важнейшее требование к sitemap (помимо соответствия стандартам) — это полнота и актуальность. Для задач SEO-аналитики карта выступает как эталон, с которым сравнивают другие списки url-адресов (те, что в индексе; на которые есть входящие ссылки; на которые есть переходы из поиска и так далее). Поэтому при создании нужно сразу позаботиться о ее регулярном обновлении.
5. Если есть необходимость управлять индексацией путем удаления уже проиндексированных страниц из sitemap, то можно иметь 2 разных файла — один отдавать роботам, а другой держать для собственных нужд по анализу.

Уф, вроде бы простой предмет, а статья почти на 1500 слов. Поздравляю себя с ее написанием и вас — с прочтением. Мы оба небывало усидчивы для эпохи социальных сетей и непрерывного отвлечения!

Поделиться

Твитнуть

Поделиться

Отправить

alexeytrudov.com