в чем разница и как создать [руководство]

Карта сайта представляет собой страницу sitemap.html (для посетителей, помогает упростить навигацию и найти любую страницу на большом сайте) или файл sitemap.xml (для поисковых систем), содержащие подробный список всех страниц веб-сайта.

Сайтмап позволяет сократить количество переходов при поиске нужной страницы на любом, даже самом большом сайте. Грамотно настроенная карта сайта способна повысить индексацию страниц веб-сайта.

Какие возможности дает карта сайта?

Поисковики способны просканировать все адреса сайта самостоятельно, но создание карты сайта поможет им узнать, как это лучше сделать.

Сайтмап позволяет:

• найти новые страницы на ресурсе и проиндексировать их;
• расставить приоритетность страниц;
• отследить свежие изменения на индексируемых страницах;
• запомнить частоту обновления индексируемых страниц.

Какие бывают карты сайта?

В общем случае существует два варианта сайтмапа — это веб-страница sitemap.html и файл sitemap.xml. Рассмотрим их поподробнее.

Что такое Sitemap.html?

Это статическая HTML страница, где перечислены ссылки на все основные страницы сайта. Такой формат сайтмапа ориентирован на посетителей сайта и позволяет в 1 клик перейти на любую из страниц.

Sitemap.html имеет структуру дерева с развернутыми разделами.

Ссылка на статическую карту сайта зачастую расположена в футере.

У сайтов с очень сложной структурой HTML карта сайта может состоять из страниц с дополнительным уровнем вложенности.
Пример — карта сайта TripAdvisor.

Что такое sitemap.xml?

Это файл, лежащий в корневой директории сайта, который читается всеми существующими поисковиками. Его роль — показать поисковым системам все адреса страниц, которые нужно проиндексировать; когда они появились или обновились; с какой регулярностью перепроверять страницы на обновление.

Пример файла — https://livepage.pro/sitemap.xml

Один файл sitemap.xml может включать в себя до 50 000 ссылок. При большем количестве ссылок таких файлов будет несколько. Дополнительные преимущества — возможность указать частоту обновления страниц и приоритет индексации. Правильная кодировка файла sitemap.xml должна быть UTF-8, а его размер ограничен 10 Мб.

<urlset xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″>
 <url>
  <loc>http://mysite.ru/</loc>
  <lastmod>2017-09-18T18:54:13+04:00</lastmod>
  <changefreq>always</changefreq>
  <priority>1.0</priority>
  </url>
  <url>
   <loc>http://mysite.ru/category/</loc>
   <lastmod>2017-09-18T18:57:09+04:00</lastmod>
   <changefreq>hourly</changefreq>
   <priority>0.8</priority>
   </url>
   <url>
    <loc>http://mysite.ru/page/</loc>

Как создать карту сайта?

Существует ряд методов создать sitemap для вашего ресурса:

• Статически вручную. Этот способ подойдет продвинутым пользователям, которые имеют навык работы с основными тегами, а веб-сайт состоит из небольшого количества страниц.
• Через генератор карты сайта. Если вы не хотите выполнять кропотливую и нудную работу по генерации карты сайта вручную, к вашим услугам — программа для создания карты сайта. Есть платные и бесплатные варианты: GSiteCrawler, Google Webmaster Tools Sitemap Generator, SiteMap Generator и множество других.
• Плагин для CMS или средствами движка. Еще один хороший способ сгенерировать sitemap. Масса преимуществ в виде гибкой настройки под нужные параметры и максимума возможных адресов, а также серьезная экономия времени. Кроме того, при внесении изменений на страницу или создании новых страниц карта сайта будет обновляться автоматически, в отличие от сайтмапа, созданного другим способом. Для каждой системы существует свой плагин:
  • для CMS WordPress разработаны seo-плагины с функцией создания сайтмапа;
  • для Joomla существует Xmap;
  • DLE — имеется встроенный модуль.

Полезный нюанс!

Если исключить из карты сайта страницы, которые не несут коммерческой или информационной пользы (например, какие-нибудь страницы, не являющиеся посадочными, какие-то вспомогательные, транзитные), то поисковой робот будет тратить меньше своих ресурсов на переобход сайта.

А так как ресурс ограничен, становится больше вероятность, что робот обойдет нужные нам страницы. Создавая sitemap через плагин, можно сразу исключить оттуда определенные типы страниц. Их потом можно добавить, если понадобится. Актуально для больших сайтов.

Как часто должна обновляться карта сайта?

Единого норматива по количеству обновлений нет. Все зависит от частоты создания новых страниц ресурса, изменения адресов или контента и связей уже существующих страниц.

При этом стоит помнить, что данные, указанные в карте сайта, поисковый робот воспринимает как рекомендательные: если установить частоту обновлений, к примеру, раз в год, робот будет приходить чаще, а если раз в час — робот не станет индексировать страницу так часто.

Как правильно указать ссылку на sitemap.xml в robots.txt

Для начала, xml карта сайта должна быть создана и загружена на сервер, и потом можно добавить указание о наличии файла.

Чтобы это сделать, пропишите в robots.txt следующую строку:

Sitemap: {url-файла-sitemap},
где {url-файла-sitemap} — это полный URL вашего сайтмапа.

В итоге, robots.txt приобретет такой вид:

User-Agent: *
Sitemap: httр://mysite.com/sitemap.xml.

Частые ошибки в карте сайта

Самые распространенные ошибки:

• битые ссылки;
• редиректы;
• некорректные даты публикации или обновления контента.

Ошибки не будут иметь критического влияния на отношение поисковых систем к вашему сайту. Однако их устранение позволит направить высвободившиеся ресурсы поискового робота на переобход важных страниц.

Как проверить корректность карты сайта

Чтобы проверить корректность карты сайта, разработаны многочисленные онлайн-сервисы, которые сделают это за вас автоматически и укажут на все допущенные ошибки: валидности файла, указание на url с другого домена, превышение размера файла, проведут онлайн-диагностику индексации. Такие программы бесплатны и работают со всеми крупными поисковиками (Google, Yandex, Yahoo).

Для проверки корректности необходимо открыть страницу сервиса, загрузить xml-файл или ввести в поле соответствующий URL и нажать на кнопку проверки. Если программа обнаружит ошибки, она подскажет, какие адреса дают некорректный ответ.

Протестируйте sitemap.xml в Яндекс * — https://webmaster.yandex.ru/tools/sitemap/
Протестируйте с помощью сервиса Pixel Plus — https://webmaster.yandex.ru/tools/sitemap/

* — для теста в Яндекс, необходимо добавить сайт в Яндекс Вебмастер.

Итого

Карта сайта — удобный инструмент, призванный упростить передачу структуры основных страниц как посетителю так и поисковой системе.

Без нее можно обойтись. Поисковик и так рано или поздно доберется до большинства веб-страниц, но с сайтмапом переобход или индесация новых страниц будут более эффективными.

livepage.pro

что это такое xml и html карта сайта?

Картой сайта (sitemap) — это список ссылок страниц веб-ресурса, предназначенный для пользователей или поисковых роботов. В sitemap не обязательно включаются все страницы сайта, например, могут исключаться различные непродвигаемые, вспомогательные страницы — страница обратной связи, регистрации на сайте, подтверждения заказов.

Типы карт сайта

HTML карта сайта

Карта в таком формате публикуется на сайте, как и любая другая страница. Ссылку на нее, как правило, размещают в верхней части шапки или в футере. Такая карта предназначается для посетителей сайта и по структуре представляет собой обычную страницу, сверстанную посредством HTML. Рекомендуется делать понятную структуру списка со ссылками. Т. е. пользователь должен видеть, какие разделы существуют на сайте, какие подразделы в них входят. Обычно это делают посредством форматирования (отступов, вариации шрифтов и др.). По своей смысловой нагрузке это аналог содержания, которое публикуется в книгах. Ссылки указываются в карте сайта в иерархическом порядке, включая разделы, подразделы, публикации и др.

Функции sitemap.html

Упрощение навигации. Быстрый переход на нужную страницу не всегда возможен из-за сложной многоуровневой структуры веб-ресурса, неправильной организации меню, плохой ориентации пользователя на сайте и других причин. Наличие единого списка всех страниц дает возможность быстрого поиска нужного раздела. Пользователь легче находит искомое, а это повышает его лояльность к сайту, увеличивает время пребывания и число внутренних переходов. Все это полезно для продвижения, поскольку поисковики учитывают поведенческие факторы. Для коммерческих ресурсов удержание пользователя нередко имеет прямую связь с прибылью.

Повышение дружелюбности интерфейса. Наличие карты сайта является своего рода хорошим тоном при разработке навигационной системы и грамотной организации веб-ресурса. Это свидетельствует о том, что владелец заботится об удобстве пользователя, стремится создать максимально дружелюбный интерфейс.

Перелинковка страниц. Имея отдельную карту сайта, вы обеспечиваете минимум по одной внутренней ссылке на все разделы. Сама sitemap является непродвигаемой, а определенный вес другим страницам она передает.

XML карта сайта

Данный вид карты сайта предназначается для поисковых систем. Она существует в виде XML-файла, который находится в корне сайта. Доступность этой карты прописана в robots.txt. Важно указать ссылку на XML-карту в панели вебмастеров. Рекомендуется указывать не более 50 тысяч ссылок в XML-карте, но для интернет-магазинов зачастую требуется гораздо больше. В этом случае создается несколько XML-файлов. Размер XML не должен превышать 10 Мб.

Особенности XML

XML-карта должна содержать:

• адрес страницы сайта;
• дату ее последнего обновления;
• частоту обновления;
• значимость страницы – робот поочередно загружает страницы с учетом значения коэффициента от 0.0 до 1.0.

Поисковики анализируют карту сайта и заходят сначала на важные и/или обновленные страницы, что способствует улучшению индексации.

Поисковые роботы переходят по внутренним ссылкам, постепенно индексируя страницы, которые находят. Но это не означает, что они посетят все разделы и публикации, имеющиеся на сайте. Поиск может прерваться из-за плохой внутренней перелинковки и прочих факторов, придется ждать, пока робот снова зайдет на ваш веб-ресурс. Наличие ссылок на все страницы на отдельной sitemap улучшает и ускоряет индексацию, что полезно для продвижения.

Способы создания карты сайта

Плагины. Многие CMS имеют специальные плагины, которые позволяют автоматически формировать карты обоих форматов. Использование данного способа удобно тем, что существует большой спектр полезных настроек.

Программное обеспечение. В Сети есть платные и бесплатные программы, позволяющие сгенерировать карту сайта, например SiteMap Generator, GSiteCrawler и пр. Обычно они рассчитаны на создание XML-версий. Преимущество заключается в простоте, недостаток – в необходимости постоянной перегенерации после обновления.

Онлайн-создание. Для онлайн-генерации карт сайта существуют такие сервисы как www.xml-sitemaps.com, www.freesitemapgenerator.com, https://gensitemap.ru/, https://www.mysitemapgenerator.com/ и многие другие. Как и программы, они бывают платными и бесплатными, могут иметь определенные ограничения (например, по количеству ссылок) и обычно рассчитаны на XML.

Ручное создание. Если сайт небольшой и обновляется не очень часто, можно создать и опубликовать карту сайта вручную. Для этого необходимо владеть хотя бы минимальными навыками HTML- и XML-верстки.

Какую карту сайта создавать

На качественном веб-ресурсе должны быть оба типа карт сайта, поскольку каждый из них по своему влияет на индексирование сайта.

wiki.rookee.ru

подробное описание формата, примеры создания XML карты сайта

16.10.2018 | Время чтения: 12 минут

Автор: Симагин Андрей

Многие из вас слышали про необходимость наличия у сайта карты Sitemap (он же «сайтмап»), однако не все до конца понимают важность его присутствия на сайте. В данной статье мы проведем обзор файла формата Sitemap.xml, а также опишем варианты его генерации для различных типов сайтов.

Структура статьи:

Для чего нужна карта сайта Sitemap.xml

Карта сайта Sitemap – это файл XML либо текстового формата (TXT), содержащий в себе все URL сайта (ссылки на страницы либо изображения) и предназначенный для сообщения поисковым роботам информации о новых страницах на вашем ресурсе. В результате обхода по всем URL в сайтмап, поисковая система перейдет по всем актуальным страницам вашего сайта.

Конечно, поисковые системы проиндексируют ваш сайт и без сайтмапа, и зачастую сделают это не менее качественно, однако в некоторых случаях у поисковиков могут возникнуть сложности с индексацией страниц. Основными причинами неиндексации могут быть такие факторы, как:

• сайт имеет большую вложенность страниц (характерно для крупных веб-ресурсов)
• сайт имеет страницы без навигационных ссылок (на страницы невозможно перейти по внутренней навигации сайта)
• на сайте присутствуют динамические URL

Для подобных страниц из вышеописанных вариантов робот может не добраться никогда, так как в первом случае из-за глубокой вложенности он просто не дойдет до конечного URL, исчерпав краулинговые лимиты сайта, а во втором он физически их не увидит, так как не сможет на них перейти по ссылкам на сайте (например, это может быть вариант, когда ссылка есть, но проставлена при помощи JavaScript, CSS-стилем либо просто зашифрована, из-за чего в исходном коде страницы поисковый робот ее просто не увидит).

Однако, имея информацию о наличии файла Sitemap.xml, поисковый робот будет периодически его обходить и индексировать новые страницы сайта в нужном вам порядке, с необходимым приоритетом и именно по тем страницам, которые вам наиболее важны в данный момент.

Описание формата Sitemap

Sitemap может быть двух типов: текстового формата (TXT) и формата XML.

Текстовый формат представляет собой простой текстовый файл кодировки UTF-8 и содержащий в себе URL сайта в виде наборов строк (каждая ссылка с новой строки). Пример карты сайта текстового формата:

https://www.site.ru/page-1.html
https://www.site.ru/page-2.html

Формат XML является расширенным форматом текстового варианта и позволяет передавать поисковым ботам дополнительную информацию. Пример файла Sitemap.xml:

<?xml version="1.0" encoding="UTF-8"?>
    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
        <url>
            <loc>http://www.site.ru/</loc>
            <lastmod>2018-10-03</lastmod>
            <changefreq>monthly</changefreq>
            <priority>1.0</priority>
        </url>
        <url>
            <loc>http://www.site.ru/page-1.html</loc>
            <lastmod>2018-10-03</lastmod>
            <changefreq>monthly</changefreq>
            <priority>0.9</priority>
        </url>
        <url>
            <loc>http://www.site.ru/page-2.html</loc>
            <lastmod>2018-10-03</lastmod>
            <changefreq>monthly</changefreq>
            <priority>0.9</priority>
        </url>
        ...
        <url>
            <loc>http://www.site.ru/page-N.html</loc>
            <lastmod>2018-10-03</lastmod>
            <changefreq>monthly</changefreq>
            <priority>0.9</priority>
        </url>
    </urlset>

Описание элементов XML, на которые необходимо обратить внимание:

• url (обязательный параметр) – содержит все сведения о конкретном URL
  • loc (обязательный параметр) – URL страницы. Для URL с параметрами необходимо маскирование
  • lastmod – дата и время последнего изменения страницы в формате Datetime. При необходимости допускается опустить сегмент времени и использовать формат ГГГГ-ММ-ДД
  • changefreq – указание рекомендательной частоты изменения страницы. Может принимать значения: always, hourly, daily, weekly, monthly, yearly, never
  • priority – значимость страницы относительно других URL сайта. Допустимый диапазон значений 0.0 до 1.0. Чем страница важнее, тем приоритет больше. У главной страницы приоритет всегда равен 1, по умолчанию приоритет 0.5

Примечание: стоит упомянуть, что содержимое карты сайта является лишь рекомендацией поисковым роботам по обходу страниц (если установить периодичность обхода страниц раз в неделю, то робот может их обходить гораздо чаще, и наоборот, если установить частоту обхода ежечасно, то это не значит, что поисковики будут индексировать страницу каждый час).

Прочие форматы XML карты сайта:

• Файл Sitemap для изображений
  • Отдельный сайтмап для изображений будет полезен, если изображения не доступны боту напрямую (например, если они загружаются с помощью JavaScript). Однако, зачастую, для этого можно использовать обычный Sitemap.xml и указывать в нем ссылки на изображения вместе с обычными URL. Подробнее о сайтмап для изображений в справке Google
• Файл Sitemap для новостей
  • Используется для быстрой индексации новостных материалов вашего сайта, при этом ваш ресурс должен быть включен в каталог Google Новости. Требования к Sitemap: должен содержать не более 1000 URL, должен содержать URL новостей, опубликованных за последние два дня. Подробнее о сайтмап для новостей в справке Google

Маскирование

Маскирование в Sitemap.xml используется для URL-адресов и предназначено для интерпретации обычных символов в их псевдокоды в формате HTML:

• Амперсанд: & -> &amp;
• Одинарные кавычки: ‘ -> &apos;
• Двойные кавычки: » -> &quot;
• Больше: > -> &gt;
• Меньше: < -> &lt;

Таким образом, всем привычный URL с параметрами и не маскированными спецсимволами по стандартам XML будет невалиден, пример:

Стандартный URL страницы (не валидный)

https://www.site.ru/index.php?page=news&date=22071981

Валидный URL в Sitemap с маскированием (символ «&» заменен на «&amp;»)

<loc>https://www.site.ru/index.php?page=news&amp;date=22071981</loc>

Для символов в URL, отличных от ASCI, помимо & также необходимо применять маскирование. Пример для URL-адреса:

http://www.site.ru/контакты.html

Тот же URL-адрес с использованием маскирования, для размещения в Sitemap:

http://www.site.ru/%D0%BA%D0%BE%D0%BD%D1%82%D0%B0%D0%BA%D1%82%D1%8B.html

Разбиение Sitemap на составные части

У файла Sitemap.xml есть ограничение как на объем содержащихся в нем URL, так и на сам размер файла. В каждом файле Sitemap.xml должно содержаться не более 50 000 URL, а его объем не должен превышать 50 Мб для Google и 10 Мб для Яндекса (при необходимости файл можно сжать в формат «gzip», но, тем не менее, в распакованном виде он также не должен превышать размер в 50 мегабайт), поэтому при необходимости указания более 50 000 URL-адресов, следует создать несколько файлов Sitemap.

Таким образом, за счет возможности разбиения Sitemap на части, можно обойти все эти ограничения и спокойно генерировать Sitemap для десятков и сотен тысяч страниц.

Разбиение происходит путем создания основного индексного файла Sitemap.xml, содержащего ссылки на дочерние файлы, которые в свою очередь являются стандартными файлами Sitemap.xml и содержат список конечных URL вашего сайта. В основном индексном файле для указания ссылок на дочерние сайтмап используется все тот же тег <loc>, обрамленный тегом <sitemap>, и содержащий ссылки на дочерние Sitemap.xml (названия дочерних сайтмап можно указывать произвольно).

Пример индексного файла XML Sitemap:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.site.ru/sitemap-1.xml</loc>
      <lastmod>2018-09-25T21:38:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.site.ru/sitemap-2.xml</loc>
      <lastmod>2018-09-21</lastmod>
   </sitemap>
</sitemapindex>

Формат дочерних файлов карт сайта XML-формата аналогичен стандартным Sitemap.xml.

Местоположение Sitemap.xml и его индексация

Стандартным вариантом размещения сайтмап является корень сайта, пример:

https://www.site.ru/sitemap.xml

При размещении «sitemap.xml» необходимо учитывать тот факт, что набор URL-адресов, которые можно включить в Sitemap определяется именно расположением на сайте, то есть при размещении карты сайта по адресу http://site.ru/news/sitemap.xml она может включать только URL-адреса, начинающиеся с http://site.ru/news/, но не должен включать адреса, начинающиеся с http://site.ru/pages/. Примеры допустимых URL для http://site.ru/news/sitemap.xml:

http://site.ru/news/25092018/
http://site.ru/news/news-all/

К недопустимым URL-адресам в файле http://site.ru/news/sitemap.xml относятся:

http://site.ru/pages/page-1/
http://site.ru/images/1x1.gif
http://site.ru/contacts/

Таким образом, во избежание проблем с некорректной индексацией, настоятельно рекомендуется размещать Sitemap.xml в корне сайта.

Индексация Sitemap

Поисковые роботы по умолчанию сканируют корневую директорию сайта, поэтому со временем они найдут ваш сайтмап и перейдут по всем его ссылкам.

Однако, для ускорения посещения файла Sitemap поисковыми ботами необходимо выполнить несколько шагов:

• разместить ссылку на карту сайта в файле «robots.txt»
• добавить ссылку на «sitemap.xml» в панели вебмастера Яндекс и Google

Ссылка на сайтмап в «robots.txt»

User-agent: *
...
Sitemap: https://site.ru/sitemap.xml

Добавление сайтмап в панели вебмастера Яндекс и Google

Использование кириллических адресов

Для корректной интерпретации URL различными поисковыми системами рекомендуется все кириллические URL кодировать в формат Punycode (бесплатный конвертер) и использовать маскирование для кириллических адресов страниц.

То есть, вместо адреса:

http://www.ёэлектроника.рф/каталог/лампы/

Необходимо использовать кодированный URL:

http://www.xn--80ajjhbcqhrt1jzb.xn--p1a/%D0%BA%D0%B0%D1%82%D0%B0%D0%BB%D0%BE%D0%B3/

Вопрос необходимости карты сайта

Бесспорно, что присутствие карты сайта желательно на любом сайте. Но, с одной стороны, в сайтмапе нет острой необходимости, так как со временем поисковый робот перейдет на ваш сайт и по ссылкам просканирует все доступные ему страницы. С другой стороны, для сайтов, у которых контент обновляется часто и которым важен порядок и приоритет обхода страниц (СМИ, новостные агентства, etc.), данный файл будет жизненно необходим, так как с помощью него они смогут указать поисковым роботам какие страницы индексировать в первую очередь, а какие после.

Поэтому, возникает справедливый вопрос: а так ли необходим Sitemap.xml конкретно для вашего сайта? Давайте разбираться.

Безусловно, данный файл будет актуален для сайтов объемом от 1000 страниц, а также для тех сайтов, объем страниц которых растет быстро и контент на которых нуждается в частой переиндексации, поэтому за счет данного файла поисковая система будет иметь под рукой всегда актуальный список страниц вашего сайта и с помощью него же будет своевременно индексировать все изменения. Таким образом, актуален данный файл для сайтов, контент на которых меняется часто и большими объемами (добавилось 50 страниц, удалилось 40, обновилось 175 и т.д.):

• СМИ, новостные порталы
• интернет-порталы
• каталоги товаров, агрегаторы
• интернет магазины
• форумы, отзовики, сайты вопросов-ответов

Для подобных сайтов данный файл необходимо иметь в первую очередь, так как от него зависит актуальность представляемой информации в выдаче поисковых систем.

Пример индексации через сайтмап при добавлении на сайт большого числа страниц:

Примечание: файлы Sitemap в таком случае необходимо генерировать на стороне сервера. Генерация карты сайта онлайн при помощи сервисов либо программ для ПК бессмысленна за счет низкой скорости и трудоемкости работ по выкладыванию данных файл на сервер (для крупных порталов, каталогов и интернет-магазинов подобные файлы должны обновляться чуть ли не каждый час (например, обновление цен в интернет-магазине)).

Вторая категория сайтов, для которых также необходим данный файл – это сайты от 100 до 1000 страниц и представляющие услуги бизнеса, а также просто информационные странички:

• сайты по продаже товаров и услуг
• сайты компаний и представительств
• блоги

На подобных сайтах обычно приток новых страниц происходит плавно, удаление страниц и разделов случается еще реже. Поэтому само собой подобные сайты должны иметь файлы Sitemap XML, однако в данном случае данный файл больше важен для первичной индексации сайта (чтобы за один обход файла поисковый робот узнал про все страницы сайта и оперативно их проиндексировал). Далее, новые страницы в виду их единичного добавления можно отсылать на переиндексацию даже через панель вебмастера Яндекса или Google и таким образом поддерживать актуальность страниц для поисковых систем. Файлы Sitemap для подобного рода сайтов можно генерировать специальными программами и сервисами, о которых будет написано ниже.

Третья категория сайтов – сайты с числом страниц до 100. К ним относятся:

• лендинги (одностраничные сайты для продажи конкретного товара либо услуги)
• промо-сайты (например, сайты коттеджных поселков)
• сайты-визитки
• домашние странички

Все эти сайты зачастую содержат небольшое число страниц о какой-то одной услуге, товаре, событии. Для подобного рода сайтов в наличии Sitemap нет какой-то жизненно важной необходимости. Так как контент на них обновляется достаточно редко и новые страницы добавляются с низкой интенсивностью, поисковые роботы такие сайты обходят не часто в виду малого числа страниц на них, поэтому для данных сайтов вполне подойдет как использование Sitemap.xml, так и его предшественника HTML карты сайта – это обычная HTML-страница стилизованная под дизайн сайта, на которой размещены все ссылки на внутренние страницы сайта в иерархическом виде (обычно в виде дерева). Таким образом, поисковый робот, посетив эту страницу, может обойти все страницы сайта и проиндексировать их либо обновить о них информацию. Пример такой страницы:

Примечание: на текущий момент создание подобных страниц перестало быть актуальным в виду перехода на формат XML, который не нужно создавать руками, а можно сгенерировать специальными программами либо сервисами (их примеры представлены ниже).

Таким образом, из всех вышеизложенных заключений можно сделать простой вывод, что чем больше объем страниц вашего сайта и чем чаще он обновляется, тем острее необходимость наличия на нем карты сайта Sitemap.xml, который в идеале должен генерироваться на сервере автоматически, без участия человека.

Важно!
Сайтмап должен включать в себя только актуальные страницы сайта необходимые для индексации и отдающие код ответа сервера 200. Все прочие служебные, технические либо страницы, запрещенные к индексации, не должны присутствовать в карте сайта.

Варианты генерации Sitemap.xml

Существует несколько методов генерации, перечислим их:

1. Генерация карты сайта при помощи онлайн-генератора (стоит учесть, что зачастую подобные генераторы платные)

В сети достаточно сервисов для генерации карты сайта, однако у них есть некоторые ограничения:

• обычно в подобных сервисах бесплатно можно сгенерировать не более 500 страниц
• для больших сайтов (от 5000 страниц) генерация может занять продолжительное время
• генерация сайтмап для крупных порталов может и вовсе произойти с ошибкой из-за нехватки ресурсов сервера, на котором расположен данный сервис

Пример онлайн-генератора MySitemapGenerator.com:

Примечание: Недостаток данного метода состоит в том, что при каждом обновлении сайта необходимо вручную генерировать сайтмап и заливать на сервер.

2. Автоматическая генерация Sitemap.xml средствами CMS (например в Bitrix, WordPress, Opencart и прочих системах управления сайтом доступна такая функция)

Наиболее приоритетный вариант, который позволяет настроить частоту обновления Sitemap средствами системы управления сайтом и избавляет вебмастера от ручного размещений сайтмап на сайте.

Пример модуля генерации Sitemap.xml для CMS Opencart:

3. Генерация карты сайта при помощи программы для ПК

Данный вариант подойдет для сайтов небольших и средних размеров, контент на которых обновляется периодически.

Недостатки подобного метода:

• после генерации сайтмап необходимо заливать его на сервер вручную
• большинство подобных программ-краулеров для ПК платные

Пример генерации Sitemap.xml при помощи бесплатной программы SiteAnalyzer:

• скачиваем дистрибутив программы
• после запуска программы вводим URL сайта и запускаем сканирование
• после сканирования в главном меню выбираем пункт Проекты -> Генерировать Sitemap

• в результате получаем карту сайта (одним файлом либо из нескольких файлов, если число страниц превышает 50 000)

• заливаем сайтмап в корень вашего сайта по FTP протоколу

4. Ручное создание сайтмап

Ручное создание возможно для сайтов с числом страниц до 10, однако для ускорения процесса проще воспользоваться любым онлайн-генератором либо программой для ПК.

Резюмируя все вышеописанное можно выделить основные моменты, на которые нужно обратить внимание при генерации карты сайта:

• для ресурсов с часто обновляемым контентом карта сайта должна генерироваться на стороне сервера
• sitemap.xml должен содержать только актуальные страницы сайта, отдающие код ответа сервера 200 и разрешенные к индексации
• для качественной индексации ресурса карта сайта должна обновляться каждый раз при обновлении контента на сайте

На этом все!
Благодарю за внимание и до новых встреч! 🙂

Полезное

Сервисы для проверки корректности карты сайта:

Ссылки на описание Sitemap:

5/5

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <url>
      <loc>http://example.com/</loc>
      <lastmod>2005-01-01</lastmod>
      <changefreq>monthly</changefreq>
      <priority>0.8</priority>
   </url>
</urlset>

Sitemap: <sitemap_location>