Что такое карта сайта sitemap.xml и как ее создать?

Оглавление

1. Зачем нужна карта сайта?
2. Какие бывают карты?
   • Отличие XML карты от HTML
3. Как создать Sitemap.xml?
   • Ручной способ
   • Через CMS
   • В онлайн-сервисах
4. Примеры Sitemap.xml для медиафайлов
5. Требования к файлу
   • Местоположение
   • Маскирование в Sitemap.xml
6. Проверяем на ошибки Sitemap.xml
7. Выводы

Оказавшись в незнакомой местности, мы первым делом ищем, у кого бы спросить дорогу. Так же точно поступает паук в сети: прежде чем идти туда-не-знаю-куда он ищет помощи.

Вопросов не возникнет, только если ваши страницы формируют стройную структуру. Тогда паук не потеряется и быстро добавит их в индекс — и они начнут выпадать при запросе в поиске.

Это идеальный сценарий. На практике же приходится прибегать к ухищрениям. Для улучшения индексирования можно:

• Расставить запреты для роботов. Благодаря этому усилия будут сконцентрированы на важном.
• Улучшить перелинковку. Чем больше дверей между вашими страницами, тем быстрее на всех них побывают пауки.
• Настроить карту.

Про последнее, то есть sitemap.xml, мы поговорим здесь подробнее. Она направляет перемещения пауков и может советовать им, как часто и куда заходить. К сожалению, это просто рекомендации, а не законы.

Зачем нужна карта сайта?

Основная ее задача — показать, что есть на сайте. По сути, это просто перечень URL с пометками. Индексирование она ускоряет, но при определении качества сайта ее наличие/отсутствие не принимается в расчет.

Без нее вполне можно обойтись, если ваш домен маленький, простой и внутренних ссылок на нем немного. Но помощь в навигации необходима, если у вас:

Новый проект. Создавать сайт с нуля самостоятельно сложно, но карта станет хорошим помощником в оптимизации. Она укажет паукам, что следует индексировать в первую очередь. Так они смогут израсходовать краулинговый бюджет с максимальной пользой для вас.

Большой проект. Очень много информации и когда-то логичная структура стала уже сомнительной. А восстанавливать ее — значит перемещать половину страниц сайта.

Когда вы добавляете новые станицы, они нескоро попадают в поиск, потому что краулингового бюджета не хватает на то, чтоб до них добраться. В этом случае вносите в Sitemap свежие станицы и выкручивайте на максимум их приоритет.

Если на сайте есть часто обновляющиеся страницы, то можно гонять пауков их проверять с определенной периодичностью.

Слабая внутренняя перелинковка. В этом случае сделать карту будет быстрее, чем подставлять в ручную контекстные ссылки. Однако, такое решение можно считать временным. Пользователю, уже попавшему на сайт, удобнее переходить по внутренним ссылкам, чем возвращаться в поиск и гуглить непонятное снова (не факт, что это снова приведет его к вам).

Много медиафайлов. Изображения и видео сложно индексировать — пауки не понимают что у них внутри. Нужна помощь — пояснения в карте.

Лишние зеркала. Страницы указанные в Sitemap, с большей вероятностью будут проиндексированы и скорее чем дубли получат статус канонических. Так проблема с зеркалами косвенно, но решается.

Какие бывают карты?

Есть и другие форматы, командующие пауками, помимо XML. Пример — фиды RSS, mRSS, Atom 1.0. Они используются в основном при конструировании блогов. В них вносятся только последние изменения. А XML описывает структуру вообще.

Введение таких фидов в панель принимает Google Вебмастер и использует их как альтернативу XML. Яндексовский же обращаться с ними не умеет и выдает ошибку. И это не единственное отличие в приемах оптимизации между двумя системами. Помните об этом и всегда проверяйте, для кого подходит тот или иной прием.

Отличие XML карты от HTML

Смотреть в файл XML пользователь не станет. Пользу извлечет только косвенную: чем лучше пауки индексируют, тем охотнее поиск выдает ваши страницы.

Для людей можно сделать другую карту — отдельную html страницу со списком гиперссылок, расположенных в соответствии с иерархией страниц.

Это помогает пользователям ориентироваться, но не является обязательным. При внятной структуре можно обходиться и без этого инструмента. Но тогда прибегните другим способам оповещения посетителей о появлении новых статей и рубрик.

Ссылки в карте лучше всего делать анкорными. Они должны быть уникальными и отличать статью от соседних. Тогда все будет понятно и просто.

Если сайт ваш очень большой и страница с гиперссылками на все станицы получается огромной (более 100 адресов), можно прибегнуть к хитростям: сделать для каждого подраздела отдельную карту.

Второй способ — исключить лишнее, оставив только названия рубрик. Что внутри можно будет узнать только после перехода. Зато это будет всего один html

Как создать Sitemap.xml?

Путей несколько. Выбирайте, исходя из нужд своего проекта. Помните, что не получится сделать один раз — и на всю жизнь. Карта должна обновляться вместе с сайтом.

Ручной способ

Годится только для нескольких десятков URL. Иначе велик шанс напортачить. Не пугайтесь большого количества команд, описанных ниже. Скорее всего, вручную вы их заполнять не будете.

Все команды оформляются тегами — то есть помечаются начало и конец сообщения: <teg>смысловая часть</teg>.

Общий вид программы:

<?xml version=»1.0″ encoding=»UTF-8″?>
<urlset xmlns=http://www.sitemaps.org/schemas/sitemap/0.9>

…
Основная часть (содержит отдельные страницы внутри тегов <url>)

…

</urlset>

Первые две строки рассказывают о том, на каком языке мы разговариваем. Что это xml, для sitemap и записан он в кодировке UTF-8.

Теперь отдельно об элементах внутри смысловой части. Для каждой страницы кусочек кода выглядит так:

<url>

<loc> *адрес* </loc>
<priority>от 0,1 до 1, показывает важность </priority>
<lastmod> когда последний раз вносились изменения </lastmod>
<changefreq> обновления происходят с какой частотой </changefreq>

</url>

Из четырех команд внутри обязательным является только URL. Остальные можно опустить, более того <priority> и <lastmod> игнорируются Google.

Такой документ с несколькими десятками <url>адрес

</url> можно создать в текстовом редакторе и сохранить как .xml. Удобнее всего — в Notepad++.

Через CMS

Bitrix, WordPress и другие дают сгенерировать карту сайта полуавтоматически: выберете категории контента и медиафайлов, которые вы хотите индексировать в первую очередь (и соответственно поместить в карту).

Также есть возможность указать приоритет страниц, частоту обновления и время последней проверки. Все это пишется не напрямую в файле, а отмечается галочками в определенной вкладке. Это намного удобнее ручного способа, особенно если речь идет о большом сайте.

Плагины для создания карт есть у всех систем управления контентом, но они не всегда предустановлены. Обычно в них есть опция автообновления: вы задаете параметры один раз, а дальше файл обновляется при изменениях на сайте. Проверяйте, подключена ли она: в большинстве плагинов исходно стоит ручное обновление.

В онлайн-сервисах

Есть большая группа сервисов, создающих карты. Принцип их работы: сканирование заданного домена с помощью своих пауков. Соответственно это годится для сайта с небольшим числом страниц: иначе потребуется много времени или решение перестанет быть бесплатным.

Из-за своего принципа работы такие сервисы не могут зайти туда, куда нет входа. Запрещенные в robots.txt или мета-тегами страницы в список не попадут. Кроме того, бюджет краулера может быть растрачен на зеркала, поэтому список адресов, полученный вами таким способом, может быть не совсем полным или требовать чистки.

Далеко не все такие сервисы поддерживают необязательные теги и уж тем более их дифференцированную настройку для разных страниц. Про медиафайлы и работу с ними мы поговорим ниже. При генерации карт для них онлайн результат приходится дорабатывать вручную.

Альтернатива онлайн генераторам — компьютерные программы (вроде Screaming frog). Они делают то же самое, но функционал намного больше, даже в бесплатной версии.

После того как отработал краулер, полученный список адресов можно посмотреть, видоизменить, разбить по категориям и задать параметры. Программа также дает работать и с изображениями.

Вывод из обзора инструментов можно сделать следующий. При включенной CMS должно хватать ее инструментов. Если по какой-то причине она не дает результатов, то придется перейти на онлайн генераторы и ручную отладку. При необходимости делать сложную и тонкую настройку стоит обратиться к компьютерным программам. Возможно, за это придется заплатить.

Примеры Sitemap.xml для медиафайлов

Работа с медиафайлами — непростая часть SEO. Пауки понимают их хуже, чем текст. Поэтому индексация таких материалов идет медленно.

Для видео общий способ (его понимает, например Google) выглядит как показано ниже. Это обязательная часть кода:

<url>

<loc>Страница</loc>
<video:video>

<video:title>Название</video:title>
<video:description>Описание</video:description>
<video:thumbnail_loc>Значок</video:thumbnail_loc>
<video:content_loc>Адрес видео</video:content_loc>

</video:video>

</url>

Яндекс же использует XML feed вместо адреса. Его генерируют отдельно и проверяют с помощью его сервисов.

Пример кода:

<url>

<loc>Страница, на которой расположено видео</loc>
<ovs:video>
<ovs:feed>XML feed</ovs:feed>
</ovs:video>

</url>

Этот способ рекомендован, если используется нестандартный плеер (остальные Яндекс должен найти сам). То есть, если у вас ролики играются через плеер Youtube, то применять описанное выше не нужно.

Для картинок есть общая схема, единая для Яндекса и Google.

<url>

<loc>адрес страницы с картинкой</loc>
<image:image>
<image:loc>адрес самой картинки</image:loc>
</image:image>

</url>

Дополнительно можно передать информацию о подписях, названиях, месте съемки и так далее.

Как создать?

• Вписать в существующую карту или в отдельные для каждого типа медиафайлов.
• Онлайн можно сделать файлы для видео и картинок. Но результат содержит помимо тематических материалов много лишнего — логотипы, иконки и так далее. Поэтому такие файлы приходится чистить вручную.
• Программы вроде Screaming Frog дают работают с изображениями. А проверять и редактировать результат можно прямо в программе.

Плагины WordPress берутся за оба типа материалов.

Требования к файлу

• Внутри должно быть не больше 50 000 адресов.
• Он сервер отвечает на запрос кодом состояния 200.
• Пишите полностью все URL (подробнее о них в разделах про местоположение и маскирование).
• Объем до 50 мегабайт.

Если такого размера недостаточно, то есть обходной путь. Можно разбить на несколько кусочков, а как их соединять прописать в отдельном

индексном файле:

<?xml version=»1.0″ encoding=»UTF-8″?>
<sitemapindex xmlns=»http://www. sitemaps.org/schemas/sitemap/0.9″>

<sitemap>
<loc>Где лежит кусочек<loc>
</sitemap>
… и тд.

</sitemapindex>

Требования работают те же, что и для нормальных файлов, но индексный может быть только один.

Про оформление команд в файле XML, помните, что:

• Каждый тег используется дважды: открывающий его вариант перед смысловой частью: <teg> — и закрывающий после ее конца: </teg>. Они не могут быть беспарными.
• Теги имеют иерархию. Те, что ниже уровнем, вкладываются внутрь основной части того, что выше. Не нарушайте порядок вложенности.

Местоположение

Карту загрузите в корневой каталог основного зеркала.

Командам будут подчиняться только страницы внутри директории, где лежит файл, и ниже по пути. Подняться на уровень выше невозможно. Эти директивы будут либо игнорироваться, либо приведут к ошибке.

Добавлять карту на главное зеркало очень важно: адреса в файле задаются единообразно и в полном виде. Если зеркала не согласуются (банальная потеря www или что-то иное), то файл не будет прочитан.

Маскирование в Sitemap.xml

Для написания XML документа используют кодировку UTF-8 и стандарт ASCII. Любые другие использовать запрещено: файл карты не будет обработан.

Другие — это все кроме латинского алфавита и нескольких служебных знаков. Для кириллицы или других “лишних” знаков используйте преобразование Punycode.

Остается проблема с символами: > < ” ‘ &. Их использование тоже запрещено, хотя они и есть в ASCII. Для них применяется так называемое маскирование: & становится &amp; , одинарные кавычки — &apos; , двойные — &quot; , > — &gt; , < — &lt; .

Это знание пригодится вам, только если вы будете вручную заполнять или исправлять карту. Во всех остальных случаях генератор XML преобразует и замаскирует все лишние символы самостоятельно.

Проверяем на ошибки Sitemap.xml

Чтобы пауки быстрее прочитали вашу карту, расскажите вебмастерам, где она лежит. Для этого есть специальные рубрики. Помните, про различия в поддерживаемых форматах.

Google после добавления показывает отчет. В нем прописано: как идет обработка файла, корректны ли URL и в каких именно тегах есть ошибки.

Есть и сторонние сервисы — они проверят карту до того, как вы положите ее на сайт. Screaming frog, например, тестирует коды состояния страниц из файла и корректность команд.

Еще есть Яндексовский анализатор для Sitemap.xml. Он дает детальный отчет и тоже позволяет внести правки перед публикацией.

Отчеты о проверке карты способствуют не только ее совершенствованию, но и помогают улучшить работу всего сайта: вы можете исправить множество сопутствующих проблем.

Выводы

Без карты можно обойтись. Но это должно быть взвешенное решение. Она незаменима для “натравливания” пауков на непроиндексированные материалы. Это простой способ, улучшающий перемещения по сайту.

Без такой помощи большой проект будет просматриваться неравномерно, а свежие статьи — долго ждать попадания в индекс.

Нужно составить карту сайта?

Написать нам

Как создать Sitemap XML и добавить в поисковики

В файле Sitemap XML содержится перечень страниц, открытых для индексации. Он помогает поисковым системам лучше сканировать веб-проекты. Сделать карту сайта можно самому или с помощью генератора онлайн.

Начните с главной страницы и последовательно добавьте ссылки на все разделы и статьи. Обычный Sitemap XML мог бы выглядеть так.

Поисковым системам можно предоставить служебную информацию: дату последнего изменения, частоту обновления, приоритет одних страниц над другими.

В следующей таблице перечислены теги, необходимые для простой карты сайта, содержащей только ссылки.

Тег	Важность	Описание
<urlset>	Обязательный	Сведения об URL, находящихся в Sitemap.
<url>	Обязательно	Информация о конкретном веб-адресе
<loc>	Обязательный	Указывает URL
<lastmod>	Необязательный	Дата последнего изменения. Значения времени ГГГГ-MM-ДДTчч:мм
<changefreq>	Необязательно	Частота изменения страницы. always (при каждом посещении) hourly (ежечасно) daily (ежедневно) weekly (еженедельно) monthly (ежемесячно) yearly (ежегодно) never (никогда)
<priority>	Необязательный	Приоритет одного URL относительно других. Значение указывается в пределах от 1 (наиболее) до 0,1 (менее важного).

Рекомендации по созданию sitemap.xml

1. Может состоять из 50 000 URL-адресов, размер одного файла не должен превышать 10 МБ.
2. Если у вас несколько карт, укажите их в файле индекса и отправьте Google.
3. Должен соответствовать кодировке UTF-8 и быть понятным серверу, на котором находится.

Файл индекса. В нем используются следующие теги.

Ниже показан пример с двумя картами сайта.

Когда файл индекса будет создан, сообщите о нем поисковику. В этом случае, вам не придётся отправлять все карты по отдельности.

Sitemap XML генератор онлайн

Для многих CMS разработаны плагины, генерирующие карты сайта. Однако, если вы не хотите ими пользоваться, тогда используйте онлайн сервисы. По мере появления новых страниц, вам придется обновлять этот файл вручную.

Sitemap Generator бесплатно сканирует до 2000 URL.

Укажите домен и свой E-mail. После этого вас поставят в очередь на генерацию.

XML Sitemaps обработает до 500 URL. В отличие от первого инструмента, здесь не нужно ждать своей очереди.

Как добавить карту сайта в Яндекс и Google

Обязательно напишите путь к карте сайта в robots.txt

Зайдите в Яндекс Вебмастер и перейдите в «Настройка индексирования» — «Файлы Sitemap».

В Google Webmasters: «Панель инструментов» – «Оптимизация» – «Файлы Sitemap».

Теперь страницы не потеряются из виду поисковых систем. Но это вовсе не значит, что все они будут включены в индекс.

Создатель карты сайта | Пример карты сайта

Creately уже используют более 8 миллионов человек и тысячи команд.

Создавайте визуальные карты сайта любого размера с минимальными усилиями и временем

Создавать даже самые сложные карты сайта стало проще с Creately Visual Sitemap Generator. Умные формы и соединители, несколько ярлыков для построения диаграмм и параметры стиля.

• Интуитивный интерфейс перетаскивания с точным рисованием и управлением
• Профессионально нарисованные шаблоны карты сайта для визуализации различных сценариев
• Уникальные предустановленные цветовые темы для мгновенной настройки карт сайта

Удобная совместная работа над картами сайта с вашей командой и клиентами

Предоставьте быстрый доступ к нескольким руководителям и получайте обновления в режиме реального времени об изменениях, которые они вносят.

• Делитесь отзывами с точечными комментариями и дискуссионными темами
• Управление правами на редактирование или просмотр для членов команды и внешних заинтересованных лиц
• Экспорт во многие форматы изображений и в SVG для документирования

Работает с любимыми инструментами

Продуманная интеграция с платформами, которые вы используете каждый день

Просмотрите тысячи бесплатных высококачественных шаблонов

профессионально нарисованные шаблоны практически для всех мыслимых сценариев

• Маркетинговые команды
• ИТ-команды
• Программные команды
• HR-команды
• Образовательные команды

Исследуйте больше шаблонов

Креативно работает

Рабочий стол

Мобильный

Онлайн

Visual Sitemap Generator — создание карты веб-сайта с использованием данных

Автоматически создавать карту сайта

Начинай сейчас

Создайте визуальное представление вашего веб-сайта с помощью файла Sitemap.

xml

Создайте визуальное представление вашего веб-сайта, чтобы стимулировать обсуждения дизайна или документировать вашу информационную архитектуру.

SmartDraw автоматически создаст диаграмму карты сайта, используя существующий XML-файл карты сайта.

Просто запустите расширение Automatic Sitemap и укажите его на своем веб-сайте.

SmartDraw загрузит структуру папок, и вы сможете выбрать, какие части вы хотите отобразить.

После того, как ваша диаграмма карты сайта загружена, вы можете редактировать ее. Добавляйте новые разделы или удаляйте или реорганизовывайте существующие. Интеллектуальное форматирование SmartDraw делает его интуитивно понятным и простым. Формы и линии будут соединяться так, как вы ожидаете.

Посмотрите видео, чтобы узнать, как создать визуальную карту сайта с помощью SmartDraw.

Основные причины, по которым SmartDraw является идеальным инструментом для создания карт сайта

• Настоящая автоматизация
  Щелкните простыми командами, и SmartDraw автоматически создаст для вас диаграмму карты сайта, используя файл карты сайта. Добавьте или удалите фигуру, и SmartDraw заново выровняет и упорядочит все элементы, чтобы все выглядело великолепно.
• Работает на любом устройстве
  Используйте SmartDraw на своем компьютере, в браузере или мобильном устройстве — Windows ^® , Mac ^® , Android ^® , iOS ^® или на любой другой платформе с подключением к Интернету. Находитесь ли вы в офисе или в пути, вы получите полный набор функций, символов и высококачественную продукцию, которую вы получаете только с помощью SmartDraw.
• Бесплатная поддержка
  Есть вопрос? Позвоните или напишите нам. Специалисты SmartDraw готовы помочь бесплатно!

Совместная работа без усилий

Поделитесь своей визуальной картой сайта с вашей командой, чтобы обсудить проблемы с вашей информационной архитектурой или SEO. Делиться легко, даже если в вашей команде нет SmartDraw. Вы также можете использовать свои любимые приложения для обмена файлами, такие как Dropbox ^® , Google Drive ^® , Box ^{® 9.}