XML-файлов Sitemap | Search.gov
XML-карта сайта — это файл в формате XML, содержащий список URL-адресов веб-сайта. Карта сайта XML предоставляет информацию, которая позволяет поисковой системе более разумно индексировать ваш веб-сайт и поддерживать его поисковый индекс в актуальном состоянии.
Файлы Sitemap сообщают поисковым системам, какие URL-адреса находятся на веб-сайте, и, если URL-адреса добавляются по мере их публикации, они сообщают системам, какой новый контент необходимо получить. Они также могут предоставлять дополнительные метаданные о каждом URL-адресе, такие как дата последнего изменения, которая сигнализирует движку об обновлении записи индекса для этой страницы.
Search.gov использует карты сайта, чтобы сообщить нам, какие URL-адреса должны быть в нашем индексе и когда URL-адрес был обновлен. Карты сайта аналогичным образом используются Google, Bing и другими поисковыми системами. Карта сайта в формате xml улучшит вашу поисковую оптимизацию Google.
Пример: https://search.gov/sitemap.xml
Какой контент должен быть в карте сайта XML?
Некоторые файлы Sitemap являются исчерпывающими, но для очень больших сайтов может потребоваться опубликовать несколько файлов Sitemap. Размер каждой карты сайта не должен превышать 50 МБ или 50 000 URL-адресов, в зависимости от того, что наступит раньше. Вам не нужно добавлять URL-адреса контента, который вы хотите сделать недоступным для поиска.
Обратите внимание, , что файл в формате HTML, содержащий список страниц сайта, больше похож на индексную страницу и не совпадает с XML-картой сайта. Файлы HTML удобны для человека, но не для машины, а поисковым системам нужен файл в формате xml, чтобы использовать информацию для индексации.
Более одной веб-платформы? Используйте несколько карт сайта.
Обычно агентства используют более одной платформы для публикации своих веб-сайтов. Например, была запущена CMS, но некоторый контент все еще находится на платформе старого сайта.
Как поисковые системы находят мои карты сайта?
Карты сайта (или индекс карты сайта) должны быть указаны в файле robots.txt вашего сайта, например:
Карта сайта: https://www.example.gov/sitemap_1.xml
Карта сайта: https://www.example .gov/sitemap_2.xml
Перечислите соответствующие карты сайта для домена или поддомена. www.example.gov/robots.txt будет отображать карты сайта для контента в поддомене www , а forms.example.gov/robots.txt будет отображать карты сайта для поддомена 
Узнайте больше о файлах robots.txt и взгляните на наши: https://search.gov/robots.txt
Как должна выглядеть моя XML-карта сайта?
Пожалуйста, обратитесь к официальному протоколу карты сайта для получения полной информации о том, как должна быть структурирована карта сайта.
При публикации карты сайта убедитесь, что она начинается с объявления , а URL-адреса заключены в открывающий и закрывающий теги. Чтобы взять упрощенный пример:
<набор URL> <ссылка>https://example.gov/blog/file1.html 2018-03-19T00:00:00+00:00 <ссылка>https://example.gov/policy/new-policy.html 2018-03-27T00:00:00+00:00
Если вы используете несколько файлов Sitemap, вам необходимо использовать индекс карты сайта, например:
<индекс карты сайта>https://example. gov/sitemap.xml?page=1
https://example.gov/sitemap.xml?page=2
gov/sitemap.xml?page=1Важно убедиться, что все специальные символы в ваших URL-адресах экранированы, чтобы поисковые системы знали, как их читать.
Какие метаданные требуются Search.gov для каждого URL-адреса XML-карты сайта?
Протокол карты сайта определяет обязательные и необязательные XML-теги для каждого URL-адреса. Мы рекомендуем по возможности включать значение (дата последней модификации файла), чтобы указать, когда файл был обновлен и нуждается в переиндексации.
Мы не планируем поддерживать тег , который больше не используется поисковыми системами, такими как Google. Мы можем поддерживать тег в будущем, но тег является более точным и поддерживается большим количеством поисковых систем.
Как создать карту сайта в формате XML?
Большинство систем управления контентом предоставляют инструменты для создания карты сайта и ее обновления.
Ниже приведены некоторые инструменты, которые мы рекомендуем:
Друпал
Модуль карты сайта XML
Модуль Simple XML Sitemap и исправление для включения статических файлов
Вордпресс
SEO-плагин Yoast
Плагин Google Sitemap
Трясогузка
Генератор карты сайта
Страницы Github (Джекил)
Jekyll Карта сайта драгоценный камень
Онлайн-генераторы
(Примечание: бесплатные онлайн-генераторы часто имеют ограничение на количество URL-адресов, которые они включают, и не всегда создают наиболее точные карты сайта. Используйте их только в крайнем случае.)
Бесплатный генератор карты сайта
Карта сайта
Контрольный список карты сайта
1. Создана одна или несколько карт сайта
2. URL-адреса в карте сайта были проверены (чистые URL-адреса, включают только URL-адреса, которые должны быть доступны для поиска)
3. XML-формат каждой карты сайта прошел проверку
4.
Каждая карта сайта (или индекс карты сайта) указана в файле robots.txt сайта
Дополнительные ресурсы:
Официальная документация с Sitemaps.org
Руководство Google по созданию карты сайта
Валидатор карты сайта
Еще вопросы?
Если у вас есть вопросы, на которые здесь нет ответов, напишите нам. Мы также будем обновлять эту страницу с течением времени.
Создание файлов Sitemap и использование индекса Sitemap
Карты сайта часто упускают из виду при создании веб-сайта, в основном потому, что большинство не знает о преимуществах и процессе. Наличие правильно отформатированного индекса карты сайта и файлов карты сайта, которые также отправляются в Google WebmasterTools, приведет к увеличению проиндексированных страниц, а это означает, что Google (и другие поисковые системы) будет лучше видеть ваш сайт, чем в противном случае. Для новых веб-сайтов это также помогает индексировать ваши страницы быстрее и с большим охватом.
В зависимости от размера вашего веб-сайта вы можете разделить URL-адреса на несколько карт сайта, на которые все будут ссылаться в индексном файле карты сайта. Это полезно для веб-сайтов с более чем 30 веб-страницами и может помочь проиндексировать больше ваших страниц и быстрее. Это также немного лучше организует вещи. Я вернусь к этому позже.
Также стоит отметить, что существует несколько инструментов, которые можно использовать для создания карт сайта, но также очень желательно, чтобы ваши разработчики, если у вас есть разработчики, настроили карту историй, чтобы исключить любые страницы с идентификаторами сеансов, корзины покупок и т. д. Вы можете сделать это вручную, но это займет больше времени. Несколько инструментов, которые могут достаточно хорошо сканировать веб-сайты, включают GSiteCrawler и Xenu Link Sleuth. Единственным недостатком здесь является то, что они в основном видят то, что видят поисковые системы. Если на ваших сайтах есть страницы, на которые нет прямых ссылок на вашем сайте, эти инструменты не увидят их, и вам нужно будет добавить их в карты сайта вручную.
Стандартный формат карты сайта:
Этот формат следует использовать для каждой карты сайта, независимо от того, является ли эта карта сайта единственной на вашем сайте или включена в качестве одной из многих.
<ссылка> https://decisivedesign.com 2011-08-26T05:11:19Z ежедневно <приоритет>0,5 <ссылка>https://decisivedesign.com/webpage1 <последний мод>2011-08-26T05:11:19Zежедневно <приоритет>0,5
Требуется тег и строка urlset, включая URL-адрес пространства имен (xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″). Также необходимы теги url и loc. Lastmod, changefreq и приоритет являются необязательными. Подробнее о них можно прочитать здесь, на странице протокола Sitemaps.org.
Если у вас небольшой веб-сайт без больших категорий продуктов, услуг или страниц, вы можете включить все свои URL-адреса в один файл карты сайта, используя приведенный выше код в качестве примера (я бы сгенерировал его с помощью одного из вышеуказанных инструментов).
Разделение карты сайта и использование индексов карты сайта:
Ваш сайт немного больше? Вы хотите, чтобы ваши страницы индексировались быстрее и чтобы их процент был проиндексирован? Читать дальше.
Если ваш веб-сайт большой и имеет категории продуктов или услуг или какую-либо иерархическую навигацию, вы можете использовать это как логичный способ разделить карты сайта. Это будет держать вещи организованными, и мы также видели улучшенный процент URL-адресов наших веб-страниц, которые индексируются быстрее с использованием этого метода.
Настройка
Допустим, сайт DecisiveDesign продавал браузеры для веб-сайтов (это вымышленная история, люди!).
Затем у вас есть отдельные страницы в каждом бункере, скажем, по 3 статьи в каждой (с отдельными URL-адресами).
Нам нужна карта сайта для каждого набора статей, а затем индекс карты сайта, который ссылается на эти 3 карты сайта.
Файлы Sitemap
Explorer-sitemap.xml
<ссылка> https://decisivedesign.com/Internet-Explorer/IE-text-shadow-not-recognized.html 2011-08-26T05:11:19Z ежедневно <приоритет>0,5 <ссылка>https://decisivedesign.com/Internet-Explorer/IE-not-following-web-standards.html <последний мод>2011-08-26T05:11:19Zежедневно <приоритет>0,5 <ссылка>https://decisivedesign.com/Internet-Explorer/why-doesnt-IE-work-right.html 2011-08-26T05:11:19Z ежедневно <приоритет>0,5
Firefox-sitemap.
xml
<ссылка> https://decisivedesign.com/Firefox/firefox-is-a-good-browser.html 2011-08-26T05:11:19Z ежедневно <приоритет>0,5 <ссылка>https://decisivedesign.com/Firefox/firefox-renders-text-shadow-kind-of-funny.html 2011-08-26T05:11:19Z ежедневно <приоритет>0,5 <ссылка>https://decisivedesign.com/Firefox/use-firefox-instead-of-IE.html <последний мод>2011-08-26T05:11:19Zежедневно <приоритет>0,5
Chrome-sitemap.xml
<ссылка> https://decisivedesign.com/Chrome/chrome-is-probably-the-fastest-browser.html 2011-08-26T05:11:19Z ежедневно <приоритет>0,5 <ссылка>https://decisivedesign. <последний мод>2011-08-26T05:11:19Zежедневно <приоритет>0,5 <ссылка>https://decisivedesign.com/Chrome/google-owns-our-interwebs.html 2011-08-26T05:11:19Z ежедневно <приоритет>0,5
com/Chrome/chrome-will-continue-improving.html
Индекс карты сайта (sitemap-index.xml)
Теперь пришло время создать индекс карты сайта, который будет ссылаться на URL-адреса карт сайта, которые вы создали выше. В этом случае это единственный файл, который вам нужно отправить в поисковые системы, такие как Google. Их пауки будут следовать индексу и автоматически подбирать отдельные карты сайта и URL-адреса. Разместите этот файл как sitemap-index.xml (или аналогичный) в корне каталога и обязательно загрузите все остальные файлы карты сайта по любому пути, который вы выберете. Затем отправьте его в поисковые системы.