Что такое карта сайта и как ее создать? Он предоставляет поисковым системам обзор всего доступного контента, который необходимо обнаружить, просканировать и проиндексировать.

Помогает поисковым роботам понять, что находится на вашем сайте. Это также помогает найти страницы, на которые нет внутренних ссылок на сайте.

Рекомендуется добавить местоположение вашей карты сайта в файл robots.txt. Пример файла Sitemap: 

 Карта сайта: https://www.marketingminer.com/sitemap.xml 

Как выглядит карта сайта XML?

Вот как выглядит типичная карта сайта в формате XML: 

Многие CMS создают карты сайта и управляют ими автоматически, и они могут немного отличаться. Однако цель их всегда одна.

В приведенном выше примере вы можете увидеть автоматически сгенерированную XML-карту сайта YoastSEO , плагин WordPress . Помните, не важно, как выглядит карта сайта, все дело в функциональности.

Индекс карты сайта

Все карты сайта ограничены максимум 50 000 URL-адресами . Если вы превысите лимит, вам придется создать новый. Если вы разбиваете свой список на несколько карт сайта, вы можете дополнительно создать индекс карты сайта . Индекс карты сайта — это XML-файл (такой же, как и карта сайта), который содержит ссылки на несколько файлов карты сайта.

Давайте рассмотрим пример XML-карты сайта, чтобы более подробно проанализировать ее части:

 
  
    <карта сайта>
      https://www.marketingminer.com/sitemap1.xml
    
    <карта сайта>
      https://www.marketingminer.com/sitemap2.xml.gz
    
  
 

Набор URL-адресов

Каждая карта сайта должна иметь тег , который описывает, какая версия стандарта протокола карты сайта XML используется. Вы часто будете видеть версию 0.9, которая поддерживается большинством поисковых систем.

URL

Теперь мы подошли к самой важной части — тегу . Каждое определение URL-адреса может содержать следующие теги:  

• — содержит абсолютный URL-адрес. Он должен ссылаться на канонический URL-адрес страницы, которую вы хотите проиндексировать. Это обязательное свойство для всех тегов .
• — указывает время последнего обновления содержимого этого URL-адреса. Дата указана в формате даты и времени W3C ( гггг-мм-дд) .
• <приоритет> — указывает приоритет URL относительно всех других ссылок из карты сайта по шкале от 0,0 до 1,0. Более высокое число является более важным.
• — показывает, как часто может меняться контент на странице. Этот тег сообщает сканерам, как часто они должны повторно сканировать страницу. Допустимые значения: всегда, ежечасно, ежедневно, еженедельно, ежемесячно, ежегодно, никогда
  .

Пример:

 <ссылка>
     https://www.marketingminer.com/en
     2020-10-08T13:32:20+00:00
     <приоритет>1,00
     ежемесячно

 

Другие карты сайта

Файлы Sitemap включают не только URL-адреса веб-сайтов, вы также можете создавать собственные карты сайта для своего медиа-контента, а также карты сайта для новостей.

• Видео карта сайта – содержит информацию о видео.
• Карта сайта изображений — предоставляет информацию об изображениях на вашем сайте.
• Карта сайта Новостей Google — эта карта сайта особенно полезна для новостных сайтов, когда Google важно как можно быстрее находить новостные статьи. Для этого ваш веб-сайт должен быть сначала принят в Google News .

Карта сайта для видео

Карта сайта для видео — отличный способ информировать поисковый робот о ваших видео, размещенных на вашем собственном сервере, чтобы понять, о чем контент. Мы рекомендуем добавлять новый видеоконтент только в том случае, если он еще свежий.

 Вот как выглядит карта сайта для видео со всеми необходимыми параметрами: 

 
   <ссылка>
     https://www.marketingminer.com/video/sitemap.html
     
 

СОВЕТ: Узнайте больше о файлах Sitemap для видео (с дополнительными тегами) в документации Google: https://developers.google.com/search/docs/advanced/sitemaps/video-sitemaps.

Карта сайта с изображениями

Карты сайта с изображениями жизненно важны для поисковых роботов. Они помогают Google обнаруживать изображения, которые обычно не могут быть найдены. Например, изображения, которые ваш сайт получает с помощью кода JavaScript.

Вот пример файла Sitemap для изображений: 

 

  <ссылка>
    https://www.marketingminer.com.com/image_sitemap.html
    <изображение:изображение>
      https://www. marketingminer.com.com/sitemap.jpg
    
   

 

Вместе с тегом alt файлы Sitemap для изображений предоставляют поисковым роботам дополнительную информацию об изображениях на веб-сайте.

СОВЕТ. Узнайте больше о файлах Sitemap для изображений и рекомендациях здесь: https://developers.google.com/search/docs/advanced/sitemaps/image-sitemaps.

Карта сайта Новостей Google

Если вы хотите повысить вероятность показа своего контента в Новостях Google

, вам следует подумать о создании карты сайта новостей, созданной именно по этой причине.

Вот пример карты сайта новостей Google: 

 

  <ссылка>
   https://www.marketingminer.com/en/blog/wordpress-plugin-v-1-0-launched.html
   <новости:новости>
   <новость:публикация>
     Запущен Marketing Miner для WordPress
     ru
   
   20 04 2021
     Запущен Marketing Miner для WordPress
    
  

 

Карты сайта новостей Google немного отличаются, так как они не могут содержать статьи, опубликованные более двух дней назад .

Старые URL-адреса будут автоматически удалены из карты сайта новостей, чтобы сохранить только свежий контент.

СОВЕТ: Узнайте больше о файлах Sitemap для Новостей Google здесь: https://developers.google.com/search/docs/advanced/sitemaps/news-sitemap.

Вам нужен файл sitemap.xml?

Google находит новые страницы, сканируя ссылки, которые он обнаруживает на страницах. Но если ваш веб-сайт новый, без богатой истории, обратных ссылок и отличной внутренней структуры ссылок, сканерам поисковых систем действительно сложно обнаружить ваш контент.

В этом случае вам необходимо внедрить карту сайта на свой веб-сайт, чтобы перечислить все важные страницы, которые поисковые роботы должны найти и проиндексировать, чтобы пользователи могли видеть их в результатах поиска.

Вот когда вам следует подумать о наличии файла sitemap.xml на своем веб-сайте: 

• Новые веб-сайты — Как мы упоминали выше, если у вас есть новый веб-сайт, обязательно создайте XML-карту сайта и отправьте ее в поиск Google. Консоль. Благодаря этому действию Google легко обнаружит ваш контент и проиндексирует его.
• Крупные веб-сайты . Если у вас есть веб-сайт с большим количеством целевых страниц и плохой структурой внутренних ссылок, мы рекомендуем динамически добавлять новые целевые страницы в карту сайта, чтобы поисковый робот не пропустил их. В основном это касается крупных сайтов электронной коммерции.
• Новостные веб-сайты . Веб-сайты, которые регулярно публикуют множество своевременных и актуальных статей (как правило, новостные сайты), также должны иметь карты сайта. Они повышают скорость поиска поисковыми роботами вашего контента, заслуживающего внимания, для индексации и отображения в Новостях Google. Для новостных сайтов мы говорим о Google News Sitemap, о котором мы уже упоминали выше.
• Мультимедийный контент — Как мы обсуждали ранее, если доступ к вашему мультимедийному контенту затруднен (например, к изображениям, которые ваш сайт получает с помощью кода JavaScript), мы рекомендуем использовать различные типы файлов Sitemap (видео, изображения и т. д.).

Узнайте о картах сайта

• Отправка карты сайта не гарантирует автоматически, что указанная в ней ссылка будет проиндексирована и показана в результатах поиска.
• Каждая карта сайта может содержать не более 50 000 URL-адресов и не должна превышать 50 МБ. Для крупных веб-сайтов мы рекомендуем создать sitemap index Файл, содержащий ссылки на все ваши карты сайта (на изображении ниже вы можете увидеть, как это выглядит для WordPress).
• В карту сайта следует включать только индексируемых канонических URL . Обязательно используйте полные абсолютные URL-адреса , а не относительные URL-адреса.
• Google рекомендует поместить файл карты сайта в корневой каталог вашего веб-сайта и назвать его sitemap.xml.
• Ваш файл индекса карты сайта должен иметь кодировку UTF-8 .
• Рекомендуется добавить файл sitemap.xml в файл robots. txt .

Как создавать карты сайта 

При создании карты сайта важно помнить, что ее необходимо создавать вручную, если вы не используете CMS, которая может создавать динамически генерируемые карты сайта. Давайте рассмотрим оба способа более подробно ниже.

Создание карты сайта вручную 

Если вы не используете CMS с автоматически сгенерированной картой сайта, вы можете создать ее вручную (рекомендуем отметить yourdomainname.com/sitemap.xml , чтобы убедиться, что ваша карта сайта еще не существует).

В этом случае инструмент Screaming Frog будет лучшим выбором для создания карты сайта бесплатно, если на вашем веб-сайте не более 500 URL-адресов. Если ваш сайт большой, вам придется рассмотреть платные варианты.

Мы также рекомендуем использовать инструмент XML Sitemap Generator, который сканирует все важные веб-страницы и автоматически создает карты сайта: https://www.xml-sitemaps.com/.

СОВЕТ: Вот список рекомендуемых Google генераторов карт сайта: https://code. google.com/archive/p/sitemap-generators/wikis/SitemapGenerators.wiki.

После создания файла sitemap.xml обязательно загрузите его и загрузите в корень веб-сайта.

СОВЕТ . Сканеру поисковой системы не обязательно находить все важные веб-страницы, и по этой причине мы рекомендуем сначала просмотреть сгенерированный файл sitemap.xml, чтобы убедиться, что все важные страницы, которые вы хотите проиндексировать , включены.

WordPress

Большинство CMS, таких как WordPress, Prestashop, Joomla, Wix или Shopify, уже имеют плагины, которые уже генерируют динамические файлы sitemaps.xml.

В этом руководстве мы рассмотрим наиболее широко используемую платформу CMS, WordPress, и то, как вы можете создавать файлы sitemap.xml с помощью плагина Yoast SEO .

Сначала вам нужно перейти на эту страницу, чтобы скачать плагин Yoast SEO: https://wordpress.org/plugins/wordpress-seo/.

После загрузки и установки плагина вернитесь в WordPress и в левом меню перейдите к SEO > General > Features и в XML картах сайта выберите ON :

Теперь плагин Yoast SEO может автоматически генерировать файл sitemap. xml, который будет доступен по адресу yourdomainname.com/sitemap.xml или yourdomainname.com/sitemap_index.xml для индекса карты сайта.

Как добавить карту сайта в Google Search Console

Когда файл sitemap.xml будет готов и загружен на ваш веб-сайт, вы можете отправить его в Google для сканирования в кратчайшие сроки. Есть и другие способы сообщить Google о ваших картах сайта.

Самый быстрый способ уведомить Google — отправить им запрос ping с указанием местоположения карты сайта: http://www.google.com/ping?sitemap= yourdomainname.com/sitemap.xml

После отправки карты сайта , вы должны увидеть это сообщение как подтверждение того, что оно было получено.

Как вы можете видеть выше, Google рекомендует добавить вашу карту сайта в Google Search Console, чтобы отслеживать ее статус отправки или сканирования и, возможно, другие проблемы.

Войдите в свою учетную запись Google Search Console и перейдите к Файлы Sitemap . В этом разделе вы можете добавить URL-адрес вашей карты сайта (в основном это sitemap.xml или sitemap_index.xml).

И все! После отправки файлов карты сайта вы должны увидеть столбец Status . Здесь вы можете узнать, была ли карта сайта загружена и обработана успешно или с ошибками.

Нажав кнопку See Index Coverage или перейдя в раздел Coverage в левом меню, вы можете просмотреть подробную информацию о конкретных URL-адресах, которые были просканированы.

Это выглядит примерно так: 

Если у вас возникли проблемы со сканированием и индексированием вашего сайта, мы рекомендуем просмотреть раздел Sitemap error на этой странице, чтобы узнать больше подробностей: https://support.google.com /webmasters/answer/7451001#errors&zippy=%2Ccomplete-error-list 

Узнайте больше о файлах Sitemap и Google Search Console здесь: 

Заключение

Если вы используете CMS, например WordPress, это относительно быстро и просто для создания карты сайта с помощью своих плагинов.

Если нет, вы можете создать свою карту сайта вручную или выбрать сторонние инструменты для ее создания. Эти инструменты просканируют все ваши URL-адреса и создадут новую карту сайта, которую вам придется сначала отредактировать, чтобы убедиться, что она не включает страницы, которые вы не хотите отображать в результатах поиска.

Не забудьте отправить карту сайта в Google, чтобы робот Googlebot нашел и просканировал ее как можно скорее.

Метаданные карты сайта Index XML | Coveo

Индекс XML-метаданные карты сайта

Содержание указателя Облако релевантности Coveo Разработчик Системный администратор Документация по продукту

В этой статье

• Сторонние расширения
• Пользовательские метаданные Coveo
• Индексирование источника Sitemap по ссылке
• Метатеги перечисленных веб-страниц
• Настройка полей и сопоставлений

Источник Sitemap поддерживает индексацию дополнительных метаданных, включенных в XML-файл карты сайта.

Эти метаданные могут поступать из:

• Сторонние расширения карты сайта, такие как расширение изображения Google, которые предоставляют Google и другим сканерам карты сайта дополнительную информацию об изображениях, содержащихся на вашем сайте (см. Расширение протокола Sitemaps, Карты сайта для изображений и Сторонние расширения).

• Пространство имен Coveo ( coveo:metadata ) и метаданные, добавленные в вашу карту сайта, чтобы предоставить Coveo дополнительную информацию об элементах (см. Специальные метаданные Coveo).

Кроме того, источник Sitemap также может индексировать метаданные, полученные из метатегов в заголовке веб-страниц, перечисленных в вашей карте сайта.

В любом случае шаги по настройке того, как Coveo хранит эту информацию, одинаковы.

Сторонние расширения

Некоторые сайты, такие как Google, предлагают расширения, добавляющие дополнительные метаданные в вашу карту сайта (см.

Карты сайта для изображений). Кроме того, вы можете создать собственное расширение, расширяющее протокол Sitemaps. В любом случае данные, добавленные в вашу карту сайта, могут быть извлечены и доступны для поиска с помощью Coveo. См. Настройка полей и сопоставлений, чтобы правильно настроить Coveo.

См. также карты сайта для видео и альтернативные карты сайта для видео в качестве другого примера.

Пользовательские метаданные Coveo

Разработчик может включать пользовательские метаданные в XML-файл карты сайта специально для индексации Coveo. Когда они могут создавать или изменять XML-файл карты сайта репозитория для индексации, они также могут включать пространство имен Coveo ( coveo:metadata ) и метаданные для предоставления информации об элементах, которые не найдены в полях по умолчанию (т. е. стандартная карта сайта). исходные поля и поля Coveo по умолчанию).

Пример

Поскольку у вас есть контроль над файлом карты сайта (он не создается третьей стороной), вы решаете создать XML-файл карты сайта динамически и добавить все необходимые настраиваемые метаданные.

Хотя добавленные метаданные Coveo будут считываться только поисковым роботом и соединителем Coveo и игнорироваться всеми другими процессами, они по-прежнему соблюдают протокол Sitemap (см. XML-формат файлов Sitemap).

Для следующей процедуры требуется пользователь с разрешениями и навыками для изменения или создания XML-файла карты сайта, а также необходимые права в консоли администрирования Coveo.

Чтобы добавить специальные метаданные Coveo в XML-карту сайта

Вы должны запрограммировать сторонний процесс для изменения или создания файла XML-карты сайта следующим образом:

1. В начальном теге XML-элемента

   urlset ( ) расширьте протокол Sitemap, используя пространство имен Coveo, добавив следующую строку:

   xmlns:coveo="https://www.coveo.com/en/company/about-us"

   Примечание С точки зрения Coveo значение атрибута xmlns:coveo (т. е. URI) не имеет значения. Сканер карты сайта Coveo игнорирует это значение. Однако другим службам индексации поисковых систем может потребоваться проверка этого URI. Имя атрибута (например, xmlns:coveo ) важно, поскольку файл XML карты сайта будет содержать элементы в области пространства имен coveo .

   Пример

    
   <набор URL-адресов
     xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
     xmlns:xsi="http://www.w3.org/2001/XMLSchema-экземпляр"
     xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd"
     xmlns:coveo="https://www.coveo.com/en/company/about-us">  

2. Для каждого элемента URL ( ) в карте сайта создайте новый элемент XML с именем coveo:metadata ( ).

   Пример

    
     http://example. com/about/
     2015-02-10T13:47:23+00:00
     еженедельно
     <приоритет>1,00
     
     
    

3. В элементах coveo:metadata добавьте свои пользовательские метаданные (имя и значение).

   Примечания Для индексации специальных символов необходимо использовать тег CDATA ( ![CDATA[ ) в начале узла (см. Данные символов и разметка). Затем источник игнорирует тег CDATA и индексирует остальное содержимое узла, такое как специальные символы (например, и , % , 9).0323 $ , ~ и теги ) в виде текста. Пример: название компании метаданные в следующем содержимом файла карты сайта 18467 <название компании> <США> ]]> индексируется в вашем индексе Coveo следующим образом: Вложенные метаданные внутри Элемент не поддерживается.

   Пример

   Вы хотите добавить имя автора, дату последней модификации и теги документа (если есть), поэтому вы добавляете следующие элементы XML:

    
     <дата модификации>2015-02-10T13:47:23+00:00
     Джон Смит
     <теги />
    

После этого карта сайта может выглядеть следующим образом:

 
<набор URL-адресов
  xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
  xmlns:xsi="http://www.w3.org/2001/XMLSchema-экземпляр"
  xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap. xsd"
  xmlns:coveo="https://www.example.com/schemas">
  <ссылка>
    http://example.com/about/
    2015-02-10T13:47:23+00:00
    еженедельно
    <приоритет>1,00
    
      <дата модификации>2015-02-10T13:47:23+00:00
      Джон Смит
      <теги />
    
  
 

Примечание Для получения дополнительной информации обращайтесь в Coveo Professional Services.

Индексирование источника Sitemap по ссылке

По умолчанию для источника Sitemap установлено значение для извлечения элементов HTML и PDF (т. е. для индексации их содержимого и метаданных). Вместе с содержимым документа Coveo создает краткий обзор элемента, выдержку и сводку.

Если вам не нужен быстрый просмотр, выдержка и сводка, и у вас есть вся информация, которую вы хотите проиндексировать в метаданных файла карты сайта, вы можете захотеть проиндексировать на ссылка (см. Настройка процесса индексации). Индексация по ссылке повышает производительность.

Индексирование по ссылке не означает, что означает, что ваша конфигурация просмотра веб-страниц игнорируется. Сканер карты сайта Coveo по-прежнему будет очищать содержимое документов, соответствующих вашей конфигурации фильтра адресов. Чтобы предотвратить непредвиденные значения полей, избегайте использования тех же имен метаданных в конфигурации парсинга веб-страниц, что и в файле карты сайта.

Для индексации источника Sitemap по ссылке

1. На странице Sources (platform-ca | platform-eu | platform-au) консоли администрирования Coveo добавьте источник Sitemap.

2. Доступ к панели Edit a Source JSON Configuration источника, который вы только что создали.

3. В разделе documentConfig исходной конфигурации JSON найдите extensionSettings 9раздел 0324.

4. В разделе extensionSettings удалите разделы ByExtensions и ByContentTypes .

5. Найдите noExtension и другие разделы .

   • В разделе noExtension измените значение action с Retrieve на Reference .

   • В разделе другие измените действие значение от Получить до Ссылка .

6. Щелкните Сохранить и восстановить исходный код .

Метатеги перечисленных веб-страниц

По умолчанию сканер источника Sitemap не индексирует содержимое метатегов в заголовке веб-страниц, перечисленных в вашей карте сайта. Эта операция требует значительных ресурсов и поэтому может повлиять на производительность индексирования.

Если вы хотите, чтобы искатель Sitemap индексировал содержимое метатегов в качестве метаданных исходного элемента, добавьте в исходную конфигурацию JSON следующее:

 "IndexHtmlMetadata": {
  "чувствительный": ложь,
  "значение": "истина"
} 

IndexHtmlMetadata — это параметр сканера . После того как сканер обработает HTML-страницу, документ передается диспетчеру обработки документов, где конвертер HTML также извлекает метаданные страницы. По умолчанию значения метаданных, извлеченные менеджером обработки документов, переопределяют значения, проиндексированные сканером. Упрощенный рабочий процесс индексации исходных метаданных Sitemap (см. Конвейер индексации Coveo). Например, если вы индексируете метаданные документа, указанные в XML-файле карты сайта, а сами ваши HTML-файлы содержат мета-тегов для одного и того же ключа, ваши документы будут индексироваться со значениями ваших мета-тегов HTML по умолчанию, установлено ли для IndexHtmlMetadata значение true или false. Чтобы заставить Coveo индексировать значения, установленные на этапе сканирования, установите параметр 9Аргумент 0323 origin для сканера в правиле сопоставления.

При включенном IndexHtmlMetadata сканер Sitemap будет индексировать атрибут содержимого метатегов , если этот тег содержит один из следующих атрибутов: имя , свойство , itemprop или http-эквивалент .

Пример

Учитывая , сканер Sitemap индексирует следующие метаданные: "viewport": "width=device-width, initial-scale=1.0" .

Настройка полей и сопоставлений

Независимо от того, как дополнительные метаданные были добавлены в вашу карту сайта, вы должны настроить Coveo, чтобы он адекватно индексировал эту информацию.

1. В консоли администрирования Coveo убедитесь, что у вас есть необходимые права.

2. На странице Поля (платформа-ca | платформа-eu | платформа-au) для всех метаданных, которые вы хотите видеть в сведениях об элементе, добавьте соответствующее настраиваемое поле.

3. На странице Источники (платформа-ca | платформа-eu | платформа-au) добавьте правило сопоставления для каждого добавленного поля.

   Примечания Coveo поддерживает один уровень метаданных в элементе . Например: WW1 Inspiron XPS; XPS Dimension Coveo поддерживает расширения стандарта Sitemap (например, Google Video Sitemap). В этом сценарии Coveo сглаживает метаданные, т. е. ключ каждой части данных является результатом пути к соответствующему значению. Например, фрагмент карты сайта ниже приводит к следующим сглаженным метаданным: "video.thumbnail_loc": "http://img.youtube.com/vi/wejYF7l0kKQ/2.jpg" . <ссылка> http://www.example.com/videos/some_video_landing_page.html <видео:видео> <видео:thumbnail_loc> http://img.youtube.com/vi/wejYF7l0kKQ/2.jpg

   Пример

   Вы хотите, чтобы миниатюра видео была в метаданных результатов, поэтому вы добавляете поле videothumbnail и используете следующее правило сопоставления: %[video.