Файл Sitemap xml: что это такое

Использование протокола Sitemap не гарантирует полной индексации сайта, но позволяет роботам произвести более тщательное сканирование. Его версию 1.0 поддерживают Google, Yandex, Yahoo!, Bing и Ask.com.

Файл Sitemap полезен для эффективной раскрутки сайта, если ресурс:

• содержит страницы с изображениями или мультимедийным AJAX-контентом, которые не могут быть обнаруженны поисковыми роботами при сканировании, динамическую составляющую или большой архив документов, не перелинкованных между собой;
• создан недавно и не имеет достаточной внешней ссылочной массы.

Местоположение

Файл Sitemap располагают в корневой директории сервера (например, http://site.ru/sitemap.xml). Все перечисленные ссылки должны принадлежать тому же доменному имени, что и файл, указывать на находящиеся в том же разделе или подразделах страницы и использовать тот же протокол, по которому доступен Sitemap.

В файле Sitemap необходимо использование кодировки UTF-8, маскирование символов ‘ “ > < и &. Формат протокола состоит из XML-тегов.

Обязательные теги:

• urlset указывает стандарт протокола и инкапсулирует файл. Открывающий необходим в начале документа, закрывающий — в конце,
• url — родительский тег для каждого URL,
• loc — URL-адрес веб-страницы, начинается с префикса и заканчивается символом /. Его длина ограничивается 2048 символами.

Необязательные теги:

• lastmod — дата последнего изменения в формате W3C Datetime, позволяющем опустить сегмент времени и при необходимости использовать вид ГГГГ-ММ-ДД.
• changefreq — предполагаемая частота обновлений данной страницы. Допустимы значения always (для описания документов, изменяющихся при каждом доступе к ним), hourly, daily, weekly, monthly, yearly и never (для архивных адресов).
• priority — приоритетность данного URL-адреса относительно других на ресурсе. Позволяет выделить страницы с наиболее важными для поисковой оптимизации сайта запросами.
  Стандартный диапазон значений от 0 до 1 (по умолчанию 0.5).

Количество адресов в файле Sitemap не должно превышать 50 000, максимальный размер — 10 МБ. Допускается сжимать файл архиватором gzip для уменьшения требований к пропускной способности канала. При необходимости описания более 50 000 адресов создают несколько файлов Sitemap.

Другие термины на букву «S»

SafariSapeSEO-продвижениеSEO-трафикSeoPultSeozavrSERPSidebarSMMSocial Media OptimizationSSL сертификатыSubcribe.ruSubscribe.Direct

Все термины SEO-Википедии

Теги термина

Индексация сайтаПродвижение сайтовТехническая оптимизация

Какие услуги тебе подходят

Продвижение сайтов в Москве

Технический SEO-аудит сайта

SEO-оптимизация сайта

Оптимизация сайта под Google

Продвижение сайта в Яндексе

Продвижение интернет-магазина

SEO-продвижение лендинга в поисковых системах

Продвижение медицинских сайтов

Продвижение молодого сайта

Продвижение сайтов под ключ

SEO-продвижение с гарантией

Продвижение по ключевым словам

Продвижение сайта в ТОП 10 Яндекса и Google

Продвижение туристических сайтов

Продвижение сайтов в ТОП 3 Яндекса и Google

Оптимизация сайта под Яндекс

Раскрутка сайтов за рубежом

Продвижение сайта в Google

Продвижение сайта по позициям

Продвижение сайта по трафику

Оптимизация сайта в мобильной выдаче

SEO аудит

Поисковый аудит сайта

Заказать продвижение сайта

Продвижение сайтов в Москве: проверенные решения от профессионалов

Продвижение стоматологической клиники

Продвижение сайтов медицинских клиник

Продвижение салона красоты

Продвижение автомобильных сайтов

Продвижение магазина автозапчастей

Продвижение и раскрутка автосервиса

Продвижение отелей и гостиниц

SEO-продвижение сайта в Новосибирске

SEO-продвижение сайта в Екатеринбурге

SEO-продвижение сайта в Самаре

SEO-продвижение сайта в Омске

SEO-продвижение сайта в Нижнем Новгороде

SEO-продвижение сайта в Казани

SEO-продвижение сайта в Челябинске

SEO-продвижение сайта в Красноярске

Поисковое продвижение сайтов в Перми: эффективно, профессионально, прозрачно

Поисковое продвижение сайтов в Ростове-на-Дону

Поисковое продвижение сайтов в Уфе

SEO-продвижение сайта в Воронеже

SEO-продвижение сайта в Волгограде

SEO-продвижение сайта в Краснодаре

Продвижение интернет-магазина бытовой техники

Продвижение интернет-магазина одежды

Продвижение интернет-магазина зоотоваров

Продвижение интернет-магазина книг

Продвижение интернет-магазина мебели

Продвижение интернет-магазина обуви

Продвижение интернет-магазина сантехники

Продвижение интернет-магазина спортивных товаров

Продвижение интернет-магазина стройматериалов

Продвижение интернет-магазина часов

Маркетинговый аудит сайта

Продвижение автосалона

Продвижение банковских услуг в интернете

Поисковое продвижение сайтов в Тольятти

Исправляем распространенные ошибки в карте сайта

16 мин — время чтения

Апр 29, 2021

Поделиться

Вы создали карту сайта, загрузили ее в Google Search Console, но файл не получил статус «Успешно» или «Ок»? А, может, отчет о файлах Sitemap выглядит хорошо, но поисковикиигнорирует ваш файл Sitemap и не собирается индексировать многие страницы из карты сайта. Возникает вопрос, можно ли что-нибудь сделать для улучшения статистики индексирования. Отвечаем — можно, и даже расскажем, как это сделать.

Если у вас еще нет карты сайта и вы хотите узнать, зачем она нужна, ознакомьтесь с нашим вводным интенсивом по созданию файла Sitemap. Здесь мы расскажем о преимуществах использования карты сайта и действенных рекомендациях по работе с ней. Если вы пока не знаете, для чего используют теги <loc> и <lastmod>, что такое карта сайта для видео или файл индекса Sitemap, вводное руководство вам точно пригодится.

В первой части этой статьи перечислены все ошибки, с которыми вы можете столкнуться в отчетах о файлах Sitemap в Google Search Console. Если же вы ищете способ устранить конкретные проблемы, воспользуйтесь содержанием, чтобы перейти к интересующим вас ошибкам.

Во второй части — рекомендации, которые помогут вам извлечь максимальную выгоду из карты сайта. Вы узнаете, как найти мусорные страницы в файле Sitemap, где искать страницы, которые вы могли пропустить и не добавить в карту сайта, и как заставить поисковик проиндексировать как можно больше страниц из файла Sitemap. Поэтому очень советую всем внимательно ознакомиться со второй главой этой статьи.

Исправление ошибок в отчете Sitemap

После загрузки карты сайта в Google в столбце «Статус» можно увидеть, удалось ли поисковику обработать файл. Если ваш файл соответствует всем правилам, появится статус «Успешно». В этой главе мы рассмотрим другие статусы, а именно «Не получено» и «Обнаружены проблемы».

Проблемы со сканированием вашего файла Sitemap

Начнем с самого худшего сценария, когда поисковик не может обработать файл Sitemap. Сначала разберемся с Google — что делать, если статус вашей карты сайта «Не получено». 

В этом случае вам придется использовать «Инструмент проверки URL», чтобы выяснить, что может быть причиной проблемы. В инструменте нажмите кнопку «Проверить страницу на сайте» и посмотрите статус получения страницы. Если написано «Успешно», значит ошибка на стороне Google.

Если Google не удалось получить вашу карту сайта, убедитесь, что ничто не блокирует доступ к файлу Sitemap — будь то директивы robots. txt или плагины CMS (да, иногда виноваты они!). Также проверьте, правильно ли введен URL-адрес карты сайта — обратите внимание на протокол и префикс www.

Ошибка «Не получено» может возникнуть как при загрузке отдельной карты сайта, так и в случае загрузки в Google Search Console файла индекса Sitemap. Проблему нужно решить так же, как и с одной картой сайта.

Ошибки в файле индекса Sitemap

Теперь перейдем к случаям, когда поисковики просканировали добавленный вами файл и обнаружили ошибки. И начнем мы с ошибок файла индекса Sitemap.

Файл индекса Sitemap содержит ссылки на несколько карт сайта — поисковой системе необходимо обработать их все, чтобы наконец получить доступ к URL-адресам вашего сайта. В Google Search Console вы получите ошибку «Неполные URL в файле индекса Sitemap», если поисковик не сможет обработать URL-адреса, перечисленные в файле индекса Sitemap. Обычно это означает, что Google не удалось найти одну или несколько ваших карт сайта, потому что вы использовали относительные URL-адреса. Все URL-ы, которые указывают на отдельные карты сайта в файле индекса Sitemap, должны быть абсолютными, иначе Google не сможет их найти.

Кроме того, в вашем файле индекса Sitemap не должны быть указаны другие файлы индекса Sitemap, а только карты сайта. Если вы сделаете так, то получите сообщение «Вложенные файлы индекса Sitemap» в Google Search Console.

И последняя ошибка. В Google она звучит так «Слишком много файлов Sitemap в файле индекса». Это происходит с огромными сайтами, которые содержат более 50 000 карт сайта в одном файле.

Недопустимый размер файла Sitemap и ошибки сжатия

Ограничения по размеру применяются как к файлам индекса Sitemap, так и к отдельным картам сайта. Размер файла Sitemap в несжатом виде не должен превышать 50 МБ, а в карте сайта не должно быть более 50 000 URL-адресов. Если вы не соблюдаете эти правила, то получите ошибку «Превышен максимальный размер файла Sitemap» в Google. Узнать больше о том, как разделить карту сайта на несколько файлов, можно из нашего полного руководства по созданию файла Sitemap.  

Карта сайта должна не только не превышать допустимые размеры, но и не быть пустой. Если вы загрузите пустой Sitemap, то получите соответствующую ошибку в консоли.

Я говорила, что допустимый размер карты сайта в несжатом виде должен быть меньше 50 МБ, но часто файлы Sitemap сжимают для экономии пропускной способности канала. Обычно для этой цели используют инструмент gzip, который добавляет расширение gz к файлу. Сообщение об ошибке сжатия или разархивирования в отчете означает, что что-то пошло не так во время процесса сжатия, и вам нужно сделать это еще раз.

Проблемы со сканированием URL-адресов в карте сайта

По ряду причин поисковики могут не просканировать некоторые URL-адреса, которые указаны в карте сайта. Давайте разберемся со всеми подобными ошибками.

«Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt» — ошибка довольно простая, поскольку поисковики укажут вам на заблокированные URL-адреса. Все зависит от того, хотите ли вы, чтобы эти URL-ы были проиндексированы. Если да, то вам придется снять блокировку, в другом случае необходимо удалить адреса из карты сайта.

Еще одна довольно очевидная проблема, которая не позволяет Google сканировать страницу, — это код ответа, отличный от 200 ОК. В отчете поисковиков это называется ошибкой HTTP, и точный код указывается для каждой отдельной страницы. Кроме консолей вебмастеров, проверить коды ответа URL-адресов из вашей карты сайта можно с помощью инструмента «Аудит сайта» от SE Ranking.

Всю необходимую информацию ищите в разделе «Код ответа сервера».

Google также выделяет другие не такие очевидные и простые ошибки. Кратко пройдемся по каждой из них.

Ошибка «URL недоступны» означает, что поисковик обнаружил вашу карту сайта в указанном месте, но не смог получить все URL-адреса из списка. В этом случае вам снова нужно использовать «Инструмент проверки URL» и проверять доступность для сканирования каждого проблемного URL-а.

Ошибка «Переход по URL не выполнен» возникает либо из-за того, что вы использовали относительные URL-адреса в карте сайта вместо абсолютных, либо из-за проблем с редиректами. Цепочки и циклы редиректов, временные редиректы, которые используют вместо постоянного перенаправления, а также HTML- и JS-редиректы могут привести к этим ошибкам.

Google Search Console не указывает, что именно может быть причиной проблемы. Поэтому вам нужно использовать другие инструменты, чтобы понять, какие ошибки необходимо исправить. Например, в инструменте «Аудит сайта» SE Ranking есть специальный раздел «Редиректы», где можно проверить, есть ли на вашем сайте какие-либо проблемы с перенаправлениями.

Если инструмент обнаружит какие-либо ошибки, вы получите всю необходимую информацию по каждой из них — щелкнув на количество страниц, можно узнать, на какой странице есть проблема и как она связана с другими страницами сайта.

Ошибка «Нельзя использовать URL» означает, что ваша карта сайта содержит URL-адреса, которые находятся на более высоком уровне или в другом домене по сравнению с файлом Sitemap. Например, если ваша карта сайта находится по адресу: vashsajt.com/category1/sitemap.xml и вы добавили в нее страницу, адрес которой: vashsajt.com/stranitsa1, поисковики не смогут получить к ней доступ.

Что касается разных доменов, помните, что для Google версии сайта на HTTP и HTTPS, а также с www и без www считаются разными. Поэтому, если ваша карта сайта находится по адресу http://www.vashsajt.com/sitemap.xml, URL вида https://vashsajt.com/stranitsa1 будет считаться некорректным. 

Если вы недавно перешли на HTTPS, обязательно создайте новую карту сайта с HTTPS URL-адресами. Инструмент «Аудит сайта» SE Ranking напомнит вам об этом.

Google считает, что вы указали неправильные URL

Также стоит обратить внимание на еще одну ошибку, которую выделяет Google. Если вы добавите URL без префикса www в свою карту сайта, адрес которой содержит www, вы получите ошибку «Несоответствующий путь». То же самое касается файла Sitemap с www и URL-адресом без соответствующего префикса. Даже если ваш сайт доступен как с префиксом www, так и без него, не нужно путать эти вещи в карте сайта. Если ваш файл Sitemap находится по адресу: https://example.com/sitemap.xml, ни один из URL-ов, которые она содержит, не должен включать www. Если ваша карта сайта находится по адресу: https://www.example.com/sitemap.xml, все перечисленные в ней URL-ы должны включать www.

Синтаксические ошибки в карте сайта

В большинстве случаев вам не нужно беспокоиться о синтаксических ошибках в карте сайта — создав файл Sitemap с помощью одного из специальных сервисов, вы можете быть уверены, что с тегами и атрибутами не будет проблем. Однако, если вы самостоятельно сделали карту сайта, то можете столкнуться с одной из ниже описанных ошибок. 

• «Недопустимое значение тега». Значение тега — это то, что вы указываете между начальным и конечным тегами — URL-адрес между тегами <loc>, или дата, которую вы определяете с помощью тега <lastmod>.
  Ошибка возникает, когда вы указываете недопустимое значение в карте сайта, например, устанавливаете приоритет вне диапазона от 0,0 до 1,0.
• «Неверное значение атрибута». Значение атрибута указывается после знака равенства (=) в кавычках. В следующей строке кода перечислены различные языковые версии страницы в файле Sitemap.

<url><loc>https://example.com</loc><xhtml:link rel=”alternate” hreflang=”gb” href=”https://example.com”/><xhtml:link rel=”alternate” hreflang=”fr” href=”https://example.com/fr”/></url>

Здесь “alternate”, “gb” и “fr” являются значениями атрибутов, но “gb” используется неправильно. Вы не можете указать в hreflangs только код страны — он должен сочетаться с кодом языка, например, “en-gb”.

• «Неправильно введена дата»
  . Все довольно просто — вы использовали неправильный формат даты для тега <lastmod>. Единственный допустимый формат:

2005-02-21 
2005-02-21T18:00:15+00:00

• «Недопустимый URL». Как вы могли догадаться, эта ошибка означает, что нужно искать опечатки в добавленных URL-адресах. Напомню, что все URL-ы в вашей карте сайта должны быть абсолютными.
• Ошибки «Отсутствует атрибут XML» и «Отсутствует тег XML» тоже довольно очевидны. Отсутствие обязательных тегов и атрибутов (urlset, url, loc, xmlns) недопустимо — их нужно добавить, чтобы ваша карта сайта работала должным образом.
• «Недопустимый XML: слишком много тегов». Эта ошибка может возникнуть, если вы используете один из тегов несколько раз. Например, вы указали два разных адреса или две даты изменения для одного URL. В этом случае вам необходимо удалить повторяющийся тег.

<url>
<loc>http://www.example.com/</loc>
<lastmod>2021-01-01</lastmod>
<lastmod>2021-02-01</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>

• «Неправильно указано пространство имен». Пространство имен, указанное в вашем теге <urlset>, должно быть одним из принятых протоколов. В настоящее время используется следующий протокол:

Обычные файлы Sitemap — xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9”

Файлы Sitemap для новостей — xmlns:news=”http://www.google.com/schemas/sitemap-news/0.9″

Файлы Sitemap для видео — xmlns:video=”http://www.google.com/schemas/sitemap-video/1.1″

Файлы Sitemap для изображений — xmlns:image:=”http://www.google.com/schemas/sitemap-image/1.1″

Напомню, что специальные карты сайта для новостей, картинок и видео поддерживает только Google.

Если вы использовали неправильный протокол для своей карты сайта, вы получите ошибку «Неподдерживаемый формат файла» в Google Search Console. Она также может появиться из-за других всевозможных синтаксических ошибок, таких как использование неправильных кавычек (принимаются только прямые одинарные или двойные), отсутствие тега кодировки или некорректный префикс UTF-8.

Также Google выделяет несколько ошибок, связанных с файлом Sitemap для видео: «Слишком большой/маленький значок видео», «Адреса видео и страницы воспроизведения совпадают», «URL видео указывает на страницу воспроизведения». Вы можете найти более подробную информацию об этих ошибках здесь.

Чтобы избежать синтаксических ошибок, перед отправкой файла Sitemap используйте один из сервисов проверки карты сайта, подобных этому. Инструменты будут выделять проблемы, которые необходимо исправить.

После устранения всех ошибок в файле Sitemap нужно повторно загрузить обновленную карту сайта в Google Search Console.

Такие действия заставят Google повторно просканировать ваш сайт и, наконец, проиндексировать страницы, которые они не смогли просканировать из-за ошибок.

Загруженные vs проиндексированные URL-адреса

Ваша карта сайта и файл индекса Sitemap могут получить статус «Успешно» или «Ок», но на этом ваша работа не заканчивается.

Давайте сначала разберем, что делать дальше в Google Search Console. Щелкните на значок диаграммы рядом с количеством выявленных URL-адресов, чтобы перейти к отчету об индексировании. Как только вы начнете анализировать его, вы скорее всего заметите, что не все отправленные страницы были проиндексированы.

Это нормально, когда страницы исключаются из индексации — Google не может оценить и проиндексировать все страницы вашего сайта, о которых он знает. Более того, почти на каждом сайте есть страницы, которые вебмастера не хотят индексировать: страницы защищенные паролем, служебные страницы и дубли. Что не нормально, так это наличие ошибок и предупреждений в вашем отчете об индексировании. Также недопустимо, чтобы количество исключенных страниц во много раз превышало количество страниц без ошибок.

Так почему же поисковики не могут проиндексировать страницы, которые были добавлены в карту сайта? В большинстве случаев это происходит, когда вы добавляете туда страницы, которых в карте сайта быть не должно. Возможно, поисковики просто не могут проиндексировать страницу из-за директивы noindex. Кроме того, поисковики могут запутаться, действительно ли вы хотите, чтобы страница была проиндексирована — например, когда вы добавляете неканонические страницы в карту сайта. 

Все подобные ошибки можно найти в разных вкладках «Отчета об индексировании» в Google Search Console. Но их удобнее проверять с помощью инструмента «Аудит сайта» SE Ranking — если на вашем сайте есть подобные проблемы, вы легко найдете их все в разделе «Сканирование» в «Отчете об ошибках».

Удалите из карты сайта неиндексируемые и неканонические страницы. А если страницы были по ошибке помечены как неиндексируемые и неканонические, решите эту проблему.

Оптимизируйте карту сайта с подсказками от Google

Убедившись, что с вашей картой сайта все в порядке, изучите «Отчет об индексировании», чтобы найти случаи, когда ваше мнение о странице расходится с Google.

• На вкладке «Без ошибок, есть предупреждения» обратите внимание на страницы, которые были проиндексированы, несмотря на директиву noindex. Скорее всего, Google был прав, и вам нужно удалить тег noindex из этих страниц или из вашего X-Robots-Tag.
• На вкладке «Страница без ошибок» посмотрите внимательно на проиндексированные, но не отправленные в файл Sitemap страницы — вы можете добавить их в карту сайта, так как Google считает их качественными. В то же время, если Google проиндексировал ваше «Пользовательское соглашение», которое вы не включили в карту сайта, можно ничего не делать. Также следите за дублями страниц, которые были проиндексированы, но отсутствовали в вашей карте сайта — такие случаи часто возникают из-за проблем с пагинацией и обработкой параметров URL-адресов.
• Наконец, перейдите на вкладку «Исключено». Большинство страниц здесь исключены из индексации в соответствии с вашими собственными директивами, например старые страницы 404, страницы, заблокированные robots.txt, неиндексируемые и неканонические страницы. Обратите внимание на канонические страницы, которые Google решил не индексировать, — поисковая система считает, что на вашем сайте есть альтернативы получше. Тщательно изучите каждый случай и решите, действительно ли страница более ценна, чем ее дубли — исправьте свои теги canonical, если Google был прав. Если вы по-прежнему считаете, что страницу нужно проиндексировать, вам придется поработать над ее содержанием, профилем бэклинков и внутренней линковкой, чтобы убедить Google в обратном.

На вкладке «Исключено» можно увидеть еще две интересные категории страниц: «Просканированы, но пока не проиндексированы», и «Обнаружены, не проиндексированы». Оба типа обычно определяют некачественные страницы с малым содержанием, которые Google не хочет показывать пользователям. В первом случае страница была по крайней мере просканирована, а затем признана некачественной. А во втором случае поисковик даже не потратил краулинговый бюджет на страницу. Тщательно проанализируйте все такие страницы и посмотрите, что вы можете сделать, чтобы повысить их ценность: поработайте над контентом, взаимодействием с пользователем, внутренней линковкой и т. д.

Заключение

Благодаря разнообразию инструментов для создания карты сайта сделать файл Sitemap очень легко. Однако, если вы просто воспользуетесь одним из случайных инструментов и проигнорируете рекомендации по созданию карты сайта, то наверняка получите отчет о файле Sitemap с большим количеством ошибок, или отправите через карту сайта множество некачественных страниц на рассмотрение поисковикам.

Я надеюсь, что это руководство помогло вам исправить каждую ошибку в отчете о файле Sitemap. А воспользовавшись советами из второй части этого руководства, вы сможете оставить в карте сайта только качественные страницы и убрать все те, которые поисковики все равно не захотят индексировать. Если у вас остались вопросы, не стесняйтесь оставлять их в комментариях ниже.

1381 views

Sitemaps | это… Что такое Sitemaps?

Sitemaps — XML-файл с информацией для поисковых систем (таких как Яндекс, Google, Yahoo, Ask.com, Bing) о страницах веб-сайта, которые подлежат индексации. Sitemaps может помочь поисковикам определить местонахождение страниц сайта, время их последнего обновления, частоту обновления и важность относительно других страниц сайта для того, чтобы поисковая машина смогла более разумно индексировать сайт.

Использование протокола Sitemaps не является гарантией того, что веб-страницы будут проиндексированы поисковыми системами, это всего лишь дополнительная подсказка для сканеров, которые смогут выполнить более тщательное сканирование сайта.^[1]

Содержание 1 Формат протокола Sitemap 2 Пример XML-файла Sitemap 3 Использование файлов индекса Sitemap 4 Другие форматы файла Sitemap 5 Местоположение файла Sitemap 6 Проверка файла Sitemap 7 Уведомления для сканеров поисковых систем 7.1 Использование файла robots.txt 7.2 Использование HTTP-запроса 8 Примечания 9 Ссылки

Формат протокола Sitemap

Формат протокола Sitemap состоит из XML-тегов. В файле необходимо использовать кодировку UTF-8.

Пример XML-файла Sitemap

Ниже приведен пример файла Sitemap, в котором содержится только один URL-адрес и использованы все необязательные теги.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <url>
      <loc>http://example.com/</loc>
      <lastmod>2005-01-01</lastmod>
      <changefreq>monthly</changefreq>
      <priority>0.8</priority>
   </url>
</urlset>

Использование файлов индекса Sitemap

Можно предоставить несколько файлов Sitemap, однако в каждом из этих файлов должно быть не более 50000 URL, а размер каждого из этих файлов не должен превышать 10 МБ. При необходимости файл Sitemap можно сжать с помощью архиватора gzip, чтобы его размер не превышал 10 МБ, и тем самым уменьшить требования к пропускной способности канала.
Если необходимо перечислить более 50000 URL, следует создать несколько файлов Sitemap, при этом необходимо перечислить каждый из этих файлов в файле индекса Sitemap (Sitemap index). Формат файла индекса Sitemap похож на формат файла Sitemap.

Подробная информация об использовании файлов индекса Sitemap на официальном сайте: sitemaps.org.

Другие форматы файла Sitemap

• Канал синдикации (RSS 2.0, а также Atom 0.3 или 1.0)
• Текстовый файл (в текстовом файле в каждой строке должен быть только один URL)

Местоположение файла Sitemap

Рекомендуется располагать файл Sitemap в корневой директории сервера, чтобы ссылка выглядела примерно так: http://example.com/sitemap.xml.

• Все ссылки, перечисленные в файле Sitemap, должны находиться в том же домене, что и сам Sitemap.

  Например, если файл Sitemap находится по адресу http://www.example.com/sitemap.xml, то он не может включать в себя ссылки страниц с доменов http://subdomain.example.com или http://example.com.

• Ссылки в файле Sitemap должны указывать на страницы, находящиеся в том же каталоге (или его подкаталогах), что и сам файл Sitemap.

  Например, если файл Sitemap находится на http://www.example.com/catalog/sitemap.xml то он не может включать в себя ссылки на страницы http://www.example.com/page.html или http://www.example.com/dir/page.html.

• Ссылки, указанные в файле Sitemap должны использовать тот же протокол (например, HTTP), по которому доступен файл Sitemap.

  Это значит, что если файл Sitemap находится на http://www.example.com/sitemap.xml, то он не может содержать ссылки типа https://www.example.com/page.html и ftp://www.example.com/file.doc.

Проверка файла Sitemap

Для определения элементов и атрибутов, которые могут появляться в файлах Sitemap, используются следующие XML-схемы:

• Для файлов Sitemap: http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd
• Для файлов индекса Sitemap: http://www.sitemaps.org/schemas/sitemap/0.9/siteindex.xsd

Уведомления для сканеров поисковых систем

После того, как файл Sitemap создан и размещен на веб-сервере, необходимо сообщить о местонахождении этого файла поисковым системам, поддерживающим этот протокол. Это можно сделать следующим образом:

• с помощью интерфейса поисковой системы
• указав местоположение файла Sitemap в файле robots.txt
• выслав HTTP-запрос

Затем поисковые системы смогут извлечь файл Sitemap и разрешить своим сканерам доступ к URL-адресам.

Использование файла robots.txt

Чтобы сообщить поисковым системам местоположение файла Sitemap, можно в robots.txt добавить строку вида:

Sitemap: <sitemap_location>

Где <sitemap_location> — полный URL файла Sitemap, например: http://www.example.com/sitemap.xml.

Использование HTTP-запроса

Можно указать поисковым системам местонахождение файла Sitemap при помощи HTTP-запроса, используя таблицу:

Поисковая система	Адрес	Описание
Google	http://google.com/webmasters/sitemaps/ping?sitemap=	Обновление файла Sitemap
Yahoo!	http://search. yahooapis.com/SiteExplorerService/V1/updateNotification?appid=SitemapWriter&url= http://search.yahooapis.com/SiteExplorerService/V1/ping?sitemap=	Does Yahoo! support Sitemaps?
Ask.com	http://submissions.ask.com/ping?sitemap=	Q: Does Ask.com support sitemaps?
Yandex	http://webmaster.yandex.ru/wmconsole/sitemap_list.xml?host=	Информация взята с Яндекса
Bing	http://www.bing.com/webmaster/ping.aspx?siteMap=	Bing Webmaster Center

Где <sitemap_location> необходимо заменить на полный URL файла Sitemap.
Например, чтобы добавить файл http://www.example.com/sitemap.xml в поисковик Google, нужно отправить HTTP-запрос http://www.google.com/webmasters/sitemaps/ping?sitemap=http://www.example.com/sitemap.xml.

Примечания

1. ↑ Sitemaps.org

Ссылки

• Официальный сайт (рус. ) (создан при поддержке Google, Yahoo, Microsoft)
• О файлах sitemaps в центре веб-мастеров Google
• О файлах Sitemap в Яндекс.Вебмастере
• Валидатор файлов Sitemap Яндекса
• Sitemap в Google Code  (англ.)

что это такое, зачем нужна, и как создать карту сайта – пример файла sitemap.xml

Интересуясь веб-разработкой и SEO-продвижением в интернете, вы наверняка сталкивались с таким термином, как sitemap. И далеко не все четко понимают, что это за файл, зачем он нужен, какие функции для сайта выполняет.

Поэтому мы решили подробно рассказать, что это такое, как работает, почему сайтмап — это критически важный элемент структуры вашего сайта. Также вас ждут примеры сайтмапов, на которые можно ориентироваться.

Что такое карта сайта?

Карта сайта (или sitemap) — это документ, содержащий перечень страниц. Как оглавление в крупном тексте помогает читателю ориентироваться в его структуре, так и сайтмап помогает поисковым ботам правильно видеть страницы и документы веб-ресурса.

Файл sitemap — один из ключевых элементов сайта с точки зрения SEO. Однако он необходим не каждому ресурсу. Карта сайта требуется в следующих ситуациях:

1. На вашем ресурсе есть более 10 тысяч URL адресов и сложная структура.
2. Имеются изолированные страницы без входящих ссылок.

Если у вас мелкий сайт, где на любую страничку легко попасть посредством 2-3 кликов, без sitemap xml можно обойтись. Также сайтмап рекомендуется добавлять ресурсам без «хлебных крошек», но имеющим глубокую вложенность.

Для чего нужна карта сайта

Sitemap выполняет три основные задачи:

1. Улучшает индексацию страниц. Четко показывает поисковикам структуру сайта. Указывает на те страницы, в которые вносились изменения с момента их предыдущего посещения.
2. Существенно увеличивает уровень доверия поисковых ботов. Они более охотно индексируют сайты с файлом sitemap, чем без него.
3. Помогает пользователям лучше ориентироваться. Но здесь речь идет об HTML sitemap. Подробнее об этом мы расскажем далее.

Если говорить в теории, то поисковые роботы самостоятельно сканируют страницы сайта и индексируют их. Однако практика показывает, что им нужно помогать и буквально указывать, на какие страницы или файлы они должны обратить особое внимание. Sitemap txt и xml как раз и предназначены для этих целей. Причем второй тип в этом плане гораздо важнее, так как позволяет предоставлять поисковым ботам больше полезной информации.

Какие бывают карты сайта?

Рассмотрим, какие разновидности карты сайта существуют, в каких случаях они используются. Выделяют два типа сайтмап: xml карта сайта и HTML sitemap.

HTML Sitemap

Карта сайта sitemap HTML — это, по сути, отдельная страница с перечислением ссылок на основные разделы. Вы наверняка встречали их на различных веб-ресурсах (преимущественно в самом низу). Они в большей мере предназначены для пользователей, а не для поисковых систем, поэтому имеют некоторые ограничения. Например, здесь не рекомендуется размещать более сотни ссылок. Но такое большое количество, как правило, и не нужно.

HTML карта сайта — это полезный элемент с точки зрения удобства навигации. Ее можно сделать визуально привлекательнее, используя CSS-стили, Java-Script и прочие инструменты современной верстки. Но вот для индексации и SEO-продвижения куда большую роль играет карта сайта в формате xml.

Пример файла sitemap.txt

В текстовом файле просто прописываются URL в виде наборов строк:

https://www.site.ua/page-1.html

https://www.site.ua/page-2.html

XML Sitemap

XML сайтмап — файл в xml-формате, который размещают в корне веб-ресурса, куда у рядового пользователя доступа нет. Зато его видят поисковики Google и другие. В отличие от HTML сайтмап, xml карта позволяет разместить гораздо больше ссылок (до пятидесяти тысяч). Кроме того, для нее можно указать частоту обновления веб-страниц и приоритетность.

Обратите внимание! Если вам нужно разместить свыше 50 000 страниц в sitemap, придется создать несколько XML-карт, а не пытаться добавить в один файл больше ссылок.

Добавим также, что существуют специальные xml sitemaps для картинок и видеороликов. Но их используют достаточно редко, потому что их роль для SEO-показателей сайта не является важной.

Пример файла sitemap.xml

Вот вариант для sitemaps org:

<?xml version=»1.0″ encoding=»UTF-8″?>

<urlset xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″>

<url>

<loc>http://www.site.ua/</loc>

<lastmod>2018-10-03</lastmod>

<changefreq>monthly</changefreq>

<priority>1.0</priority>

</url>

<url>

<loc>http://www.site.ua/page-1.html</loc>

<lastmod>2018-10-03</lastmod>

<changefreq>monthly</changefreq>

<priority>0. 9</priority>

</url>

<url>

<loc>http://www.site.ua/page-2.html</loc>

<lastmod>2018-10-03</lastmod>

<changefreq>monthly</changefreq>

<priority>0.9</priority>

</url>

…

<url>

<loc>http://www.site.ua/page-N.html</loc>

<lastmod>2018-10-03</lastmod>

<changefreq>monthly</changefreq>

<priority>0.9</priority>

</url>

</urlset>

Из каких элементов состоит sitemap.xml

Для лучшего понимания вопроса предлагаем рассмотреть содержимое sitemap и теги, которые здесь задействуются:

sitemapindex	Базовый родительский тег, который проставляют в самом начале и в конце документа
sitemap	Второй родительский тег, но он заключается в предыдущий
url	Блок, содержащий значение URL
loc	УРЛ страницы
changefreq	Обозначение частоты изменения страницы. Есть разные варианты: всегда, никогда, раз в час (день, неделю, месяц, год)
priority	Распределение элементов структуры сайта по приоритету для краулинга
lastmod	Время, когда контент на странице обновлялся в последний раз. Данный параметр менее важен, чем предыдущие

Синтаксис sitemap.xml

Чтобы внедрить грамотную sitemap.xml для небольшого сайта, вовсе не обязательно писать огромный код. Вот пример sitemap для sitemaps org с простейшей структурой:

<?xml version=»1.0″ encoding=»UTF-8″?>

<urlset xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″>

<url>

<loc>http://example.com/</loc>

</url>

</urlset>

Правда, для серьезного сайта структура и синтаксис будут на порядок сложнее. Если вы не уверены, что справитесь самостоятельно, лучше доверьте эту работу специалистам.

Как создать sitemap?

Есть четыре варианта, как создать sitemap xml:

1. Через встроенные плагины CMS. Многие системы управления контентом уже оснащены плагинами для формирования сайтмапов. Как правило, они неплохо справляются с этой задачей, способствуя дальнейшему продвижению.
2. С помощью специального ПО. Есть немало специализированного программного обеспечения, чтобы автоматизировать и упростить процесс. Можно даже найти бесплатные варианты. Работать с ними достаточно удобно, но после обновления сайта сайтмап придется раз за разом перегенерировать. А это создает определенные неудобства.
3. В онлайн-сервисах. Принцип тот же, только вместо программы вы используете онлайн-платформу. Есть платные и бесплатные варианты с теми же преимуществами и недостатками.
4. Вручную. Если у вас есть хотя бы базовые навыки верстки, а ваш сайт небольшой, можно создать сайтмап вручную.

Пример карты сайта

Файл sitemap может существенно отличаться в зависимости от того, для чего он используется. Мы рассмотрим несколько примеров сайтмап для популярных категорий: изображения, видеоролики, Google-новости и мультиязычные файлы.

Sitemap для картинок

Sitemap xml рекомендуют создавать и для правильной индексации изображений. Этот файл действительно способен помочь поисковику находить контент и корректно его индексировать. Единственный нюанс: все это работает только с поисковиком Google.

Сайтмап для картинок выглядит следующим образом:

<?xml version=»1.0″ encoding=»UTF-8″?>

<urlset xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″ 

xmlns:image=»http://www.google.com/schemas/sitemap-image/1.1″>

<url>

<loc>http://example.com/page.html</loc>

<image:image>

<image:loc>http://example. com/pic1.jpg</image:loc>

</image:image>

<image:image>

<image:loc>http://example.com/pic1.jpg</image:loc>

</image:image>

</url>

</urlset>

Sitemap для видео

Создать файл индекса sitemap есть смысл только в том случае, если вы размещаете уникальный видеоконтент. В нем можно указать название видео, его короткое описание, продолжительность, а также выбрать миниатюру. Если все сделать правильно, то URL появится в разделе Google Video. Там будут все данные, что вы указали (название, описание, миниатюрная картинка и пр.).

Пример сайтмапа для видео:

<urlset xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″

xmlns:video=»http://www.google.com/schemas/sitemap-video/1.1″>

<url>

<loc>http://www. example.com/videos/video_1.html</loc>

<video:video>

<video:thumbnail_loc>http://www.example.com/thumbs/video_1.jpg</video:thumbnail_loc>

<video:title>Обзор смартфона Xiaomi Redmi 3 Note Pro</video:title>

<video:description>Подробный обзор внешнего вида и функций смартфона Xiaomi Redmi 3 Note Pro от интернет-магазина Example.</video:description>

<video:content_loc>http://www.example.com/video123.flv</video:content_loc>

<video:player_loc allow_embed=»yes» autoplay=»ap=1″> http://www.example.com/videoplayer.swf?video=123</video:player_loc> <video:duration>600</video:duration>

<video:rating>4.3</video:rating>

<video:view_count>1223</video:view_count>

<video:publication_date>2017-01-05T19:20:30+03:00</video:publication_date>

<video:family_friendly>yes</video:family_friendly>

<video:live>no</video:live>

</video:video>

</url></urlset>

Sitemap для Google новостей

Сайтмап для новостных веб-ресурсов — это файл с динамической автогенерацией, который обновляется ежедневно. В нем допустимо до тысячи URL. Если их больше, нужно создавать файлы для двух и более карт. В сайтмап прописывают название статьи, ее основные параметры, язык, дату публикации и пр.

Пример:

<?xml version=»1.0″ encoding=»UTF-8″?>

<urlset xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″

xmlns:news=»http://www.google.com/schemas/sitemap-news/0.9″>

<url>

<loc>http://example.ua/news/wow55.html</loc>

<news:news>

<news:publication>

<news:name>Новости</news:name>

<news:language>ua</news:language>

</news:publication>

<news:genres>Blog</news:genres>

<news:publication_date>2017-05-10</news:publication_date>

<news:title>Рацион питания среднестатистического студента</news:title>

<news:keywords>студенты, еда, мивина, пельмени, revo</news:keywords>

</news:news>

</url>

</urlset>

Sitemap для мультиязычных сайтов

Чтобы пользователи видели сайт на подходящем языке (и если нужная языковая версия доступна), необходимо использовать сайтмап и правильно указать региональность. Для наглядности тоже рассмотрим пример. Здесь сайтмап показывает поисковику, что у страницы ресурса на русском также есть версии на украинском и английском языках:

<?xml version=»1.0″ encoding=»UTF-8″?>

<urlset xmlns=»http://www.sitemaps.org/schemas/sitemap/0.9″

xmlns:xhtml=»http://www.w3.org/1999/xhtml»>

<url>

<loc>http://example.com/ua/</loc>

<xhtml:link rel=»alternate» hreflang=»ua» href=»http://www.example.com/ua/»/>

<xhtml:link rel=»alternate» hreflang=»en» href=»http://www.example.com/en/»/>

<xhtml:link rel=»alternate» hreflang=»ru» href=»http://www.example.com/ru/» />

</url>

<url>

<loc>http://www.example.com/deutsch/</loc>

<xhtml:link rel=»alternate» hreflang=»ru» href=»http://www. example.com/ru/»/>

<xhtml:link rel=»alternate» hreflang=»en» href=»http://www.example.com/en/»/>

<xhtml:link rel=»alternate» hreflang=»ua» href=»http://www.example.com/ua/»/>

</url>

<url>

<loc>http://www.example.com/en/</loc>

<xhtml:link rel=»alternate» hreflang=»ru» href=»http://www.example.com/ru/»/>

<xhtml:link rel=»alternate» hreflang=»ua» href=»http://www.example.com/ua/»/>

<xhtml:link rel=»alternate» hreflang=»en» href=»http://www.example.com/en/»/>

</url>

</urlset>

Анализ карты сайта

Для поиска ошибок в сайтмапе есть удобная программа Screaming Frog, которая показывает редиректы, ошибки 404, дубликаты URL и пр. Сейчас мы не будем детально останавливаться на ней, т. к. у нас уже есть исчерпывающая статья по этой теме «Сканирование сайта в Screaming Frog».

Как анализировать карту сайта в Google

В Google Search Console есть встроенные инструменты для анализа. В подразделе «Сканирование» нужно выбрать «Файлы сайтмап». Таким образом, можно сообщить в Google с помощью sitemap о появлении свежих карт и оптимизировать их сканирование.

Можно добавлять и проверять файлы, посмотреть, сколько страниц отправлено на индексацию, сколько прошли ее на текущий момент. Также отчеты содержат список ошибок и обнаруженных проблем.

Выводы

Sitemap xml — ключевой элемент сайта с многоуровневой структурой, способствующий корректной индексации и положительно сказывающийся на SEO-показателях. Для большинства современных веб-ресурсов (если это не одностраничники) сайтмап жизненно необходим.

Если у вас простой сайт с несложной структурой, этот файл вполне можно создать и добавить вручную. Для более сложных площадок процесс стоит автоматизировать или доверить специалистам, которые точно знают, что делают. Они не допустят типичных ошибок при создании сайтмапов.

Файл Sitemap.xml

Sitemap.xml — это служебный файл в формате XML, который позволяет сообщить поисковикам информацию о том, как организованы данные на вашем сайте. В нем содержатся ссылки на все разделы и страницы, которые должны быть проиндексированы поисковыми системами.

Как правило, sitemap.xml на больших или часто изменяющихся сайтах генерируется на лету (так как этот процесс легко автоматизировать). Реальный адрес файла sitemap.xml вовсе не обязан быть site.ru/sitemap.xml, а может быть абсолютно любым, например, site.ru/anything (хотя лучше, конечно, чтобы у карты сайта был осмысленный адрес).

Поисковые роботы регулярно скачивают этот файл, сравнивают его с имеющейся у них версией и, если файлы отличаются (например, в скачанной версии добавились новые ссылки), индексируют изменения на сайте.

Помимо новых ссылок, файлы Sitemap помогают передать поисковику метаданные о страницах сайта. Например, можно указать дату последнего изменения, периодичность обновления контента и важность страницы на сайте по сравнению с другими разделами.

Существуют отдельные виды файлов Sitemap для разных типов контента, включая видео, изображения и материалы для мобильных устройств. Для абсолютного большинства веб-проектов такие специальные файлы Sitemap генерировать нет смысла. Например, Sitemap для изображений не нужен, если изображения на сайте неуникальные или их немного. Но если в вашем проекте это актуально, рекомендуется разработать в системе функционал, позволяющий автоматически генерировать и обновлять соответствующие документы.

Нужен ли файл sitemap.xml для вашего проекта?

Некоторые коллеги-сеошники придерживаются мнения, что файл sitemap.xml не нужен для большинства сайтов. Якобы, структуру сайта нужно делать настолько простой и удобной, чтобы поисковые роботы смогут без проблем добраться до любой страницы сайта и проиндексировать ее.

Такая структура гораздо лучше подходит не только для поисковиков, но и для пользователей. Им становится проще пользоваться сайтом, что улучшает поведенческие факторы ранжирования (такие как количество и глубина переходов, время на сайте и пр). Исключение составляют масштабные информационные и e-commerce проекты, где просто-напросто слишком много страниц, и сделать их все относительно легкодоступными не всегда представляется возможным.

С тем, что структуру ресурса нужно делать удобной, никто не спорит (подробнее мы поговорим об этом в главе про структурную оптимизацию сайта). К тому же, если страницы сайта корректно и полно связаны друг с другом, робот сможет рано или поздно обнаружить все материалы. Однако я все равно рекомендую настраивать sitemap.xml для всех сайтов.

Sitemap.xml является слабым сигналом качества сайта и повышает уровень траста сайта. Даже для небольших проектов он способен помочь поисковикам более точно и оперативно индексировать все изменения на сайте. Лишним уж точно не будет!

Кроме того, Sitemap однозначно нужен в случае, если:

• Размер сайта очень велик. В этом случае роботы могут неделями и месяцами добираться до созданных или измененных разделов.
• Сайт содержит большой архив страниц, которые не связаны друг с другом. Чтобы они были успешно просканированы, их можно перечислить в файле Sitemap. При этом отмечу, что не связанные или слабо связанные страницы скорее всего все равно выпадут из индекса из-за маленького статического веса (на такие страницы стоит мало ссылок) и плохих поведенческих факторов (такие страницы не посещают пользователи.

По этой причине, например, не всегда удается удержать в индексе поисковика карточки старых товаров. Самих товаров уже нет и не будет в наличии (сняты с производства), поэтому карточки удаляются из каталога, но отображаются по прямым ссылкам, чтобы присутствовать в индексе и генерировать хоть малую, но долю трафика.

Чтобы удержать такие странице в индексе поисковиков следует оставить их в каталоге, пусть и на дальних позициях, с пометкой «Нет в наличии» и вариантами товаров-аналогов.

Также проблемы с индексацией могут возникнуть, если ваш сайт создан недавно, и на него указывает мало внешних ссылок. Так как роботы сканируют Интернет, переходя по ссылкам с одной страницы на другую, по причине малого количества ссылок ваш сайт они могут не найти.

Отмечу, что на практике такая проблема почти не встречается — достаточно поставить на новый сайт несколько ссылок из социальных сетей, блогов и других сайтов, и он про индексируется корректно (но sitemap.xml у него настроить все же рекомендую!).

Настройка файла sitemap.xml

При настройке sitemap.xml придерживайтесь простых правил:

1. Sitemap.xml должен быть автоматически генерируемым. Это избавит вас от необходимости добавлять новые адреса в ручном режиме.
2. Sitemap.xml должен быть корректным, то есть в нем должны быть только те ссылки, которые представляют интерес для поисковиков и пользователей. Служебные и малоинформативные разделы помещать в карту сайта нет смысла.
3. Для Sitemap лучше использовать формат XML, так как он позволяет предоставлять дополнительную информацию о страницах сайта. Для каждого URL нужно указать дату последнего обновления страницы (элемент lastmod). Также опциально можно указать частоту изменения страницы (элемент changefreq; слишком высокую частоту обновлений ставить не стоит — помните о краулинговом бюджете, которого на все страницы может не хватить) и относительную значимость страницы (элемент priority; это параметр я использую редко, так как корректно распределить веса самостоятельно бывает проблематично, а этот элемент может влиять на ранжирование страницы).
4. Sitemap.xml должен обновляться не только при добавлении нового раздела, но и при изменении существующего (меняем lastmod у нужной страницы).
5. Само собой, файл должен быть валидным, то есть он не должен содержать синтаксических ошибок. Проверить это можно в вебмастерах поисковиков, куда необходимо (в обязательном порядке!) загрузить Sitemap.
6. Файл должен располагаться на том же домене, что и сайт, для которого он составлен, и отдавать HTTP-статус с кодом 200 OK.
7. Если Sitemap слишком большой (более 50 000 URL или весит более 10 Мб) нужно разбить его на несколько отдельных файлов, адреса которых указать в файле индекса Sitemap.
8. В файле нужно использовать кодировку UTF-8.

Остается добавить, что Sitemap.xml не дает гарантий, что роботы будут корректно сканировать и индексировать сайт. Но он точно будет способствовать этим процессам.

Больше информации:

• продвижение сайтов
• создание продающих сайтов
• оставить комментарий к этой статье в ЖЖ.

подробное описание формата, примеры создания XML карты сайта

Комментарии: 0

 17074

16.10.2018 | Время чтения: 12 минут

Автор: Симагин Андрей

Многие из вас слышали про необходимость наличия у сайта карты Sitemap (он же «сайтмап»), однако не все до конца понимают важность его присутствия на сайте. В данной статье мы проведем обзор файла формата Sitemap. xml, а также опишем варианты его генерации для различных типов сайтов.

Структура статьи:

• Для чего нужна карта сайта
• Описание формата Sitemap
• Маскирование символов
• Разбиение Sitemap на части
• Местоположение Sitemap.xml и его индексация
• Использование кириллических адресов
• Вопросы необходимости карты сайта
• Обзор вариантов генерации Sitemap.xml

Для чего нужна карта сайта Sitemap.xml

Карта сайта Sitemap – это файл XML либо текстового формата (TXT), содержащий в себе все URL сайта (ссылки на страницы либо изображения) и предназначенный для сообщения поисковым роботам информации о новых страницах на вашем ресурсе. В результате обхода по всем URL в сайтмап, поисковая система перейдет по всем актуальным страницам вашего сайта.

Конечно, поисковые системы проиндексируют ваш сайт и без сайтмапа, и зачастую сделают это не менее качественно, однако в некоторых случаях у поисковиков могут возникнуть сложности с индексацией страниц. Основными причинами неиндексации могут быть такие факторы, как:

• сайт имеет большую вложенность страниц (характерно для крупных веб-ресурсов)
• сайт имеет страницы без навигационных ссылок (на страницы невозможно перейти по внутренней навигации сайта)
• на сайте присутствуют динамические URL

Для подобных страниц из вышеописанных вариантов робот может не добраться никогда, так как в первом случае из-за глубокой вложенности он просто не дойдет до конечного URL, исчерпав краулинговые лимиты сайта, а во втором он физически их не увидит, так как не сможет на них перейти по ссылкам на сайте (например, это может быть вариант, когда ссылка есть, но проставлена при помощи JavaScript, CSS-стилем либо просто зашифрована, из-за чего в исходном коде страницы поисковый робот ее просто не увидит).

Однако, имея информацию о наличии файла Sitemap.xml, поисковый робот будет периодически его обходить и индексировать новые страницы сайта в нужном вам порядке, с необходимым приоритетом и именно по тем страницам, которые вам наиболее важны в данный момент.

Описание формата Sitemap

Sitemap может быть двух типов: текстового формата (TXT) и формата XML.

Текстовый формат представляет собой простой текстовый файл кодировки UTF-8 и содержащий в себе URL сайта в виде наборов строк (каждая ссылка с новой строки). Пример карты сайта текстового формата:

https://www.site.ru/page-1.html
https://www.site.ru/page-2.html

Формат XML является расширенным форматом текстового варианта и позволяет передавать поисковым ботам дополнительную информацию. Пример файла Sitemap.xml:

<?xml version="1.0" encoding="UTF-8"?>
    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
        <url>
            <loc>http://www.site.ru/</loc>
            <lastmod>2018-10-03</lastmod>
            <changefreq>monthly</changefreq>
            <priority>1.0</priority>
        </url>
        <url>
            <loc>http://www. site.ru/page-1.html</loc>
            <lastmod>2018-10-03</lastmod>
            <changefreq>monthly</changefreq>
            <priority>0.9</priority>
        </url>
        <url>
            <loc>http://www.site.ru/page-2.html</loc>
            <lastmod>2018-10-03</lastmod>
            <changefreq>monthly</changefreq>
            <priority>0.9</priority>
        </url>
        ...
        <url>
            <loc>http://www.site.ru/page-N.html</loc>
            <lastmod>2018-10-03</lastmod>
            <changefreq>monthly</changefreq>
            <priority>0.9</priority>
        </url>
    </urlset>

Описание элементов XML, на которые необходимо обратить внимание:

• url (обязательный параметр) – содержит все сведения о конкретном URL
  • loc (обязательный параметр) – URL страницы. Для URL с параметрами необходимо маскирование
  • lastmod – дата и время последнего изменения страницы в формате Datetime. При необходимости допускается опустить сегмент времени и использовать формат ГГГГ-ММ-ДД
  • changefreq – указание рекомендательной частоты изменения страницы. Может принимать значения: always, hourly, daily, weekly, monthly, yearly, never
  • priority – значимость страницы относительно других URL сайта. Допустимый диапазон значений 0.0 до 1.0. Чем страница важнее, тем приоритет больше. У главной страницы приоритет всегда равен 1, по умолчанию приоритет 0.5

Примечание: стоит упомянуть, что содержимое карты сайта является лишь рекомендацией поисковым роботам по обходу страниц (если установить периодичность обхода страниц раз в неделю, то робот может их обходить гораздо чаще, и наоборот, если установить частоту обхода ежечасно, то это не значит, что поисковики будут индексировать страницу каждый час).

Прочие форматы XML карты сайта:

• Файл Sitemap для изображений
  • Отдельный сайтмап для изображений будет полезен, если изображения не доступны боту напрямую (например, если они загружаются с помощью JavaScript). Однако, зачастую, для этого можно использовать обычный Sitemap.xml и указывать в нем ссылки на изображения вместе с обычными URL. Подробнее о сайтмап для изображений в справке Google
• Файл Sitemap для новостей
  • Используется для быстрой индексации новостных материалов вашего сайта, при этом ваш ресурс должен быть включен в каталог Google Новости. Требования к Sitemap: должен содержать не более 1000 URL, должен содержать URL новостей, опубликованных за последние два дня. Подробнее о сайтмап для новостей в справке Google

Маскирование

Маскирование в Sitemap.xml используется для URL-адресов и предназначено для интерпретации обычных символов в их псевдокоды в формате HTML:

• Амперсанд: & -> &amp;
• Одинарные кавычки: ‘ -> &apos;
• Двойные кавычки: » -> &quot;
• Больше: > -> &gt;
• Меньше: < -> &lt;

Таким образом, всем привычный URL с параметрами и не маскированными спецсимволами по стандартам XML будет невалиден, пример:

Стандартный URL страницы (не валидный)

https://www. site.ru/index.php?page=news&date=22071981

Валидный URL в Sitemap с маскированием (символ «&» заменен на «&amp;»)

<loc>https://www.site.ru/index.php?page=news&amp;date=22071981</loc>

Для символов в URL, отличных от ASCI, помимо & также необходимо применять маскирование. Пример для URL-адреса:

http://www.site.ru/контакты.html

Тот же URL-адрес с использованием маскирования, для размещения в Sitemap:

http://www.site.ru/%D0%BA%D0%BE%D0%BD%D1%82%D0%B0%D0%BA%D1%82%D1%8B.html

Разбиение Sitemap на составные части

У файла Sitemap.xml есть ограничение как на объем содержащихся в нем URL, так и на сам размер файла. В каждом файле Sitemap.xml должно содержаться не более 50 000 URL, а его объем не должен превышать 50 Мб для Google и 10 Мб для Яндекса (при необходимости файл можно сжать в формат «gzip», но, тем не менее, в распакованном виде он также не должен превышать размер в 50 мегабайт), поэтому при необходимости указания более 50 000 URL-адресов, следует создать несколько файлов Sitemap.

Таким образом, за счет возможности разбиения Sitemap на части, можно обойти все эти ограничения и спокойно генерировать Sitemap для десятков и сотен тысяч страниц.

Разбиение происходит путем создания основного индексного файла Sitemap.xml, содержащего ссылки на дочерние файлы, которые в свою очередь являются стандартными файлами Sitemap.xml и содержат список конечных URL вашего сайта. В основном индексном файле для указания ссылок на дочерние сайтмап используется все тот же тег <loc>, обрамленный тегом <sitemap>, и содержащий ссылки на дочерние Sitemap.xml (названия дочерних сайтмап можно указывать произвольно).

Пример индексного файла XML Sitemap:

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.site.ru/sitemap-1.xml</loc>
      <lastmod>2018-09-25T21:38:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www. site.ru/sitemap-2.xml</loc>
      <lastmod>2018-09-21</lastmod>
   </sitemap>
</sitemapindex>

Формат дочерних файлов карт сайта XML-формата аналогичен стандартным Sitemap.xml.

Местоположение Sitemap.xml и его индексация

Стандартным вариантом размещения сайтмап является корень сайта, пример:

https://www.site.ru/sitemap.xml

При размещении «sitemap.xml» необходимо учитывать тот факт, что набор URL-адресов, которые можно включить в Sitemap определяется именно расположением на сайте, то есть при размещении карты сайта по адресу http://site.ru/news/sitemap.xml она может включать только URL-адреса, начинающиеся с http://site.ru/news/, но не должен включать адреса, начинающиеся с http://site.ru/pages/. Примеры допустимых URL для http://site.ru/news/sitemap.xml:

http://site.ru/news/25092018/
http://site.ru/news/news-all/

К недопустимым URL-адресам в файле http://site.ru/news/sitemap.xml относятся:

http://site. ru/pages/page-1/
http://site.ru/images/1x1.gif
http://site.ru/contacts/

Таким образом, во избежание проблем с некорректной индексацией, настоятельно рекомендуется размещать Sitemap.xml в корне сайта.

Индексация Sitemap

Поисковые роботы по умолчанию сканируют корневую директорию сайта, поэтому со временем они найдут ваш сайтмап и перейдут по всем его ссылкам.

Однако, для ускорения посещения файла Sitemap поисковыми ботами необходимо выполнить несколько шагов:

• разместить ссылку на карту сайта в файле «robots.txt»
• добавить ссылку на «sitemap.xml» в панели вебмастера Яндекс и Google

Ссылка на сайтмап в «robots.txt»

User-agent: *
...
Sitemap: https://site.ru/sitemap.xml

Добавление сайтмап в панели вебмастера Яндекс и Google

Использование кириллических адресов

Для корректной интерпретации URL различными поисковыми системами рекомендуется все кириллические URL кодировать в формат Punycode (бесплатный конвертер) и использовать маскирование для кириллических адресов страниц.

То есть, вместо адреса:

http://www.ёэлектроника.рф/каталог/лампы/

Необходимо использовать кодированный URL:

http://www.xn--80ajjhbcqhrt1jzb.xn--p1a/%D0%BA%D0%B0%D1%82%D0%B0%D0%BB%D0%BE%D0%B3/

Вопрос необходимости карты сайта

Бесспорно, что присутствие карты сайта желательно на любом сайте. Но, с одной стороны, в сайтмапе нет острой необходимости, так как со временем поисковый робот перейдет на ваш сайт и по ссылкам просканирует все доступные ему страницы. С другой стороны, для сайтов, у которых контент обновляется часто и которым важен порядок и приоритет обхода страниц (СМИ, новостные агентства, etc.), данный файл будет жизненно необходим, так как с помощью него они смогут указать поисковым роботам какие страницы индексировать в первую очередь, а какие после.

Поэтому, возникает справедливый вопрос: а так ли необходим Sitemap.xml конкретно для вашего сайта? Давайте разбираться.

Безусловно, данный файл будет актуален для сайтов объемом от 1000 страниц, а также для тех сайтов, объем страниц которых растет быстро и контент на которых нуждается в частой переиндексации, поэтому за счет данного файла поисковая система будет иметь под рукой всегда актуальный список страниц вашего сайта и с помощью него же будет своевременно индексировать все изменения. Таким образом, актуален данный файл для сайтов, контент на которых меняется часто и большими объемами (добавилось 50 страниц, удалилось 40, обновилось 175 и т.д.):

• СМИ, новостные порталы
• интернет-порталы
• каталоги товаров, агрегаторы
• интернет магазины
• форумы, отзовики, сайты вопросов-ответов

Для подобных сайтов данный файл необходимо иметь в первую очередь, так как от него зависит актуальность представляемой информации в выдаче поисковых систем.

Пример индексации через сайтмап при добавлении на сайт большого числа страниц:

Примечание: файлы Sitemap в таком случае необходимо генерировать на стороне сервера. Генерация карты сайта онлайн при помощи сервисов либо программ для ПК бессмысленна за счет низкой скорости и трудоемкости работ по выкладыванию данных файл на сервер (для крупных порталов, каталогов и интернет-магазинов подобные файлы должны обновляться чуть ли не каждый час (например, обновление цен в интернет-магазине)).

Вторая категория сайтов, для которых также необходим данный файл – это сайты от 100 до 1000 страниц и представляющие услуги бизнеса, а также просто информационные странички:

• сайты по продаже товаров и услуг
• сайты компаний и представительств
• блоги

На подобных сайтах обычно приток новых страниц происходит плавно, удаление страниц и разделов случается еще реже. Поэтому само собой подобные сайты должны иметь файлы Sitemap XML, однако в данном случае данный файл больше важен для первичной индексации сайта (чтобы за один обход файла поисковый робот узнал про все страницы сайта и оперативно их проиндексировал). Далее, новые страницы в виду их единичного добавления можно отсылать на переиндексацию даже через панель вебмастера Яндекса или Google и таким образом поддерживать актуальность страниц для поисковых систем. Файлы Sitemap для подобного рода сайтов можно генерировать специальными программами и сервисами, о которых будет написано ниже.

Третья категория сайтов – сайты с числом страниц до 100. К ним относятся:

• лендинги (одностраничные сайты для продажи конкретного товара либо услуги)
• промо-сайты (например, сайты коттеджных поселков)
• сайты-визитки
• домашние странички

Все эти сайты зачастую содержат небольшое число страниц о какой-то одной услуге, товаре, событии. Для подобного рода сайтов в наличии Sitemap нет какой-то жизненно важной необходимости. Так как контент на них обновляется достаточно редко и новые страницы добавляются с низкой интенсивностью, поисковые роботы такие сайты обходят не часто в виду малого числа страниц на них, поэтому для данных сайтов вполне подойдет как использование Sitemap.xml, так и его предшественника HTML карты сайта – это обычная HTML-страница стилизованная под дизайн сайта, на которой размещены все ссылки на внутренние страницы сайта в иерархическом виде (обычно в виде дерева). Таким образом, поисковый робот, посетив эту страницу, может обойти все страницы сайта и проиндексировать их либо обновить о них информацию. Пример такой страницы:

Примечание: на текущий момент создание подобных страниц перестало быть актуальным в виду перехода на формат XML, который не нужно создавать руками, а можно сгенерировать специальными программами либо сервисами (их примеры представлены ниже).

Таким образом, из всех вышеизложенных заключений можно сделать простой вывод, что чем больше объем страниц вашего сайта и чем чаще он обновляется, тем острее необходимость наличия на нем карты сайта Sitemap.xml, который в идеале должен генерироваться на сервере автоматически, без участия человека.

Важно!
Сайтмап должен включать в себя только актуальные страницы сайта необходимые для индексации и отдающие код ответа сервера 200. Все прочие служебные, технические либо страницы, запрещенные к индексации, не должны присутствовать в карте сайта.

Варианты генерации Sitemap.xml

Существует несколько методов генерации, перечислим их:

1. Генерация карты сайта при помощи онлайн-генератора (стоит учесть, что зачастую подобные генераторы платные)

В сети достаточно сервисов для генерации карты сайта, однако у них есть некоторые ограничения:

• обычно в подобных сервисах бесплатно можно сгенерировать не более 500 страниц
• для больших сайтов (от 5000 страниц) генерация может занять продолжительное время
• генерация сайтмап для крупных порталов может и вовсе произойти с ошибкой из-за нехватки ресурсов сервера, на котором расположен данный сервис

Пример онлайн-генератора MySitemapGenerator.com:

Примечание: Недостаток данного метода состоит в том, что при каждом обновлении сайта необходимо вручную генерировать сайтмап и заливать на сервер.

2. Автоматическая генерация Sitemap.xml средствами CMS (например в Bitrix, WordPress, Opencart и прочих системах управления сайтом доступна такая функция)

Наиболее приоритетный вариант, который позволяет настроить частоту обновления Sitemap средствами системы управления сайтом и избавляет вебмастера от ручного размещений сайтмап на сайте.

Пример модуля генерации Sitemap.xml для CMS Opencart:

3. Генерация карты сайта при помощи программы для ПК

Данный вариант подойдет для сайтов небольших и средних размеров, контент на которых обновляется периодически.

Недостатки подобного метода:

• после генерации сайтмап необходимо заливать его на сервер вручную
• большинство подобных программ-краулеров для ПК платные

Пример генерации Sitemap.xml при помощи бесплатной программы SiteAnalyzer:

• скачиваем дистрибутив программы
• после запуска программы вводим URL сайта и запускаем сканирование
• после сканирования в главном меню выбираем пункт Проекты -> Генерировать Sitemap

• в результате получаем карту сайта (одним файлом либо из нескольких файлов, если число страниц превышает 50 000)

• заливаем сайтмап в корень вашего сайта по FTP протоколу

4. Ручное создание сайтмап

Ручное создание возможно для сайтов с числом страниц до 10, однако для ускорения процесса проще воспользоваться любым онлайн-генератором либо программой для ПК.

Резюмируя все вышеописанное можно выделить основные моменты, на которые нужно обратить внимание при генерации карты сайта:

• для ресурсов с часто обновляемым контентом карта сайта должна генерироваться на стороне сервера
• sitemap.xml должен содержать только актуальные страницы сайта, отдающие код ответа сервера 200 и разрешенные к индексации
• для качественной индексации ресурса карта сайта должна обновляться каждый раз при обновлении контента на сайте

На этом все!
Благодарю за внимание и до новых встреч! 🙂

Полезное

Сервисы для проверки корректности карты сайта:

• Яндекс Вебмастер: https://webmaster.yandex.ru/tools/sitemap/
• Google Вебмастер: https://www. google.com/webmasters/ (Ваш сайт -> Сканирование -> Файлы Sitemap -> Добавление/проверка файла Sitemap)

Ссылки на описание Sitemap:

• Справка Яндекса: https://yandex.ru/support/webmaster/controlling-robot/sitemap.html
• Справка Google: https://support.google.com/webmasters/answer/183668
• Описание протокола на русском: https://www.sitemaps.org/ru/protocol.html

Оцените статью

4.7/5

9

Другие статьи:

• 18 этапов проверки сайта перед покупкой
• Актуальные способы продвижения сайтов ссылками в 2018 году
• Быстрый тест скорости загрузки страниц сайта

0 комментариев

Чтобы оставить комментарий необходимо авторизоваться.

<< Назад

Что такое карта сайта?

Файл Sitemap содержит информацию обо всех URL-адресах на веб-сайте ^[1] . Он также может включать в себя некоторые дополнительные данные, такие как дата предыдущего изменения, важность данного адреса, частота изменений, вносимых на веб-сайте, данные о различных языковых версиях.

Информация о предыдущей модификации часто пропускается Google ^[2] , аналогично приоритету в карте сайта ^[3] .

НУЖЕН ФАЙЛ Sitemap.XML?

В случае небольших веб-сайтов, состоящих из нескольких сотен URL-адресов, наличие файла sitemap.xml ^[4] не требуется. Если структура веб-сайта ясна и каждая страница имеет внутреннюю ссылку, то поисковые системы смогут найти все страницы. Наличие карты сайта рекомендуется для больших сайтов со сложной структурой и навигацией, так как это облегчит процесс поиска страниц. Использование файла карты сайта также рекомендуется в случае новых, больших сайтов, на которых еще не так много обратных ссылок.

ПРИМЕР ФАЙЛА КАРТЫ САЙТА

  0" encoding="UTF-8" ?>
 
 <набор URL-адресов xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
 
     <ссылка>
 
         http://www.example.com/
 
         2018-09-01
 
         ежемесячно
 
         0,8
 
     
 
 
 

Существует множество примеров sitemap и sitemapindex. Достаточно просто заглянуть на большие сайты, например: 

https://www.bizdb.co.uk/sitemap.xml — индекс карты сайта содержит ссылки на многие файлы карты сайта.

ОГРАНИЧЕНИЯ ФАЙЛА КАРТЫ САЙТА

Один файл карты сайта может содержать не более 50 000 URL-адресов и не может превышать 50 мегабайт.

ЧТО ДЕЛАТЬ, ЕСЛИ ИМЕЕТСЯ БОЛЕЕ 50 000 URL-адресов?

В случае больших веб-сайтов лучшим решением будет создание файла sitemapindex. Затем файлы карты сайта можно поместить в этот файл sitemapindex. Пример файла Sitemapindex:

  0" encoding="UTF-8"?>
 
 
 
     <карта сайта>
 
         http://www.example.com/sitemap1.xml
 
         2018-10-01
 
     
 
     <карта сайта>
 
         http://www.example.com/sitemap2.xml
 
         2018-09-01
 
     
 
 
 
 

ГЕНЕРАТОР КАРТ САЙТА

Идеальным вариантом было бы наличие файла карты сайта, созданного веб-сайтом. В таком случае структуру URL следует регулярно обновлять, чтобы файл карты сайта отражал веб-сайт.

Один из инструментов, доступных в Google, можно использовать для создания файла карты сайта ^[5] . В случае веб-сайтов на основе CMS WordPress рекомендуется использовать плагин «yoast seo» — sitemap.xml будет создан автоматически.

ЧТО ДЕЛАТЬ ПОСЛЕ СОЗДАНИЯ SITEMAP.

XML 

Теперь файл Sitemap.xml готов с включенными URL-адресами всех страниц, поэтому пришло время сообщить об этом поисковым системам. Имя файла по умолчанию — «sitemap.xml» или «sitemap.xml.gz». Поисковые системы, вероятно, найдут файл самостоятельно, если он находится в основном каталоге домена и доступен через:

https://www.example.com/sitemap.xml

Существует несколько способов помочь поисковым системам найти файл карты сайта. Самый простой — добавить дополнительную строку в файл robots.txt. Robots.txt должен быть доступен в:

https://www.example.com/robots.txt

Просто введите robots.txt:

Карта сайта: URL-адрес карты сайта

Например:

 Карта сайта: https://www.example.com/sitemap.xml
 

Другой способ информирования поисковых систем — добавление карты сайта в консоль поиска Google или инструменты веб-мастера Bing. После авторизации добавьте карту сайта и нажмите кнопку «Отправить».

Информация была отправлена, и Google вскоре должен посетить веб-сайт.

РАЗНИЦА МЕЖДУ СТРУКТУРОЙ ВЕБ-САЙТА И КАРТОЙ САЙТА 

Настоятельно рекомендуется, чтобы файл карты сайта отражал структуру ссылок. Отсутствующие URL-адреса в файле sitemap.xml могут привести к задержке индексации, аналогично устаревшим или недоступным URL-адресам в карте сайта. Также рекомендуется проверить, содержит ли файл карты сайта URL-адреса https:// для зашифрованных страниц. HTTP-версия URL-адресов, которые все еще появляются после шифрования веб-сайта, является распространенным случаем.

ЗАКЛЮЧЕНИЕ

Файлы Sitemap не требуются, но бывают ситуации, когда они могут оказаться полезными. Это определенно рекомендуется для больших и сложных веб-сайтов. Цитируя Google: в большинстве случаев ваш сайт выиграет от наличия карты сайта, и вы никогда не будете оштрафованы за ее наличие.

Источники:

1. https://wikipedia.org/wiki/Карта сайта
2. https://www.seroundtable.com/google-lastmod-xml-sitemap-20579. html
3. https://www.seroundtable.com/google-priority-change-frequency-xml-sitemap-20273.html
4. https://support.google.com/webmasters/answer/156184?hl=ru
5. https://code.google.com/archive/p/sitemap-generators/wikis/SitemapGenerators.wiki

Яцек Вечорек является соучредителем Pulno. С 2006 года он занимается оптимизацией и управлением веб-сайтами, которые генерируют трафик, исчисляемый сотнями тысяч ежедневных посещений. Свяжитесь с нами:

Знаете ли вы, какое большое влияние карта сайта может оказать на веб-сайт?

Кодирование | Программирование Веб-дизайн и разработка Кодирование Программирование Структура сайта Карта сайта Веб-разработка Опубликовано 2 декабря 2019 г.

---

Последнее обновление 11 декабря 2019 г.

Поисковые системы используют веб-сканирование для обновления своего веб-контента путем индексирования веб-контента других сайтов. Поисковый робот, также известный как паук или робот-паук, представляет собой интернет-бот, который систематически просматривает Всемирную паутину для индексации URL-адресов страниц в Интернете.

Что делает веб-краулер?

Поисковые роботы копируют страницы для обработки поисковой системой, которая индексирует загруженные страницы, чтобы пользователи могли выполнять поиск более эффективно. Поисковые роботы обычно могут обнаружить большинство страниц вашего сайта, если они правильно связаны. Однако с помощью файлов карты сайта вы можете улучшить сканирование страниц вашего веб-сайта.

Если ваш сайт новый и на него мало внешних ссылок или на сайте используется мультимедийный контент, поисковые роботы сканируют Интернет, переходя по ссылкам с одной страницы на другую. Хуже того, если ваш сайт обширен с обширным архивом страниц контента, которые изолированы или плохо связаны друг с другом, поисковые роботы могут пропустить сканирование некоторых из ваших новых или недавно обновленных страниц. В результате поисковые системы могут не обнаружить ваши страницы, если на них не ссылаются другие сайты. В любом из вышеперечисленных случаев файл карты сайта может предоставить поисковому роботу дополнительную информацию, чтобы поисковые системы не пропускали некоторые страницы вашего веб-сайта.

---

Вот! Компания предоставляет привлекательные и эффективные услуги веб-дизайна для агентств по всему миру. Узнайте больше о наших услугах веб-дизайна White Label и о том, как мы можем помочь вам и вашим клиентам создать или улучшить свое присутствие в Интернете. Начните сегодня!

---

 

Что такое файл карты сайта и как он устроен?

Карта сайта — это файл тегов XML, в котором перечислены URL-адреса сайта вместе с дополнительными метаданными о каждом URL-адресе; например, когда страница обновлялась в последний раз, как часто она обычно меняется и насколько она важна (приоритет) по сравнению с другими URL-адресами на сайте. У нас могут быть разные файлы карты сайта, которые предоставляют информацию о страницах, видео, изображениях и других файлах на вашем веб-сайте, а также о взаимосвязях между ними, чтобы поисковые системы могли более разумно сканировать ваш веб-сайт. Карта сайта сообщает сканеру, какие файлы важны на вашем веб-сайте, а также предоставляет ценную информацию об этих файлах. Поисковые роботы, поддерживающие карты сайта, собирают все URL-адреса в карте сайта и узнают об этих URL-адресах с помощью связанных метаданных.

Формат протокола карты сайта состоит из тегов XML. Карта сайта должна содержать:

• Открывающий элемент с пространством имен (стандарт протокола) в теге .
  • Запись открывающего тега для каждого URL-адреса в качестве родительского тега XML.
    • Тег как дочерняя запись каждого родительского тега с URL-адресом страниц.
  • Закрывающий тег ,
• Закрывающий тег .

Ниже приведена иллюстрация основного протокола и структуры файла карты сайта с некоторыми необязательными тегами. Для получения дополнительной информации об определениях тегов XML в протоколе карты сайта посетите https://www. sitemaps.org/protocol.html.

Все URL-адреса, указанные в файле карты сайта, должны находиться в том же домене, что и файл карты сайта. Например, если файл карты сайта расположен по адресу https://www.mydomain.com/sitemap.xml, он не может включать URL-адреса с https://subdomain.mydomain.com. Если файл карты сайта расположен по адресу https://www.mydomain.com/myfolder/sitemap.xml, он не может включать URL-адреса с https://www.mydomain.com. Протокол файла карты сайта должен быть сгенерирован с использованием метода кодировки символов UTF-8. Настоятельно рекомендуется размещать карту сайта в корневом каталоге вашего HTML-сервера; то есть поставить его на https://www.mydomain.com/sitemap.xml

Файлы Sitemap не должны превышать 50 МБ и могут содержать не более 50 000 URL-адресов. Эти ограничения помогают гарантировать, что ваш веб-сервер не увязнет в обслуживании огромных файлов. Если ваш сайт содержит более 50 000 URL-адресов или ваша карта сайта больше 50 МБ, вы должны создать несколько файлов карты сайта и использовать файл индекса карты сайта. Если ваш сайт небольшой, но вы планируете увеличить количество URL-адресов до 50 000 или размер файла 50 МБ, рекомендуется начать использовать файлы индекса карты сайта.

---

---

 

В теге необходимо указать протокол (например, HTTP или HTTPS) URL вашей страницы. Вам также необходимо включить косую черту в конце URL-адреса, если он требуется вашему веб-серверу. Например, http://www.mydomain.com/ является допустимым URL-адресом для файла Sitemap, а www.mydomain.com — нет. Важно указать только одну версию URL-адреса вашей страницы в ваших картах сайта. Это означает, что нужно указать только URL-адреса HTTPS или только URL-адреса HTTP, но не оба. Включение нескольких версий URL-адреса страниц может привести к неполному сканированию вашего сайта поисковой системой.

Два распространенных способа сделать файл карты сайта доступным для поисковых систем — отправить его через инструмент отправки поисковых систем или вставив строку, например, Карта сайта: https://www. mydomain.com/sitemap.xml , в любом месте вашего сайта в файле robots.txt, в котором указывается путь к файлу карты сайта. Файл robots.txt сообщает поисковой системе, какую часть вашего веб-сайта вы не хотите включать в индексацию, а карта сайта сообщает этим поисковым системам, куда вы хотите, чтобы они направлялись.

Почему важен файл карты сайта?

У наличия файла карты сайта нет недостатков, и он может улучшить SEO, поэтому настоятельно рекомендуется иметь его на своих веб-сайтах. Карты сайта важны для SEO, потому что они облегчают поисковым системам поиск страниц вашего сайта. Это важно, потому что поисковая система ранжирует веб-страницы, а не только веб-сайты. Вы можете думать о карте сайта как о плане вашего дома, где каждая веб-страница представляет собой комнату, что позволяет поисковой системе быстро и легко находить все комнаты в вашем доме.

Существует множество приемов и советов по SEO, которые помогут оптимизировать ваш веб-сайт, и одним из них является использование файлов карты сайта. Важность файла карты сайта иногда сильно недооценивается. Опять же, карта сайта — это буквальная карта вашего сайта. Они упрощают навигацию по вашему сайту, а когда вы сохраняете обновленный файл карты сайта для своего сайта, он подходит не только для вас, но и для поисковых систем. Файлы карты сайта — это важный способ взаимодействия сайта с поисковой системой.

Какие преимущества получит веб-сайт от файла Sitemap?

Использование файла карты сайта имеет множество преимуществ. Он не только дает карту для навигации по вашему сайту, но и обеспечивает лучшую видимость для поисковых систем. Файл карты сайта дает возможность связать поисковые системы с любыми изменениями, внесенными на страницы вашего сайта, сразу после того, как они произошли. Вы не можете ожидать, что поисковые системы будут спешить учитывать изменения на ваших страницах, но они, несомненно, изменят внесенные вами изменения быстрее, чем когда на веб-сайте нет файла карты сайта.

При наличии ссылки на карту сайта на веб-сайт и ее отправке поисковым системам вы будете меньше полагаться на внешние ссылки, когда поисковые системы будут привлекать посетителей на ваш сайт. Когда у вас есть файл карты сайта и вы отправляете его поисковым системам, вы меньше полагаетесь на внешние ссылки, которые приведут поисковые системы на ваш сайт.

Файл карты сайта даже помогает исправить плохие внутренние ссылки. Например, если есть случайно неработающие ссылки или страницы-сироты, которые недоступны. Следует отметить, что неразумно полагаться на карту сайта, а не просто исправлять свои ошибки. Вы должны помнить, что использование файла карты сайта не гарантирует, что все URL-адреса в вашей карте сайта будут просканированы и проиндексированы, поскольку процессы поисковых систем полагаются на сложные алгоритмы для планирования сканирования. Однако в большинстве случаев ваш веб-сайт выиграет от наличия файла карты сайта, и вы никогда не будете оштрафованы за его наличие.

Авторство: Артуро С.

 

Кодирование | Программирование Веб-дизайн и разработка Кодирование Программирование Структура сайта Карта сайта Веб-разработка Опубликовано 2 декабря 2019 г.

Слушайте подкаст нашего генерального директора «The Daily Drive», чтобы оставаться в курсе дел и получать ценную информацию от ведущих бизнес-лидеров. – Готовы ли вы масштабировать свое агентство с помощью качественного SEO-специалиста, контекстной рекламы или провайдера социальных сетей? Если да, запланируйте встречу здесь –

Как создать карту сайта и отправить ее в Google

Подпишитесь на наши информационные бюллетени и дайджесты, чтобы получать новости, статьи экспертов и советы по SEO

Введите правильный адрес электронной почты

Спасибо за подписку!

Чтение через 24 мин.

31 марта 2021 г.

Индексирование

Сканирование веб-сайта

Прогулка по мощеным улочкам может доставить удовольствие, но когда вам нужно добраться до определенного места, лучше найти его на карте и следовать подсказкам навигации. То же самое относится и к поисковым роботам — большую часть времени они просматривают ваш сайт, естественно переходя по ссылкам. Проблема в том, что поисковые роботы могут никогда не добраться до некоторых страниц таким образом: либо потому, что ваш веб-сайт слишком велик, либо потому, что на страницах нет ссылок, указывающих на них.

Вот почему существуют карты сайта. Чтобы убедиться, что они не пропустят ни одной важной страницы, поисковые роботы иногда сверяются с картой сайта — это помогает им обнаруживать области веб-сайта, которые они никогда раньше не посещали.

То, что мы называем картой сайта

Карта сайта — это файл со списком всех страниц веб-сайта, о которых должны знать как поисковые роботы, так и пользователи. Это похоже на оглавление книги, за исключением того, что разделы являются ссылками.

Существует 2 основных типа карт сайта: HTML и XML.

Карта сайта HTML — это веб-страница со списком ссылок. Обычно это ссылки на самые важные разделы и страницы сайта. Вот несколько хороших примеров карт сайта в формате HTML: DHL, Lufthansa, SmartFares.

Карта сайта в формате HTML предназначена в основном для людей, а не для роботов и помогает быстро перемещаться по основным разделам сайта.

XML-карта сайта — это XML-файл (например, sitemap.xml), расположенный в корневой папке веб-сайта, в котором указаны ссылки, даты изменения страниц и другие параметры, важные для поисковых систем. Поскольку все параметры помечены специальными тегами, XML-файлы очень похожи на HTML-код веб-сайта:

Карта сайта в формате XML может выглядеть непривлекательно, но в ней есть большая ценность для SEO. Создание карты сайта помогает поисковым роботам получить целостное представление о вашем веб-сайте, лучше понять его структуру, быстро находить новый контент и многое другое.

В этом посте мы рассмотрим список преимуществ, которые карта сайта XML может принести веб-сайту, поговорим о различных типах карты сайта и, наконец, выясним, как создать правильную карту сайта. Наконец, в конце этого поста вас ждет бонус — инфографика, показывающая все передовые методы создания карты сайта.

Каковы преимущества карты сайта в формате XML?

Рекомендуется создать карту сайта, если у вас огромный веб-сайт или вы только начинаете новый проект. В первом случае карта сайта в формате XML поможет Google обнаружить глубоко укоренившийся контент. Между тем, с совершенно новым веб-сайтом, благодаря карте сайта, вам не придется ждать целую вечность, пока Google узнает, что ваш контент вообще существует. Но что, если ваш сайт не большой и не новый? Стоит ли вам по-прежнему рассматривать XML-карту сайта?

Согласно Google, вы всегда можете получить выгоду от добавления карты сайта на свой веб-сайт и никогда не будете наказаны за ее наличие. Кроме того, создание карты сайта может принести вам множество других ощутимых преимуществ:

• XML-карты сайта помогают поисковым системам понять, какие страницы вы хотели бы проиндексировать — добавляя URL-адрес в файл, вы сигнализируете Google, что страница является качественной. Имейте в виду, что Google может также проигнорировать ваш запрос — чтобы проиндексировать страницу, она должна соответствовать стандартам качества Google.
• XML-карта сайта может помочь вашему веб-сайту восстановиться, если его веб-страницы пострадали от обновления Google Panda (особенно полезно для крупных веб-сайтов).
• Файлы Sitemap помогают управлять индексацией определенных страниц в Google Search Console.
• Вы можете сообщить Google о региональных версиях своих страниц, указав их в карте сайта вместе со специальными атрибутами hreflang. Это не единственный способ правильно организовать многоязычный сайт, но некоторые веб-мастера считают его самым простым.
• XML-карта сайта является вашим юридическим помощником в подтверждении ваших прав на контент, поскольку в ней упоминается время публикации и обновления страницы.

Сколько карт сайта вам нужно?

Перед созданием карты сайта необходимо понять, сколько карт сайта вам нужно. Обычно достаточно одного. Тем не менее, есть ряд случаев, когда вам нужно создать несколько файлов.

Разделение больших карт сайта

Поисковые системы будут сканировать только карту сайта XML с максимальным размером файла 50 МБ в несжатом виде и содержит не более 50 000 URL-адресов . Google наложил такие ограничения не просто так — они гарантируют, что ваш веб-сервер не будет перегружен при обслуживании очень больших файлов.

Также рекомендуется сжимать файлы карты сайта с помощью такого инструмента, как gzip для экономии полосы пропускания. Когда карта сайта сжимается, к имени файла добавляется расширение .gz, например. карта сайта.xml.gz.

Итак, если у вас огромный сайт и, соответственно, огромный файл карты сайта, вам придется разбить его на несколько более мелких. В противном случае вы получите сообщение об ошибке размера файла Sitemap при отправке XML-карты сайта в консоль поиска Google.

Несколько карт сайта для разных разделов веб-сайта

Для веб-сайтов электронной коммерции также рекомендуется распределять страницы веб-сайта, принадлежащие к разным категориям, по нескольким картам сайта. Например, вы можете 90 166 разделить страницы продуктов, страницы категорий, сообщения в блогах, 90 167 и т. д. Это позволяет веб-мастерам заметить, есть ли у некоторых типов страниц проблемы с индексацией. Кроме того, поскольку страницы продуктов обновляются чаще, чем другие, с несколькими картами сайта вам нужно будет обновить только одну карту сайта продукта, а не обновлять карту сайта для всего веб-сайта.

Наконец, использование небольших XML-файлов карты сайта для разных разделов веб-сайта также хорошо с технической точки зрения. Размер вашего файла не может превышать 50 МБ, а количество URL-адресов в списке может быть менее 50 000, но чем больше страниц вы перечисляете, тем больше ненужной нагрузки они создают для вашего веб-сервера. Это может привести к усеченным ответам или тайм-аутам, что может привести к ошибкам сканирования. Таким образом, используя карты сайта меньшего размера, вы можете предотвратить такие проблемы.

Файлы Sitemap для видео, изображений и новостей

В дополнение к файлам Sitemap, содержащим URL-адреса веб-сайтов, Google позволяет создавать собственные файлы Sitemap для ваших изображений и видеоконтента, а также файлы Sitemap для новостей.

Последнее, очевидно, пригодится для новостных веб-сайтов — поскольку такие веб-сайты обрабатывают срочный контент, для Google крайне важно как можно быстрее находить новостные статьи. Чтобы пользователи получали актуальную информацию, Google разрешает включать только свежих статей в карту сайта новостей — они должны быть опубликованы в течение последних двух дней . Кроме того, вы можете включить не более 1000 статей в одну карту сайта новостей, но поскольку вы должны удалить из нее старый контент, это не имеет большого значения. Последнее и, наверное, самое важное условие: ваш сайт должен быть зарегистрирован в Новостях Google.

Говоря о картах сайта Image и Video , они будут очень полезны для веб-сайтов, которые в значительной степени зависят от медиаконтента, например. стоковые фотографии, библиотеки или потоковые платформы. Карты сайта для изображений увеличивают шансы веб-сайта на попадание в поиск изображений, а карта сайта для видео помогает Google ранжировать ваш видеоконтент.

Здесь вы можете предоставить Google дополнительную информацию о вашем носителе — например, вы можете указать название изображения и подпись. Для видео вы можете указать его продолжительность, рейтинг, семейный просмотр и многое другое.

Тем не менее, большинству веб-сайтов на самом деле не нужны отдельные файлы Sitemap для изображений и видео — чтобы Google мог обнаружить ваши важные изображения и видео, вы можете просто добавить их URL-адреса в свои обычные файлы Sitemap.

Какие страницы включить в карту сайта?

Эта часть нашего экспресс-курса по составлению карты сайта чрезвычайно важна, поэтому читайте внимательно!

Одно из распространенных заблуждений заключается в том, что для того, чтобы помочь Google сканировать и индексировать ваш сайт, вам необходимо включить все страницы вашего сайта в XML-карту сайта. На самом деле все наоборот. Google не нужно видеть все мусорные страницы, которые могут быть на вашем сайте — вам нужно только сообщить ему о высококачественных сочных страницах, которые, по вашему мнению, заслуживают высокого рейтинга. Включая некоторые страницы в карту сайта XML, вы просите Google сосредоточиться на них. Он может следовать или не следовать вашему совету, но это уже другая история.

Как показывает опыт, все страницы, которые вы добавляете в список, должны быть 200 OK страницами, наполненными высококачественным контентом, полезным для пользователей. Это означает, что вы должны исключить все страницы, которые не соответствуют этим критериям, принимая во внимание некоторые исключения.

Страницы 4XX в карте сайта XML

Коды ответов 4XX означают, что запрашиваемая страница не существует или доступ к ней ограничен, поэтому в большинстве случаев такие страницы не следует включать в карту сайта.

4xx, которого не должно быть на вашей карте сайта

404 являются удаленными страницами, поэтому, если такие страницы были удалены намеренно, держите их подальше от вашей XML-карты сайта. То же самое относится и к страницам с ошибкой 404, которые были удалены, но все еще возвращают 200-уровневый код успеха. Обычно это страницы с небольшим содержанием или без него, перенаправления на домашнюю страницу или страницы с ошибкой 404, заблокированные robots.txt. Мягкие ошибки 404, как правило, бесполезны для вашего SEO, поэтому потратьте некоторое время на исправление этой проблемы.

Не забудьте создать пользовательскую страницу 404, чтобы обеспечить удобство работы пользователей.

Другой популярный код состояния 4xx — 401 — это означает, что Google «не авторизован» для доступа к странице. Обычно такие страницы предназначены для авторизованных пользователей, и вы не хотите, чтобы Google их индексировал. Поэтому вам не нужны эти страницы в вашей карте сайта.

4xx вам может понадобиться в вашей карте сайта

В некоторых случаях вы можете действительно захотеть, чтобы Google просканировал и проиндексировал страницу 401. Например, бывает, что вы защитили паролем разрабатываемую страницу, а затем забыли снять ограничения, когда страница была запущена. Также иногда веб-мастера ограничивают доступ к определенным страницам, чтобы защитить их от вредоносных ботов или спамеров. В таких случаях вам необходимо включить поиск DNS, чтобы убедиться, что поисковый робот, обращающийся к вашей странице, является роботом Googlebot.

Страницы 3XX в XML-карте сайта

3xx являются страницами перенаправления, и вы можете или не хотите, чтобы они были на карте сайта вашего веб-сайта, в зависимости от типа перенаправления.

3xx, которого не должно быть на вашей карте сайта

Код ответа 301 означает, что страница была постоянно перенаправлена ​​на новый адрес, а исходная страница больше не существует. Поэтому таких страниц не должно быть в вашей XML-карте сайта. Единственное, что нужно помнить в этом случае, это включить целевой URL в карту сайта.

3xx вам может понадобиться в вашей карте сайта

302 страницы — это временно перенаправленные страницы. Например, такой редирект часто используют для A/B-тестирования — это когда часть пользователей отправляют на тест URL. В этом случае вы хотите, чтобы исходная страница была проиндексирована, поэтому, очевидно, она должна оставаться в вашей XML-карте сайта. С другой стороны, тестовая страница не должна индексироваться, потому что она будет почти дубликатом исходной страницы. Итак, вам нужно пометить исходный URL-адрес как канонический и держать тестовый URL-адрес подальше от вашей карты сайта, как и все неканонические страницы.

Страницы 5XX в карте сайта XML

Коды состояния 5XX означают, что на стороне вашего веб-сервера возникла проблема. Наиболее распространенным из кодов 5xx является ошибка 503 Service Unavailable, которая говорит о том, что сервер временно недоступен. Это может произойти из-за того, что веб-сервер находился на обслуживании или был перегружен.

Если ошибка была обнаружена только один раз, вам не о чем беспокоиться, так как, вероятно, это произошло из-за планового обслуживания веб-сервера. Если, с другой стороны, проблема не устранена, вам придется выяснить, что ее вызывает, и решить проблему как можно скорее, иначе Google может решить, что ваш сайт плохо поддерживается.

Со страницами 5xx речь идет не о том, добавлять их в карту сайта или нет, а об исправлении проблемы, чтобы убедиться, что страницы имеют код ответа 200 OK.

Неиндексируемые страницы

На каждом веб-сайте есть ряд служебных страниц, которые важны для пользователей, но не для поисковых систем — страницы входа, страницы, доступные при входе в систему, страницы сортировки и фильтрации и т. д. Обычной практикой является блокировка такие страницы с файлом robots.txt, чтобы Google не мог получить к ним доступ. Или можно разрешить Google сканировать страницу, но ограничить ее индексирование специальными директивами ( noindex или все ).

Естественно, все эти страницы не должны быть в вашей XML-карте сайта. Если страница не может быть проиндексирована, но присутствует в вашей карте сайта, это не только сбивает с толку Google, но и тратит впустую ваш краулинговый бюджет. То же самое касается страниц, заблокированных robots.txt — Google не сможет их просканировать.

Если вы хотите, чтобы Google деиндексировал страницу и применил к ней тег noindex, не добавляйте эту страницу в файл robots.txt. Вы также можете оставить его на своей карте сайта до того, как страница выпадет из индекса.

Также рекомендуется провести аудит вашего сайта, чтобы убедиться, что директива noindex и файл robots.txt используются правильно, и что вы случайно не заблокировали не те страницы.

Вы можете легко найти все такие страницы с помощью инструмента аудита веб-сайта SE Ranking. После запуска аудита вам нужно будет перейти в раздел «Сканирование» отчета о проблемах.

Нажав на количество соответствующих страниц, вы увидите полный список URL-адресов, помеченных как noindex или заблокированных robots.txt, а также другие важные параметры, такие как количество внутренних ссылок, указывающих на страницу, все метаданные robots. теги и теги x-robots, а также заголовок страницы. Вы также сразу увидите, включена ли страница в настоящее время в вашу XML-карту сайта.

Если вы еще не являетесь пользователем SE Ranking, вы можете бесплатно протестировать платформу в рамках 14-дневной пробной версии.

Неканонические страницы

Канонический тег используется для обозначения того, какая из двух или более похожих страниц является главной. Предполагается, что Google индексирует и ранжирует предпочтительную страницу и игнорирует дубликаты или почти дубликаты. Похожие страницы, отмеченные каноническими тегами, могут иметь совершенно разные URL-адреса или похожие URL-адреса (например, URL-адреса, сгенерированные в процессе сортировки и фильтрации, URL-адреса с тегами UTM и параметрами отслеживания).

Иногда канонические теги также используются, чтобы сделать страницу доступной как через HTTP, так и через HTTPS, а также как с префиксом www, так и без него. В этом случае основная версия страницы (например, вариант HTTPS без www) помечается rel=canonical. Тем не менее, большинство веб-сайтов предпочитают в этом случае перенаправления на стороне сервера, поскольку они более просты и гарантируют, что будет проиндексирован только предпочтительный вариант веб-сайта.

Канонические теги работают иначе, чем перенаправление, они больше похожи на рекомендации, чем на директивы, и Google может следовать им или игнорировать их. Вот почему наличие неканонических URL-адресов в карте сайта действительно сбивает с толку поисковые системы. Если страница не помечена как каноническая, она сообщает Google, что вы не хотите, чтобы она индексировалась. В то же время вы добавляете страницу в свою XML-карту сайта, побуждая Google проиндексировать страницу. В результате Google может проиндексировать все версии страниц, и вам придется иметь дело с каннибализацией ключевых слов. Или поисковая система может выбрать индексацию неканонического URL-адреса, что вам тоже не нужно.

Страницы, которые следует держать подальше от вашей XML-карты сайта

Теперь давайте быстро суммируем, какие страницы вы не должны включать в свою карту сайта:

• удаленные 404 и программные 404 страницы, защищенные паролем 401 страница
• постоянно перенаправленные 301 страница
• неиндексируемые и неканонические страницы — в эту категорию входят страницы входа в систему и страницы разбиения на страницы, страницы фильтрации и сортировки, страницы результатов поиска по сайту, URL-адреса на основе параметров или идентификаторов сеансов и т. д.

Включение только высококачественных страниц на карту сайта, вы повышаете общее качество сайта в глазах Google, что должно положительно сказаться на вашем рейтинге.

XML-теги Sitemap и их настройки

Я уже упоминал, что наряду с URL-адресами веб-сайтов XML-карта сайта содержит различные теги, которые определяют параметры страницы. Вот выдержка из XML-карты сайта нашего блога, чтобы вы могли увидеть, как организованы теги.

Теперь давайте рассмотрим каждый из них, чтобы вы поняли, для какой цели служат теги и как их правильно использовать.

• — это обязательный элемент, который инкапсулирует карту сайта и указывает, какая версия стандарта протокола XML Sitemap используется (через атрибут xmlns). Стандарт протокола также называется пространством имен 9.0127
• — еще один обязательный элемент, который отмечает блок со всей информацией, относящейся к одному URL-адресу.
• — последний обязательный элемент, указывающий URL-адрес самой страницы. Все перечисленные URL-адреса должны быть полными — содержать протокол сайта (HTTP или HTTPS), а также префикс www, если он включен в ваше доменное имя
• определяет, как часто страница может изменяться. Вы можете установить этот параметр как всегда, ежечасно, ежедневно, еженедельно, ежемесячно, ежегодно или никогда
• устанавливает приоритет сканирования страницы (допустимые значения от 0,0 до 1,0)
• указывает время последнего обновления содержимого страницы

Убедитесь, что вы используете тот же синтаксис при указании URL. Кроме того, файлы карты сайта должны быть в кодировке UTF-8.

В прошлом Google обращался к тегам и , чтобы определить, какие страницы должны иметь приоритет при сканировании веб-сайта. Поэтому веб-мастерам приходилось тщательно настраивать эти параметры для каждой страницы. Это не так уже много лет. Джон Мюллер и Гэри Иллиес подтвердили, что Google теперь игнорирует теги , а Гэри Иллис называет тег «мешком шума».

То же самое касается тега — Джон Мюллер заявил, что он также не принимается во внимание.

Единственным необязательным тегом, который все еще считается, является — Google может использовать его, если тег достаточно точен. Под точным Гэри Иллиес, вероятно, подразумевает, что тег следует обновлять только тогда, когда в контент вносятся существенные изменения. Обновление тега, чтобы заставить Google думать, что ваш контент свежий, не поможет.

При правильном использовании помогает Google понять, когда контент обновлялся в последний раз и нужно ли его повторно сканировать. Кроме того, тег помогает поисковой системе выяснить, кто был первоначальным издателем.

Статические и динамические карты сайта

К настоящему моменту вам может быть интересно, сколько времени вам придется тратить на обновление карты сайта каждый раз, когда вы публикуете новую страницу или обновляете существующую. Поддержание вашей XML-карты сайта в актуальном состоянии может оказаться непростой задачей, если вы решите создать статическую карту сайта . Хорошей новостью является то, что вы можете легко избежать всех хлопот, создав вместо этого динамическую карту сайта .

Этот тип карты сайта обновляется автоматически в тот момент, когда вы вносите какие-либо изменения на свой сайт. Например, всякий раз, когда вы удаляете страницу, и она становится 404, страница будет удалена из карты сайта. Если вы пометите страницу как noindex или добавите ее в файл robots.txt, она также будет удалена из карты сайта. С другой стороны, всякий раз, когда вы создаете новую страницу и отмечаете ее как каноническую, она сразу же добавляется в вашу карту сайта. Это действительно так просто — все, что вам нужно, это правильно настроить инструмент, который будет генерировать ваши динамические карты сайта.

Как создать XML-карту сайта?

Наконец, мы подошли к самой практической части нашего поста — давайте разберемся, как создать карту сайта.

Самый простой способ — создать карту сайта в формате XML, созданную вашей CMS. Поскольку CMS содержит информацию обо всех страницах веб-сайта и всех внесенных вами изменениях, она может передавать все данные в динамическую карту сайта .

Некоторые CMS имеют возможность создания карты сайта с самого начала — это относится к Magento, Shopify, Wix и Squarespace. С другими популярными CMS, такими как WordPress, Joomla, Drupal или OpenCart, вам придется использовать специальные плагины.

WordPress	Yoast SEO, Google XML Sitemaps, WordPress XML Sitemap Plugin, All-in-One SEO Pack
Джумла	OSMap, JSitemap, кэш карты сайта
Друпал	Простая карта сайта XML
OpenCart	Расширение All In One SEO, XML Sitemap, XML Sitemap Generator от Cuispi

В приведенной выше таблице я перечислил некоторые популярные плагины карты сайта для разных CMS. Выбирая один из них для своего сайта, обратите внимание на набор функций плагина: оптимизированные для SEO решения позволят вам исключить страницы с ошибкой 404, перенаправленные, неиндексированные, канонизированные и другие неподходящие страницы из вашей XML-карты сайта. Кроме того, не забывайте о возможностях настройки — вы хотите иметь возможность легко изменять список страниц, включенных в файл.

Если ваш веб-сайт не основан на CMS, вы можете использовать один из специальных инструментов для создания карты сайта. На рынке доступно множество как бесплатных, так и платных опций, поэтому еще раз обязательно внимательно изучите возможности инструмента. Дело в том, что, хотя у вас должна быть возможность создать настраиваемую динамическую карту сайта с помощью одного из платных генераторов, большинство бесплатных решений слишком просты и лишены некоторых важных функций. Таким образом, вы можете получить статическую карту сайта, в которой представлены все страницы вашего сайта, включая канонизированные, неиндексированные и перенаправленные URL-адреса.

Поэтому, если использование одного из платных решений и функций CMS не вариант, я советую вам создать карту сайта с помощью инструмента аудита веб-сайта SE Ranking. Всего за несколько минут инструмент создаст для вас статическую карту сайта на основе последнего сканирования веб-сайта. По умолчанию инструмент включает только 200 страниц в XML-карту сайта, опуская 4xx, 3xx, noindex и другие страницы, которые вы обычно не хотите включать.

При создании карты сайта n XML с помощью аудита веб-сайта помните об ограничениях сканирования — количество страниц на вашем веб-сайте должно превышать установленные ограничения сканирования. В противном случае на карте сайта вашего сайта могут отсутствовать некоторые важные страницы.

Наконец, если ни одно из готовых решений не подходит для вашего веб-сайта, вы можете создать пользовательскую карту сайта в формате XML. Конечно, это требует некоторых навыков кодирования, поэтому вам понадобится разработчик, который создаст для вас правильную динамическую карту сайта.

Как отправить карту сайта в Google

В зависимости от инструмента, который вы использовали для создания карты сайта, вам может потребоваться вручную добавить ее на свой сайт или она уже может быть там — это относится к динамическим спискам, созданным с помощью CMS. Обычно, всякий раз, когда XML-карта сайта автоматически добавляется на веб-сайт, она находится на 9-м месте.0248 yoursite.com/sitemap.xml.

Если вы использовали один из инструментов для создания XML-файла карты сайта, вам придется вручную загрузить его в корневую папку вашего веб-сайта. Вы можете сделать это с помощью cPanel или через FTP-клиент, например, Total Commander или FileZilla. Хорошей идеей было бы проверить действительность карты сайта перед загрузкой, особенно если файл был создан вручную — используйте один из бесплатных инструментов, подобных этому, чтобы убедиться, что ваша карта сайта XML работает так, как вы задумали.

Также рекомендуется добавить ссылку на вашу карту сайта в файл Robots. txt — вы можете найти ее в корневом каталоге вашего веб-сервера.

Как только действующая карта сайта появится на вашем веб-сайте, вы можете отправить ее в Google Search Console (GSC). Для этого перейдите к отчету Sitemaps , нажмите Добавить новую карту сайта , введите URL-адрес своей карты сайта и нажмите кнопку Отправить .

Вскоре вы увидите, смог ли Google правильно обработать вашу карту сайта в столбце Статус — если все прошло хорошо, статус будет Успех . Если карта сайта была проанализирована, но Google обнаружил некоторые ошибки, статус будет Имеет ошибки . Наконец, если Google не сможет просканировать вашу карту сайта, вы получите статус Не удалось получить .

Обязательно исправьте все ошибки карты сайта, чтобы статус вашей карты сайта был Успех .

Я составил отдельное руководство с описанием распространенных ошибок карты сайта, чтобы помочь вам в этом вопросе.

В той же таблице вашего отчета Sitemap вы увидите количество обнаруженных URL-адресов — в идеале оно должно равняться общему количеству URL-адресов, добавленных в вашу карту сайта.

Наконец, щелкнув значок рядом с количеством обнаруженных URL-адресов, вы получите отчет Покрытие индекса , который поможет вам лучше понять, как Google сканирует и индексирует ваш сайт. Изучение отчета поможет вам удалить некоторые некачественные страницы из XML-карты сайта и добавить страницы, которые вы могли пропустить.

Отправка нескольких файлов карты сайта в Google

Если вы решили, что вам нужно несколько файлов карты сайта, вы все равно можете отправить их все в Google сразу. Для этого вам нужно будет перечислить все ваши карты сайта в одном файле.

Файл называется индексом карты сайта и помогает Google легко находить все ваши карты сайта. Вы можете включить до 50 000 URL-адресов в один файл, а другим требованием является размер файла. Как вы уже догадались, он не должен превышать 50 МБ.

Получив файл, отправьте его в Google так же, как отправляете обычный файл карты сайта.

В заключение

Поздравляем! Вы прошли наш ускоренный курс по SEO-сопоставлению сайта. Мы также поместили все лучшие практики использования карты сайта в инфографику, которую вы можете найти ниже. Следуйте этим рекомендациям, и у вас не возникнет проблем с тем, что Google найдет и просканирует все качественные страницы вашего сайта. И если вы хотите получить максимальную отдачу от вашей XML-карты сайта, взгляните на это руководство по полировке вашей карты сайта.

Бонус: Инфографика по созданию правильной карты сайта

Индексирование

Сканирование веб-сайта

9041 просмотров

XML Sitemap Examples & SEO Best Practices

В ЭТОЙ СТАТЬЕ:

нужен один. Некоторые SEO-специалисты скажут вам, что Google достаточно умен, чтобы раскрыть основную структуру вашего сайта, и ему не нужны XML-файлы карты сайта, чтобы понять, как сканировать ваш сайт. Другие будут настаивать на том, что это важная часть технического SEO.

Фактически, сам Google говорит, что большинству веб-сайтов будет полезно иметь карту сайта, и что она «может улучшить сканирование больших или более сложных сайтов или более специализированных файлов».

Нужна помощь в SEO?

Давайте поговорим о том, как наши SEO-услуги могут помочь вашему бизнесу привлечь внимание, которого он заслуживает.

В конечном счете, карта сайта облегчает Google и другим поисковым системам сканирование и индексацию вашего сайта, увеличивая ваши шансы на появление в результатах поиска. Даже если Google может самостоятельно обнаруживать ваши веб-страницы, почему бы не упростить работу роботов Googlebot, максимально увеличить бюджет сканирования и убедиться, что Google находит нужные вам страницы?

В этой статье я объясню, что такое карты сайта XML и HTML и почему вы должны их использовать. Я также проанализирую образец XML-карты сайта, чтобы вы могли точно увидеть, что это такое, и поделиться передовыми методами работы с картой сайта, которые вы можете реализовать прямо сейчас.

Что такое карта сайта в формате XML?

XML-карта сайта — это текстовый файл, содержащий индексируемые URL-адреса вашего веб-сайта. Он представлен на расширяемом языке разметки, более известном как XML. Формат XML удобен для использования в Интернете и легко читается поисковыми роботами.

Зачем моему веб-сайту нужна XML-карта сайта?

Основная функция карты сайта — помочь поисковым системам найти релевантные страницы на вашем веб-сайте и проиндексировать их. Они также помогают роботам-сканерам понять, как устроен ваш сайт.

Хотя включение страниц в XML-карту сайта не гарантирует, что Google проиндексирует их, роботу Google будет легче их находить и сканировать. Если у вас очень большой веб-сайт или у вас нет стратегии внутренних ссылок, ваша XML-карта сайта делает доступными для обнаружения все ваши страницы, включая страницы-сироты, на которые нет ссылок с других страниц вашего сайта..

Теперь, когда вы понимаете, почему важно иметь карту сайта, давайте рассмотрим три примера карт сайта, которые вы можете добавить на свой веб-сайт.

Пример карты сайта XML

Давайте проанализируем пример карты сайта XML, чтобы увидеть, как она выглядит в реальной жизни.

Вот типичный пример файла sitemap.xml с нашего сайта:

https://victoriousseo.com/sitemap_index.xml

Он предназначен для нашего сайта WordPress и динамически генерируется нашим плагином Yoast SEO.

Не все XML-карты сайта выглядят так. Наша карта сайта отформатирована так, чтобы ее могли читать люди, но иногда карта сайта в формате XML выглядит как необработанный HTML. В конце концов, основная цель карт сайта в формате XML не в том, чтобы пользователи их читали, а в том, чтобы помочь поисковым системам понять, о чем ваш сайт.

Вот еще один пример динамического файла sitemap.xml для сайта Victorious:

https://victoriousseo.com/sitemap_index.xml

Это особый тип карты сайта, называемый индексом карты сайта. Он содержит ссылки на несколько карт сайта для нашего веб-сайта. Нажав на https://victoriousseo.com/post-sitemap.xml, вы перейдете к карте сайта нашего блога, а другие ссылки переведут вас в другие подкаталоги.

Пример карты сайта в формате HTML

Другой пример карты сайта Google — это карта сайта в формате HTML, также известная как визуальная карта сайта. Как и в образце XML-карты сайта, в HTML-карте сайта перечислены все страницы, которые вы хотите проиндексировать.

HTML-карты сайта многоцелевые. Обычно они выглядят как обычная страница вашего сайта и включают меню навигации, нижний колонтитул и все остальное, что вы можете ожидать увидеть на странице. Хотя они более удобны для пользователя, чем XML-карты сайта, и предназначены для чтения людьми, они по-прежнему полезны для роботов поисковых систем.

Если вы хотите увидеть пример карты сайта в формате HTML, посмотрите наши:

https://victoriousseo.com/site-map/

Если у вас есть сайт WordPress, вы можете использовать плагин для создания HTML карта сайта.

Рекомендации по созданию карты сайта

Теперь, когда я поделился несколькими примерами карты сайта, давайте рассмотрим рекомендации, которым следует следовать при создании карты сайта. Эти рекомендации применимы как к XML-, так и к HTML-картам сайта.

1. Используйте динамическую карту сайта

Наличие автоматически сгенерированной карты сайта имеет решающее значение для крупных веб-сайтов. Всякий раз, когда вы добавляете, обновляете или удаляете страницу, ваша динамическая карта сайта будет автоматически обновляться.

2. Перечислите все важные страницы

Убедитесь, что ваши карты сайта содержат все страницы, которые вы хотите проиндексировать. В противном случае вы можете обнаружить, что ваши новые страницы индексируются не так быстро.

3. Сделайте вашу карту сайта доступной

Ваша карта сайта должна быть расположена именно там, где Google ожидает ее найти. Если поисковые системы получают ошибку 404 при попытке доступа к вашей карте сайта, им может потребоваться больше времени для индексации вашего сайта и понимания его структуры.

4. Исключите неиндексированные URL-адреса из вашей карты сайта

Файлы Sitemap помогают вашим посетителям и поисковым системам правильно перемещаться по вашему веб-сайту и сканировать его. Добавление неиндексируемых страниц в вашу карту сайта запутает поисковые системы и может негативно сказаться на вашем краулинговом бюджете.

Обычно я рекомендую исключать архивные страницы из XML-карты сайта, а также не индексировать их (например, страницы категорий блогов, страницы тегов, страницы авторов, страницы архива дат и т. д.). Только канонические страницы должны быть включены в вашу карту сайта.

5. Не включайте перенаправления

Ваши XML-файлы должны содержать только опубликованные URL-адреса. Если вы удаляете URL-адрес или используете перенаправление 301, обязательно удалите этот URL-адрес из файла карты сайта XML. Динамически созданная карта сайта автоматически сделает это за вас.

6. Включите карту сайта в файл robots.txt

Также рекомендуется хранить карту сайта в формате XML в файле robots. txt вашего сайта. В вашем файле robots.txt указано, какие каталоги поисковые роботы должны и не должны индексировать. Предоставление вашей XML-карты сайта в том же файле дает понять, что вы хотите, чтобы Google и другие поисковые системы имели к ней доступ и индексировали эти страницы.

7. Проверьте покрытие индекса в Google Search Console

Если у вас есть карта сайта в хорошем состоянии, вы можете дважды проверить, индексирует ли Google ожидаемое количество страниц.

Перейдите в «Покрытие» на левой боковой панели Google Search Console, чтобы увидеть, какие страницы проиндексированы, а какие исключены.

8. Выполняйте регулярное обслуживание карты сайта

Регулярно проверяйте свою карту сайта в формате XML и обновляйте ее по мере необходимости. Убедитесь, что нет ошибок, которые могут помешать поисковым роботам получить к нему доступ.

9. Загрузите карту сайта в Google Search Console

Если вы вносите значительные изменения в карту сайта, загрузите новую карту сайта в Google Search Console.

Как создать карту сайта

Если вы хотите создать карту сайта с нуля, используйте текстовый редактор, например Блокнот, который позволяет сохранить документ в виде файла XML. Вам нужно будет использовать схему протокола карты сайта, которую вы можете найти на Sitemaps.org.

Это может занять много времени, особенно если у вас большой веб-сайт. Кроме того, вам нужно будет вручную обновлять карту сайта всякий раз, когда вы добавляете новые страницы.

Вместо того, чтобы использовать шаблон карты сайта или создавать ее с нуля, используйте такой инструмент, как Yoast, который создает и обновляет динамическую карту сайта. Таким образом, вы уменьшите вероятность ошибок и сможете легче поддерживать свои карты сайта.

Когда у вас есть карта сайта вашего веб-сайта, отправьте URL-адрес в Google Search Console. Хотя Google в конечном итоге найдет его самостоятельно, его отправка через GSC ускорит процесс обнаружения.

Узнайте изнутри, как мы делаем SEO

XML-карта сайта — это лишь один из компонентов хорошего SEO. Загрузите наш контрольный список SEO, чтобы узнать, как мы помогаем нашим клиентам привлекать значимый органический трафик, который конвертируется в итоговые результаты.

Контрольный список SEO и инструменты планирования

Готовы ли вы изменить направление SEO? Получите интерактивный контрольный список и инструменты планирования и приступайте к работе!

НАЧНИТЕ РЕЙТИНГ СЕГОДНЯ

Получите бесплатную консультацию по SEO

Имя *


Фамилия *


Электронная почта компании *


Сколько вы хотите инвестировать в SEO? *
— Пожалуйста, выберите — Я еще не уверен / Мне нужна помощь с этим $2,999 — 5,000 / месяц $5,000 — 10,000 / месяц $10,000 — 20,000 / месяц $20,000+ / месяц

Создание XML-файла Sitemap для вашего веб-сайта

Файлы Sitemap позволяют веб-мастеру информировать поисковые системы об URL-адресах на веб-сайте, доступных для сканирования. Карта сайта — это XML-файл, в котором перечислены URL-адреса веб-сайта. Это позволяет веб-мастерам включать дополнительную информацию о каждом URL-адресе, например, когда он последний раз обновлялся, как часто меняется содержимое и приоритет по отношению к другим URL-адресам на сайте.

Позволяет поисковым системам сканировать сайт умнее . Карты сайта особенно полезны на веб-сайтах, где некоторые области веб-сайта недоступны через интерфейс браузера. Поскольку поисковые системы, такие как Google, Bing и Yahoo, используют карты сайта, это помогает индексировать ваши веб-страницы в их системах. Файлы Sitemap используются в качестве дополнения и не заменяют существующие механизмы сканирования, которые поисковые системы уже используют для обнаружения URL-адресов.

Имейте в виду, , что использование карт сайта не гарантирует включения веб-страниц в поисковые индексы и не влияет на ранжирование страниц в результатах поиска. Если вы отправляете свои карты сайта в несколько поисковых систем, вы заметите, что ваши страницы не индексируются одинаково. Опять же, хотя карты сайта полезны, они не гарантирует каких-либо конкретных результатов. Как правило, они повышают ваши шансы на индексацию ваших страниц.

Формат XML-файла Sitemap

Ниже приведен пример форматирования XML-файла Sitemap.

 

    <ссылка>
        https://www.itgeared.com/articles/1229-how-to-create-a-sitemap-xml-file-for-your-website
        2012-01-26
        Ежемесячно
        <приоритет>1.0
    
 

Элементы карты сайта

Элемент	Описание
набор адресов	Элемент уровня документа для карты сайта. Остальная часть документа должна содержаться в этом разделе.
адрес	Родительский элемент для каждой записи. Остальные элементы являются его дочерними элементами.
местонахождение	URL-адрес страницы, включая протокол (например, HTTP). Это значение должно быть меньше 2048 символов.
ластмод	Может отображать полную дату и время или, при желании, может быть просто датой в формате ГГГГ-ММ-ДД .
частота смены	Как часто страница может меняться; значения: всегда, ежечасно, ежедневно, еженедельно, ежемесячно, ежегодно, никогда. Всегда используется для обозначения документов, которые изменяются каждый раз, когда к ним обращаются. Никогда используется для обозначения файлов, которые больше не будут изменяться. Это используется только в качестве руководства для поисковых роботов и не используется для определения частоты индексации страниц.
приоритет	Приоритет этого URL-адреса относительно других URL-адресов на сайте. Это позволяет веб-мастерам предлагать сканерам, какие страницы считаются более важными. Допустимый диапазон — от 0,0 до 1,0, причем 1,0 является наиболее важным.

Файлы карты сайта имеют ограничение 50 000 URL-адресов и 10 МБ на файл карты сайта. Однако карты сайта можно сжать с помощью gzip. Поддерживается несколько файлов карты сайта, поэтому, если вы превысите ограничение, отправьте несколько файлов карты сайта.

Как и во всех файлах XML, любые значения данных, включая URL-адреса, должны использовать escape-коды для символов амперсанда ( и ), одинарной кавычки ( ' ), двойной кавычки ( " ), меньше чем ( < ) и больше ( > )

Создать файл карты сайта

У вас есть несколько вариантов создания собственного файла карты сайта Первый — приобрести программное обеспечение или использовать программное обеспечение, размещенное на вашем хостинге. Например, некоторые хостинг-провайдеры предоставляют вам возможность создать файл карты сайта, который вы можете бесплатно отправить в поисковые системы.0006

Другой метод заключается в использовании бесплатного/платного онлайн-сайта, предоставляющего эту услугу. Их много в Интернете. Быстрый поиск приведет к множеству веб-сайтов на выбор. Третий вариант — создать его вручную. Однако, если у вас много страниц, я бы не рекомендовал эту задачу.

Наконец, если у вас есть навыки программирования, вы можете создать файл карты сайта, используя asp.net и/или vb.net , который строит карту сайта на основе информации, хранящейся в таблице базы данных. Если у вас есть веб-приложение asp.net, создайте новую страницу asp.net и добавьте следующий код, указанный ниже, на страницу кода программной части.

При открытии страницы в браузере будет создан файл карты сайта. Конечно, вам не обязательно использовать веб-приложение asp. net. Вы можете изменить этот код и использовать его в автономном приложении vb.net.

 Импорт System.Xml
Частичный класс Threads_generateSiteMap
    Наследует System.Web.UI.Page
    Защищенная подпрограмма Page_Load (отправитель как объект, e как System.EventArgs) обрабатывает Me.Load
        Тусклый писатель как XmlTextWriter
        Пытаться
            Writer = New XmlTextWriter(Server.MapPath("sitemap.xml"), System.Text.Encoding.UTF8)
            писатель.WriteStartDocument(True)
            писатель.Форматирование = Форматирование.Отступ
            писатель.Отступ = 4
            Writer.WriteStartElement("urlset", "http://www.sitemaps.org/schemas/sitemap/0.9")
            Dim genSiteMap As System.Data.IDbConnection = New System.Data.SqlClient.SqlConnection_
             (ConfigurationManager.ConnectionStrings("ИмяБД").ConnectionString)
            Dim CommandgenSiteMap как новый System.Data.SqlClient.SqlCommand
            Dim ReadergenSiteMap как System.Data.IDataReader
            genSiteMap. Открыть()
            CommandgenSiteMap.Connection = genSiteMap
            CommandgenSiteMap.CommandText = "выбрать публикацию, URL из СТАТЕЙ, упорядочить по идентификатору потока"
            ReadergenSiteMap = CommandgenSiteMap.ExecuteReader
            Пока ReadergenSiteMap.Read()
                createNode("http://www.MYSITE.com/articles/" & ReadergenSiteMap.GetString(1),_
                 ReadergenSiteMap.GetDateTime(0).ToString("гггг-ММ-дд"), "Ежемесячно", "1.0", писатель)
            Конец пока
            ReadergenSiteMap.Close()
            genSiteMap.Закрыть()
            писатель.WriteEndElement()
            писатель.WriteEndDocument()
        Поймать экс как исключение
            Response.Write("Ошибка доступа к файлу XML")
        Окончательно
            писатель.Закрыть()
            Response.Write("Завершена обработка")
        Завершить попытку
    Конец сабвуфера
    Private Sub createNode (ByVal loc As String, ByVal lastmod As String, ByVal changefreq As String,_
     Приоритет ByVal как строка, запись ByVal как XmlTextWriter)
        писатель. WriteStartElement("url")
        писатель.WriteStartElement("loc")
        писатель.WriteString(loc)
        писатель.WriteEndElement()
        писатель.WriteStartElement("lastmod")
        писатель.WriteString(последний мод)
        писатель.WriteEndElement()
        писатель.WriteStartElement("changefreq")
        писатель.WriteString(changefreq)
        писатель.WriteEndElement()
        писатель.WriteStartElement("приоритет")
        писатель.WriteString(приоритет)
        писатель.WriteEndElement()
        писатель.WriteEndElement()
    Конец сабвуфера
Конец класса 

Файлы Sitemap — отличный способ ускорить процесс индексации. Пока у вас есть отличного контента и обратных ссылок , расположенных на сайтах с высоким рейтингом, поисковые системы в конечном итоге найдут ваш сайт и проиндексируют ваши страницы независимо от того, отправили ли вы карту сайта вместе с ними. Наличие карты сайта просто помогает их ботам-индексаторам быстрее находить ваши страницы.

XML карта сайта учебник: как создать файл sitemap.xml

Если вам небезразлично место вашего веб-проекта на страницах результатов поисковой системы (SERP), вы будете точно знать, сколько различных факторов влияет на борьбу за первые места . Например, список факторов, влияющих на ранжирование Google, включает более 200 критериев , некоторые из которых были официально подтверждены компанией, а некоторые были лишь приняты экспертами. Ни для кого не секрет, что поисковая оптимизация является стандартом для каждого веб-мастера, который хочет, чтобы их веб-сайт был видимым и доступным. Хотя такие факторы, как релевантные ключевые слова, высококачественный контент или высокий уровень мобильности, являются хорошо известными факторами, значение 90 166 хорошей карты сайта XML 90 167 часто недооценивается.

Содержание

1. Что такое XML-карта сайта?
2. Преимущества XML-карты сайта
3. Структура XML-карты сайта: наиболее важные компоненты
4. Пример XML-карты сайта
5. Создание и отправка XML-карты сайта – как это работает
   1. Как создавать XML-карты сайта с помощью XML-карты сайта. онлайн-генератор com
   2. Карты сайта Google XML: как создавать карты сайта XML с плагином WordPress

Что такое карта сайта XML?

XML-Sitemap (sitemap.xml) — это текстовый файл в формате XML (e x , длина m arkup l язык), который содержит список всех подстраниц веб-сайта в виде ссылок. Таким образом, его можно загрузить в Google Search Console или Bing Webmaster Tools, чтобы уведомить сканеры поисковых систем обо всех доступных и релевантных страницах для ускорения и оптимизации процесса индексации . Карты сайта XML должны соответствовать требованиям протокола карты сайта, который был принят в качестве стандарта Google, Yahoo и Microsoft в 2006 году с целью повышения качества результатов поиска в долгосрочной перспективе. Для этого требуется кодировка в UTF-8 (среди прочего) и язык разметки XML, а также использование кодов сущностей для определенных символов (например, «>» вместо «>»).

Преимущества XML-карты сайта

Даже если нет гарантии, что индексация Google и других поисковых систем будет оптимизирована благодаря использованию XML-карты сайта, каталоги со структурированными ссылками увеличивают вероятность этого. Удобное для сканера оглавление также может окупиться, особенно для сайтов с динамическим содержанием , которое подвержено постоянным изменениям. То же самое относится и к более крупным веб-проектам, которые имеют много подстраниц , но не имеют большой структуры обратных ссылок (пока). Подобные сайты, как правило, проверяются слишком нерегулярно, чтобы изменения были замечены, или даже не улавливаются радарами поисковых систем. Благодаря sitemap.xmp вы можете помочь им быть замеченными за счет более быстрой индексации ботов .

Дополнительное преимущество: XML-карты сайта могут отображать не только URL-адреса подстраниц, но и мультимедийные файлы, такие как видео или изображения. Для них есть даже дополнительных тегов , которые сообщают сканеру, какой тип контента используется (например, ,

Структура карты сайта XML: наиболее важные компоненты

Форматирование карты сайта XML работает с XML-тегами , как и любой документ на расширяемом языке разметки. В соответствии с текущим стандартом «Sitemaps 0.9» требуется три тега, чтобы он считался XML-картой сайта.

карта сайта.xml : обязательные теги
,	Каждый XML-файл карты сайта должен начинаться с открывающего закрывающего тега и заканчиваться тегом . Функция тега состоит в том, чтобы резюмировать файл и ссылаться на текущий стандарт протокола.
,	Открывающий и закрывающий теги подчинены отдельным записям URL и указывают начало и конец указанной подстраницы .
,	Тег идентифицирует отдельные страницы веб-проекта или их URL-адреса . URL-адрес всегда должен начинаться с протокола (например, «http») и заканчиваться закрывающей косой чертой (если этого требует веб-сервер). Также определена максимальная длина в 2,048 символа .

Помимо этих обязательных атрибутов XML, теги карты сайта , и предоставляют три дополнительных тега для указания отдельных записей URL. Однако степень поддержки этих необязательных тегов зависит от соответствующей поисковой системы. Например, поисковый робот Google в основном использует разметку для индексации, в то время как два других атрибута в значительной степени игнорируются или лишь минимально позволяют им входить в процесс сканирования.

. из можно указать последнюю модификацию страницы . Тег не зависит от заголовка «если изменено с тех пор», который веб-сервер может вернуть как часть ответа HTTP 304.

SITEMAP.xml : дополнительные метки
, 9
,	Тег предоставляет сканеру общую информацию о том, как часто страница должна обновляться (ежечасно, ежедневно, ежемесячно и т. д.). Документы, которые изменяются каждый раз, когда к ним обращаются, помечаются значением «всегда», а заархивированные URL-адреса помечаются «никогда».
<приоритет>,	Этот тег позволяет выразить приоритет URL-адреса во всем веб-проекте по шкале от 0,0 до 1,0 (приоритет по умолчанию: 0,5). Таким образом, поисковые роботы могут узнать о страницах, индексация которых особенно важна.

Поскольку файл карты сайта XML может содержать максимум 50 000 URL-адресов и не может быть больше 50 МБ , коллекция URL-адресов крупных веб-проектов также может быть распределена по нескольким документам. Однако в этом случае каждый документ карты сайта должен быть указан в дополнительном индексном файле, структура которого аналогична структуре файлов карты сайта: Теги и должны использоваться вместо и .

Пример XML-карты сайта

Самый простой способ понять структуру XML-карты сайта — использовать конкретный пример:

 


http://one-test.website/
2018-01-01
ежемесячно
<приоритет>1.0


http://one-test.website/page1/
2018-03-05
еженедельно
<приоритет>0,5


http://one-test.website/page2/
2018-03-08
еженедельно
<приоритет>0,3 

В этом случае в примере XML-карты сайта перечислены основной URL-адрес one-test.website и URL-адреса двух подстраниц ( страница 1 и страница 2 ). Сканеры поисковых систем могут видеть из документа, что главной странице веб-мастер присвоил наивысший приоритет и что изменения вносятся примерно раз в месяц. Последняя корректировка была сделана 1 января 2018 г. Страница 1 имеет значение приоритета по умолчанию (0,5), но, в отличие от главной страницы, предполагается, что она будет корректироваться еженедельно, а последнее изменение произошло 5 марта. , 2018. Если обходчик работает с атрибут приоритета карты сайта , он знает, что должен уделять меньше всего внимания page2 во время индексации (значение : 0,3). Подстраница изменяется еженедельно (последнее изменение 8 марта 2018 г.).

Создание и отправка XML-карты сайта – как это работает

Учитывая огромный объем работы, связанный с ручным созданием XML-карты сайта, выбор плагинов или онлайн-инструментов является хорошей идеей – при условии, что вы используете их правильно. Разумные XML-карты сайта могут быть сгенерированы без специальных конфигураций, но каталоги структуры смогут иметь желаемую форму только тогда, когда соответствует, индивидуальные настройки верны. Для нашего примера мы представляем возможности, предлагаемые онлайн-генератором XML-sitemaps.com и плагином WordPress Google XML sitemaps для создания и интеграции карт сайта XML.

Как создавать XML-карты сайта с помощью онлайн-генератора XML-sitemap.

com

Онлайн-генератор XML-sitemaps.com предлагает пользователям удобное решение для создания собственных XML-карт сайта. Веб-сервис бесплатен для веб-проектов с до 500 подстраниц — также можно создавать карты сайта для более крупных проектов, но этому пользователю необходимо будет оплатить подписку Pro. Процедура очень проста: после доступа к веб-приложению вставьте URL-адрес вашего веб-сайта в адресное поле:

Убедитесь, что вы вводите основной URL-адрес своего веб-сайта в поле ввода онлайн-генератора. Если вместо этого вы выберете другой URL-адрес, инструмент будет просматривать только часть существующих подстраниц.

Используйте « Дополнительные параметры », чтобы определить, должны ли и в какой степени записи карты сайта указываться с помощью атрибута lastmod>, или . Первый можно включить или выключить, а для второго можно установить желаемую частоту обновления (ежечасно, ежедневно, еженедельно и т. д.), если вы хотите использовать эту опцию маркировки. В противном случае просто оставьте настройку по умолчанию: «Не указывать».

Инструмент XML-sitemaps.com определяет уровень приоритета подстраницы в зависимости от расстояния до главной страницы, поэтому вы должны самостоятельно определить более конкретные категории (после создания карты).

Нажав «СТАРТ», вы начнете процесс генерации, продолжительность которого зависит от размера вашего веб-проекта. После завершения процесса вы можете отобразить результат в разделе « ПРОСМОТР КАРТЫ САЙТА » -> « ПРОСМОТР ПОЛНОЙ КАРТЫ САЙТА XML ».

«Предварительный просмотр карты сайта» дает вам первое представление о структуре созданной XML-карты сайта.

Загрузите сгенерированный XML-файл карты сайта и загрузите его в каталог маршрутов вашего веб-сайта. Например, чтобы сообщить сканеру Google о файле, просто отправьте файл в Google Search Console. Кроме того, вы можете указать путь, по которому карту сайта можно найти в любом месте файл robots. txt :

 Карта сайта: http://one-test.website/sitemap.xml 

Карты сайта Google XML: как создавать карты сайта XML с помощью плагина WordPress

Уже более десяти лет плагин Google для WordPress XML Sitemaps, разработанный Arne Brachhold, сделал создание XML-карт сайта детской игрой. Чтобы использовать популярный плагин (более 2 миллионов активных установок по всему миру) для вашего веб-сайта WordPress, вам сначала необходимо установить его через центр плагинов системы управления контентом 9.0167 . Выберите пункт меню «Плагины», а затем «Установить» и введите в поле поиска «Google XML Sitemaps». Нажав «Установить сейчас», вы начнете процесс установки расширения, которое должно появиться в верхней части представленных результатов:

В разделе «Плагины» > «Установить» вы найдете множество расширений для WordPress, включая Google XML Sitemaps. .

Вы также можете загрузить файлы Sitemap Google XML вручную и поместить их в каталог плагинов WordPress. Если вы активируете расширение, вы можете получить к нему доступ непосредственно в WordPress через « XML Sitemap » в меню « Настройки ». По сравнению с XML-Sitemaps.com, в следующих семи областях доступно значительно большее количество параметров конфигурации:

• Основные параметры : здесь вы определяете основные параметры и определяете, например, следует ли информировать Google и Bing автоматически об изменениях или должна ли карта сайта автоматически сжиматься
• Дополнительные страницы : здесь вы можете добавить файлы или URL-адреса, которые не принадлежат проекту WordPress, но работают в том же домене
• Приоритет публикации : настройки в этом меню особенно интересны для блогов и новостных порталов — если вы работаете с тегом для своей карты сайта, вы можете указать здесь, должен ли и как плагин рассчитывать приоритет публикации< /priority>
• Содержимое карты сайта : используйте это меню для выбора категорий страниц, которые будут включены в карту сайта XML (например, домашняя страница, статические страницы, архивные страницы и т. д.)
• Исключенные элементы : если вы хотите исключить категории или отдельные сообщения из индексации, вы можете сделать это здесь
• Частота изменения : Google XML Sitemaps предлагает возможность предварительной установки тега , а частота обновления может даже быть установить отдельно для разных типов страниц
• Приоритеты : ниже этого вы можете сделать те же настройки для атрибута

После того, как вы разработали настройку карты сайта XML в соответствии с вашими пожелания, сохраните изменения с помощью соответствующей кнопки. Перейдя по ссылке « Ваша карта сайта ” после сохранения вы передаете свою XML-карту сайта выбранным сканерам поисковых систем.

Если вы проинформировали поисковые системы об обновлениях ваших страниц с помощью ссылки, Google XML Sitemaps уведомит вас об успехе (или его отсутствии).
• 28.08.20
• Создание веб-сайтов
• Учебники
• Плагины WordPress
• WordPress

6 Основные веб-разработки

6

• 08.01.2020
• Веб-разработка

Тенденции, движущие веб-разработкой, отходят от статического веб-присутствия и все больше движутся в направлении интерактивного контента. Несмотря на то, что такие языки, как HTML и CSS, по-прежнему доминируют, все большее число разработчиков предпочитают серверный язык программирования PHP для динамических веб-сайтов. Языки сценариев на стороне клиента, такие как JavaScript, позволяют сайту реагировать на действия пользователя...

Современная веб-разработка: основы

Оптимизация сайта – самые большие препятствия

• 01.12.2021
• Веб-разработка

Когда дело доходит до разработки и обслуживания веб-сайтов, часто упускается один аспект: скорость веб-сайта. Несмотря на подходы, ориентированные на мобильные устройства, и адаптивный дизайн, многие веб-сайты по-прежнему имеют слишком долгое время загрузки, что может отталкивать посетителей. Тем не менее, время загрузки является одной из основных причин, по которой потребители покидают веб-сайт. Наше руководство показывает, что вы можете сделать, чтобы сделать ваш сайт быстрее.

Оптимизация сайта – самые большие препятствия

HSTS: Как работает расширение HTTPS

• 09.05.2019
• Веб-разработка

HTTPS, сетевой протокол для передачи данных в режиме онлайн с шифрованием TLS, в некоторых случаях можно обойти. Опасность заключается в том, что зашифрованные веб-сайты могут быть доступны через незашифрованный HTTP. Но расширение HTTPS HSTS (HTTP Strict Transport Security) обеспечивает доступ к веб-сайтам через шифрование TLS, закрывая бреши в безопасности, которые хакеры любят использовать для перехвата HTTPS-соединения во время передачи с использованием.