Программное обеспечение, которое посещает ваш веб-сайт, называется поисковым роботом и использует эту карту сайта для поиска.

Хорошим примером поискового робота является Googlebot. Робот Googlebot посещает ваши страницы, читает их и добавляет содержимое в поиск Google.

Вот почему так полезна карта сайта. Вместо поиска всех страниц роботом Googlebot всю тяжелую работу выполняет карта сайта. Ускорение поиска ваших страниц роботом Googlebot.

Помимо карты сайта, вы также должны сообщить Google, где вы ее храните. Затем Googlebot может использовать эту карту сайта при следующем посещении.

Чтобы сообщить Google, добавьте карту сайта в Google Search Console.

Но что именно мы представляем?

Существует несколько форматов карт сайта, например:

• XML
• Файл RSS/АТОМ
• Простой текстовый файл

Наиболее распространенным является XML, так как он наиболее гибкий.

Этот файл выглядит как HTML, например:

 

  <ссылка>
    http://www.example.com/foo.html
    2018-06-04
  
... 

В этом примере перечислены страницы сайта, а также время последнего изменения страницы с использованием тега lastmod .

Вы также можете сделать то же самое с каналами RSS или ATOM. Это XML-каналы в другом формате.

Почти все программное обеспечение для блогов может создавать каналы RSS или ATOM. Но будьте осторожны с этим.

Некоторое программное обеспечение для блогов выдает только список последних сообщений в блогах. Вы должны указать все страниц вашего сайта в карте сайта.

Последний тип представляет собой обычный текстовый файл. Хотя это менее распространено, но все еще используется, вот образец карты сайта от Starbucks:

 https://www.starbucks.com/menu
https://www.starbucks.com/menu/drinks
https://www.starbucks.com/menu/drinks/горячий кофе
... 

Текстовый файл содержит только список страниц сайтов, по одной странице в каждой строке. Дополнительная информация, такая как дата последнего изменения, отсутствует. Это самый простой, но и наименее гибкий.

Если вам нужно создать карту сайта для нового сайта, используйте формат XML.

Много файлов Sitemap

При посещении крупных сайтов, таких как BBC, вы обнаружите, что у них много файлов Sitemap. Это связано с тем, что существует ограничение в 50 000 страниц и размер файла в 50 МБ.

Чтобы связать карты сайта вместе, можно создать главную карту сайта, которая будет ссылаться на все остальные.

Для этого вы должны использовать XML и тег sitemap , как показано ниже:

 . ..
<карта сайта>
  
    https://example.com/hats/sitemap.xml
  

... 

Мы рассмотрели, что такое карта сайта и как она разбивается на множество файлов. давайте посмотрим, как можно найти карту сайта.

Как найти карту сайта?

Существует 5 способов найти карту сайта на сайте. Это:

• Использовать robots.txt
• Вручную
• Использовать поиск Google
• Найти карту сайта RSS в источнике
• Консоль поиска Google

Начиная с самого простого и заканчивая самым сложным. Начнем с роботов!

Использовать файл robots.txt

Если повезет, карта сайта будет в файле robots.txt.

Как и карта сайта, файл robots также используется поисковыми роботами.

Искатель Googlebot использует файл robots.txt, чтобы определить, куда он может и не может идти.

Чтобы найти этот файл, добавьте /robots.txt в конец URL-адреса. Например:

https://exmaple. com/robots.txt

Каждая строка в этом файле является «правилом», и сканер следует каждому из перечисленных правил.

Искатель должен знать, куда идти, и правило Карта сайта: показывает сканеру, где находятся все страницы.

Например, если мы посмотрим на текстовый файл robots из Airbnb, мы увидим карты сайта, перечисленные в конце файла:

 Карта сайта: https://www.airbnb.com/sitemap-master-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-p2-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-p2_poi-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-homes_filters_expansion-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-homes_pdp-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-things_to_do_cities_and_categories-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-places_pdp-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-experiences_p2-urls-index.  xml.gz
Карта сайта: https://www.airbnb.com/sitemap-experiences_pdp-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-additional_things_to_do-urls-index.xml.gz 

Если вам повезло, у вас теперь есть карта сайта. Если нет, давайте посмотрим на ручную проверку.

Вручную

Один из способов найти карту сайта — попробовать разные распространенные URL-адреса. Чаще всего карта сайта находится по адресу sitemap.xml . Таким образом, добавив это в конец имени домена, вы можете проверить, существует ли карта сайта:

https://example.com/sitemap.xml

Если вы получите ошибку 404, то карта сайта не найдена, и мы можем попробовать другое имя файла.

sitemap.xml — самый распространенный, но не единственный.

Чтобы получить список других распространенных имен файлов карты сайта, мы просмотрели карты сайта более чем 7000 веб-сайтов.

Вот список общих имен файлов для карты сайта, основанный на этом исследовании:

• /sitemap. xml
• /sitemap_index.xml
• /sitemap-index.xml
• /карта сайта/
• /post-sitemap.xml
• /sitemap/sitemap.xml
• /карта сайта/index.xml
• /rss/
• /rss.xml
• /sitemapindex.xml
• /sitemap.xml.gz
• /sitemap_index.xml.gz
• /sitemap.php
• /sitemap.txt
• /атом.xml

Если ничего из этого не работает, добавьте заглавную букву, например, /Sitemap.xml . Попробуйте добавить заглавную букву к любому из названий файлов выше.

Если у вас по-прежнему ничего нет, давайте рассмотрим использование Google Search.

Использовать поиск Google

Мы можем использовать магию поиска Google для поиска XML-файлов. Мы также можем сузить поиск до определенного сайта.

Чтобы найти файлы XML на BBC, мы будем использовать поиск:

inurl:bbc.co.uk тип файла:xml

Это возвращает карту сайта:

Если вы получаете много страниц в результатах, вы можете сузить их, выполнив поиск карты сайта в URL-адресе, например:

сайт:example. com inurl:тип файла карты сайта:xml

Не забывайте, что карты сайта также могут быть текстовыми файлами. Делая то же самое для Starbucks, вы можете найти карту сайта:

сайт:starbucks.com inurl:карта сайтатип файла:txt

Поиск выше возвращает карту сайта:

Если вы все еще не можете его найти, давайте посмотрим, является ли это RSS-каналом.

Вы можете использовать RSS-канал в качестве карты сайта, и многие блоги создают этот файл по умолчанию.

Чтобы найти файлы, просмотрите исходный код HTML-страницы.

Например, если мы откроем браузер Chrome и перейдем на страницу новостей SpaceX. Мы можем проверить исходный код страницы, щелкнув страницу правой кнопкой мыши и выбрав параметр «Проверить».

Если вы находитесь на вкладке «Элементы», вы можете выполнить поиск по коду:

application/rss+xml это показывает, что есть RSS-канал:

spacex.com/news.xml">

Если нет RSS-канала и мы все еще не можем найти карту сайта. Осталось последнее место, куда можно заглянуть.

Консоль поиска Google

Если все вышеперечисленное не помогло, то получите доступ к сайтам Google Search Console.

Чтобы помочь Google сканировать ваш веб-сайт, вы можете отправить карту сайта в Google Search Console.

Если в Google Search Console добавлена ​​карта сайта, вы найдете ее в списке, выбрав Индекс > Файлы Sitemap.

Любые отправленные карты сайта будут выглядеть так:

Как найти карту сайта веб-сайта: заключительные мысли

Теперь вы нашли карту сайта. Отличная работа!

У нас есть общее понимание того, что такое карта сайта и что они бывают трех разных форматов:

• XML
• Файл RSS/АТОМ
• Простой текстовый файл

У вас есть 5 способов найти карты сайта, поскольку они не всегда находятся в одном и том же месте.

• Использовать robots. txt
• Вручную
• Использовать поиск Google
• Найти карту сайта RSS в источнике
• Консоль поиска Google

Если эти 5 способов не сработали или у вас есть другой способ, оставьте комментарий ниже.

Как найти карту сайта веб-сайта

Не можете найти карту сайта?

Иногда бывает сложно найти карту сайта, так как существует несколько способов ее создания.

Затем есть все различные типы файлов XML, TXT, RSS и ATOM. С чего начать?

Я дам вам 5 способов найти карту сайта на любом сайте.

Прежде чем мы перейдем к делу, давайте определим, что такое карта сайта. Знание этого поможет нам найти, где прячется карта сайта.

Вы не можете скрыть карту сайта, мы вас ищем!

После того, как вы нашли карту сайта, не забудьте отправить ее в Google и Bing.

Что такое карта сайта?

Карта сайта — это список всех страниц вашего сайта.

Программное обеспечение, которое посещает ваш веб-сайт, называется поисковым роботом и использует эту карту сайта для поиска.

Хорошим примером поискового робота является Googlebot. Робот Googlebot посещает ваши страницы, читает их и добавляет содержимое в поиск Google.

Вот почему так полезна карта сайта. Вместо поиска всех страниц роботом Googlebot всю тяжелую работу выполняет карта сайта. Ускорение поиска ваших страниц роботом Googlebot.

Помимо карты сайта, вы также должны сообщить Google, где вы ее храните. Затем Googlebot может использовать эту карту сайта при следующем посещении.

Чтобы сообщить Google, добавьте карту сайта в Google Search Console.

Но что именно мы представляем?

Существует несколько форматов карт сайта, например:

• XML
• Файл RSS/АТОМ
• Простой текстовый файл

Наиболее распространенным является XML, так как он наиболее гибкий. Это позволяет вам связывать карты сайта вместе и ссылаться на страницы, относящиеся к конкретному языку.

Этот файл выглядит как HTML, например:

  0" encoding="UTF-8"?>

  <ссылка>
    http://www.example.com/foo.html
    2018-06-04
  
... 

В этом примере перечислены страницы сайта, а также время последнего изменения страницы с использованием тега lastmod .

Вы также можете сделать то же самое с каналами RSS или ATOM. Это XML-каналы в другом формате.

Почти все программное обеспечение для блогов может создавать каналы RSS или ATOM. Но будьте осторожны с этим.

Некоторое программное обеспечение для блогов выдает только список последних сообщений в блогах. Вы должны указать все страниц вашего сайта в карте сайта.

Последний тип представляет собой обычный текстовый файл. Хотя это менее распространено, но все еще используется, вот образец карты сайта от Starbucks:

 https://www.starbucks.com/menu
https://www.starbucks.com/menu/drinks
https://www. starbucks.com/menu/drinks/горячий кофе
... 

Текстовый файл содержит только список страниц сайтов, по одной странице в каждой строке. Дополнительная информация, такая как дата последнего изменения, отсутствует. Это самый простой, но и наименее гибкий.

Если вам нужно создать карту сайта для нового сайта, используйте формат XML.

Много файлов Sitemap

При посещении крупных сайтов, таких как BBC, вы обнаружите, что у них много файлов Sitemap. Это связано с тем, что существует ограничение в 50 000 страниц и размер файла в 50 МБ.

Чтобы связать карты сайта вместе, можно создать главную карту сайта, которая будет ссылаться на все остальные.

Для этого вы должны использовать XML и тег sitemap , как показано ниже:

 ...
<карта сайта>
  
    https://example.com/hats/sitemap.xml
  

... 

Мы рассмотрели, что такое карта сайта и как она разбивается на множество файлов. давайте посмотрим, как можно найти карту сайта.

Как найти карту сайта?

Существует 5 способов найти карту сайта на сайте. Это:

• Использовать robots.txt
• Вручную
• Использовать поиск Google
• Найти карту сайта RSS в источнике
• Консоль поиска Google

Начиная с самого простого и заканчивая самым сложным. Начнем с роботов!

Использовать файл robots.txt

Если повезет, карта сайта будет в файле robots.txt.

Как и карта сайта, файл robots также используется поисковыми роботами.

Искатель Googlebot использует файл robots.txt, чтобы определить, куда он может и не может идти.

Чтобы найти этот файл, добавьте /robots.txt в конец URL-адреса. Например:

https://exmaple.com/robots.txt

Каждая строка в этом файле является «правилом», и сканер следует каждому из перечисленных правил.

Искатель должен знать, куда идти, и правило Карта сайта: показывает сканеру, где находятся все страницы.

Например, если мы посмотрим на текстовый файл robots из Airbnb, мы увидим карты сайта, перечисленные в конце файла:

 Карта сайта: https://www.airbnb.com/sitemap-master-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-p2-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-p2_poi-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-homes_filters_expansion-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-homes_pdp-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-things_to_do_cities_and_categories-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-places_pdp-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-experiences_p2-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-experiences_pdp-urls-index.xml.gz
Карта сайта: https://www.airbnb.com/sitemap-additional_things_to_do-urls-index.xml.gz 

Если вам повезло, у вас теперь есть карта сайта. Если нет, давайте посмотрим на ручную проверку.

Вручную

Один из способов найти карту сайта — попробовать разные распространенные URL-адреса. Чаще всего карта сайта находится по адресу sitemap.xml . Таким образом, добавив это в конец имени домена, вы можете проверить, существует ли карта сайта:

https://example.com/sitemap.xml

Если вы получите ошибку 404, то карта сайта не найдена, и мы можем попробовать другое имя файла.

sitemap.xml — самый распространенный, но не единственный.

Чтобы получить список других распространенных имен файлов карты сайта, мы просмотрели карты сайта более чем 7000 веб-сайтов.

Вот список общих имен файлов для карты сайта, основанный на этом исследовании:

• /sitemap.xml
• /sitemap_index.xml
• /sitemap-index.xml
• /карта сайта/
• /post-sitemap.xml
• /sitemap/sitemap.xml
• /карта сайта/index.xml
• /rss/
• /rss. xml
• /sitemapindex.xml
• /sitemap.xml.gz
• /sitemap_index.xml.gz
• /sitemap.php
• /sitemap.txt
• /атом.xml

Если ничего из этого не работает, добавьте заглавную букву, например, /Sitemap.xml . Попробуйте добавить заглавную букву к любому из названий файлов выше.

Если у вас по-прежнему ничего нет, давайте рассмотрим использование Google Search.

Использовать поиск Google

Мы можем использовать магию поиска Google для поиска XML-файлов. Мы также можем сузить поиск до определенного сайта.

Чтобы найти файлы XML на BBC, мы будем использовать поиск:

inurl:bbc.co.uk тип файла:xml

Это возвращает карту сайта:

Если вы получаете много страниц в результатах, вы можете сузить их, выполнив поиск карты сайта в URL-адресе, например:

сайт:example.com inurl:тип файла карты сайта:xml

Не забывайте, что карты сайта также могут быть текстовыми файлами. Делая то же самое для Starbucks, вы можете найти карту сайта:

сайт:starbucks.com inurl:карта сайтатип файла:txt

Поиск выше возвращает карту сайта:

Если вы все еще не можете его найти, давайте посмотрим, является ли это RSS-каналом.

Вы можете использовать RSS-канал в качестве карты сайта, и многие блоги создают этот файл по умолчанию.

Чтобы найти файлы, просмотрите исходный код HTML-страницы.

Например, если мы откроем браузер Chrome и перейдем на страницу новостей SpaceX. Мы можем проверить исходный код страницы, щелкнув страницу правой кнопкой мыши и выбрав параметр «Проверить».

Если вы находитесь на вкладке «Элементы», вы можете выполнить поиск по коду:

application/rss+xml это показывает, что есть RSS-канал:

Если нет RSS-канала и мы все еще не можем найти карту сайта.