Индексирование сайта — Вебмастер. Справка

1. Добавьте сайт в Яндекс Вебмастер.

2. Sitemap. Для удобства вебмастеров и поисковых систем был разработан специальный формат карты сайта — sitemap. Это список ссылок на внутренние страницы сайта, представляемый в формате XML. Этот формат поддерживает и Яндекс. На специальной странице сервиса можно загрузить Sitemap для вашего сайта. Это позволит влиять на приоритет обхода роботом некоторых страниц вашего сайта. Например, если какие-то страницы обновляются гораздо чаще, чем другие, следует указать эту информацию, чтобы робот Яндекса правильно планировал свою работу.

3. Robots.txt — файл, предназначенный для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности. Рассмотрим наиболее важные параметры, которые можно указать в этом файле:

   Disallow

   Эта директива используется для запрета от индексирования отдельных разделов сайта. С ее помощью необходимо закрывать от индексирования технические и не представляющие ценности ни для пользователя, ни для поисковых систем страницы. К ним относятся:

   Подробнее об этом см. в разделе Использование файла robots.txt.

   Clean param

   С помощью этой директивы можно указать роботу, какие cgi-параметры в адресе страницы следует считать незначащими. Иногда адреса страниц содержат идентификаторы сессий — формально страницы с разными идентификаторами различаются, однако их содержимое при этом одинаково. Если таких страниц на сайте много, индексирующий робот может начать индексировать такие страницы, вместо того чтобы скачивать полезное содержимое. Подробнее об этом см. в разделе Использование файла robots.txt.

4. Яндекс индексирует основные типы документов, распространенных в Сети. Но существуют ограничения, от которых зависит, как будет проиндексирован документ, и будет ли проиндексирован вообще:

   • Большое количество cgi-параметров в URL, большое количество повторяющихся вложенных директорий и слишком большая общая длина URL может привести к ухудшению индексирования документов.

   • Для индексирования важен размер документа — документы больше 10Мб не индексируются.

   • Индексирование flash:

     1. индексируются файлы *.swf, если на них есть прямая ссылка или они встроены в html тегами object или embed ;

     2. если flash содержит полезный контент, исходный html документ может быть найден по контенту, проиндексированному в swf файле.

   • В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде картинок, не индексируется.

   • Яндекс корректно индексирует документы в формате Open Office XML и OpenDocument (в частности, документы Microsoft Office и Open Office). Но следует учитывать, что внедрение поддержки новых форматов может занимать некоторое время.

   • Допустимо использование тегов <frameset> и <frame>, робот Яндекса индексирует контент, подгружаемый в них, и позволяет найти исходный документ по содержимому фреймов.

5. Если вы переопределили поведение сервера для несуществующих URL, убедитесь, что сервер возвращает код ошибки 404. Получив код ответа 404, поисковая система удалит данный документ из индекса. Следите, чтобы все нужные страницы сайта отдавали код 200 OK.

6. Следите за корректностью HTTP-заголовков. В частности, важно содержание ответа, который сервер отдает на запрос «if-modified-since» . Заголовок Last-Modified должен отдавать корректную дату последнего изменения документа.

7. Версии сайта, адаптированные для просмотра на мобильных устройствах, лучше выносить на поддомен, так же, как и версии сайта на различных языках.

Примечание.

Запрещайте для индексирования не предназначенные для пользователей страницы, управляйте поисковым роботом Яндекса.

К следующему разделу

Если страницы доступны для робота, отправлены на переобход, но не появляются в поиске больше двух недель, заполните форму ниже:

Как ускорить индексацию сайта в Яндексе: инструкция

Последнее обновление: 01 марта 2023 года

12009

Время прочтения: 9 минут

Тэги: SEO

О чем статья?

• Как часто Яндекс робот заходит на сайт? 
• В чем заключаются основные проблемы с индексацией в Яндексе 
• Как решить проблемы с индексацией сайта
• Как ускорить индексацию страниц
• Выводы

Для кого эта статья?

• Для маркетологов;
• Для SEO-специалистов;
• Для владельцев бизнеса.

Индексация сайта простыми словами – это обход страниц сайта краулером, он же спайдер или поисковый робот. Он оценивает их качество и, если оно соответствует требованиям поисковика, отправляет адрес в базу данных. Когда пользователь вводит релевантный запрос в строку поиска, URL может быть извлечен из базы, проранжирован и показан в поисковой выдаче. Таким образом, индексация – основа для поискового продвижения страниц и сайтов в топ выдачи. Ниже проанализировали, как часто поисковый робот индексирует сайт, что мешает страницам попадать в индекс и как с ними работать, чтобы это исправить.

Как часто Яндекс робот заходит на сайт?

Своевременная индексация важна для разных ниш бизнеса: например, чем раньше страница окажется в поисковой выдаче e-commerce сайтов, тем скорее на нее могут прийти покупатели. В случае с инфопроектами задержка индексации может привести к тому, что контент на странице устареет либо будет уже опубликован конкурентами.

Практика показывает, что на частоту индексации сайта влияют следующие факторы:

• Техническое состояние сайта. Чем лучше будет настроена индексация ресурса, тем большее количество страниц сможет обойти поисковый робот.

• Насколько часто вы обновляете контент. Чем реже появляются новые публикации, тем реже краулеры будут заходить на сайт. Если обновления происходят чаще, бот будет заходить чаще.

Даты первого или последующего визита робота заранее никем не уточняется. Зато пользователям доступна статистика и история обходов. Проверить, когда и как часто робот делал обход страниц на вашем сайте, можно в Яндекс Вебмастере. В разделе «Индексирование» кликните на отчет «Статистика обхода». При необходимости переключите график на режим «История обхода».

Отчет «История обхода» отображает даты, страницы обхода и код ответа

Обратите внимание: у краулера есть лимиты.

За один раз он обходит ограниченное количество страниц – это так называемый краулинговый бюджет сайта. Он формируется индивидуально для ресурса, но точные цифры бюджета неизвестны. Как правило, у небольших сайтов краулинговый бюджет включает в себя до 10 или 50 тысяч страниц – тут мнения оптимизаторов разнятся. Данного лимита достаточно, чтобы индексировать все новые страницы. А вот на больших ресурсах возникают проблемы: им необходимо самостоятельно указывать роботу на приоритетные для индексации адреса и закрывать малозначимые, чтобы не тратить краулинговый бюджет.

В чем заключаются основные проблемы с индексацией в Яндексе

Практика показывает, что основных проблем при индексации три.

1. Нужные страницы не попадают в индекс. Это происходит, например, если их индексация запрещена в HTML-коде, файле Robots.txt или  HTTP-заголовком X-Robots-Tag для данной страницы на сервере. Как это проверить – объясняем ниже.

2. В индекс попадает большое количестве технических и малозначимых страниц, например, страниц поиска по сайту, страниц с get-параметрами и подобных.

3. Индексация сайта происходит, но очень долго. Возможно, вы крайне редко обновляете контент, у ресурса мало посетителей, поэтому бот месяцами не заглядывает на домен. Часто оказывается, что на ресурсе много ошибок, некачественный контент, поэтому он не попадает в базу данных.

Мнение эксперта

Анастасия Курдюкова, руководитель группы оптимизаторов «Ашманов и партнеры»:

«Чаще всего причина в наличии большого количества технических ошибок – например, 301 редиректов, дублей страниц, страниц с различными параметрами в url. Тратя ресурсы на индексацию малокачественных страниц, роботы не доходят до нужных». 

Исправить ошибки в индексации сайта можно в рамках работ по SEO-продвижению. Учитывайте, что эти работы могут затронуть и контент, и структуру сайта, и бизнес-процессы компании. Если вы хотите понять как происходит индексация сайта в Google, аналогичный аудит следует провести в Google Search Console.

Как решить проблемы с индексацией сайта

Перечислим примеры конкретных работ, которые следует проводить в рамках SEO-продвижения сайта, чтобы страницы сайта индексировались и попадали в поиск быстрее.

Для начала рекомендуем провести аудит, который выявит технические и прочие ошибки,  мешающие быстрой индексации сайта поисковиками. По его итогам вы получите рекомендации о том, что исправить и внедрить на сайте, как повысить его качество и успешно пройти индексацию. Ниже приводим примеры рекомендаций из наших аудитов 

1. Проверьте файл Robots.txt и Sitemap.xml

2. Исправьте ошибки в ответах сервера

3. Проработайте внутренние ссылки

4. Проверьте глубину вложенности

5. Повышайте качество контента

6. Устраните дубли

1.

Проверьте файлы и директивы, которые указывают краулеру на приоритетные страницы

Если он есть, проверьте на ошибки и запреты индексации в Вебмастере в разделе «Инструменты» –> «Анализ robots.txt». 

Мнение эксперта

Анастасия Курдюкова, руководитель группы оптимизаторов «Ашманов и партнеры»:

«Запрет в Robots.txt можно проверить в Вебмастере с помощью инструмента «Анализ robots.txt». Вы можете указать любой URL и посмотреть, разрешена ли индексация страницы, и если нет, то какое правило мешает».

На скриншоте ниже показали, как выглядят результаты анализа. В пункте «Используемые секции» странице присвоена директива Disallow, то есть индексация запрещена. Соответственно, ниже в списке «Разрешены ли URL?» ее нет.

Инструмент показывает строки Robots.txt, которые относятся к введенному URL

Если перейти на список ошибок, вы увидите их перечень и сможете просмотреть подробнее проблемные строки, как показано на следующем скриншоте.

Показаны все строки, где есть ошибки, и указан тип ошибки

• Создайте или проверьте файл Sitemap.xml. Для робота это дорожная карта, которая показывает, где что на сайте находится, какие страницы надо индексировать в первую очередь. С помощью такой карты сайта вы можете сообщать краулеру о новых страницах, попадание которых в поиск для вас приоритетно. Чтобы не делать это вручную каждый раз, настройте плагин для автоматической генерации динамического Sitemap.xml. В этом случае файл будет регулярно обновляться с заданной периодичностью (например, 1 раз в сутки). Не забудьте в Robots.txt внести путь к Sitemap.xml. Проверить корректность карты можно опять-таки в Яндекс Вебмастере при помощи инструмента «Анализ файлов Sitemap».

• Если не индексируется конкретная страница, проверьте наличие HTTP-заголовка X-Robots-Tag для данной страницы на сервере. Узнать о нем можно опять-таки в Вебмастере с помощью инструмента «Проверка ответа сервера». Если на сервере стоит блокировка индексации, ответ будет следующим:

HTTP/1.1 200 OK

Date: Tue, 25 May 2010 21:42:43 GMT

X-Robots-Tag: noindex 

2. Исправьте ошибки в ответах сервера

Если на сайте многие страницы отдают поисковому роботу код 404 («страница не существует»), Яндекс не только не индексирует их, но и в принципе сочтет сайт некачественным. Если это нужные страницы, то верните их в доступ, наполните контентом, либо настройте редирект 301. В противном случае удалите внутренние, а лучше и внешние ссылки, по которым краулер попадает на несуществующие адреса. Иногда ответ 404 получается из-за ошибки в написании URL (например, со слешем в конце или без него). Полностью избавиться от ответа 404, как правило, не получается, но минимизировать его необходимо.

Ответ сервера 302 («страница временно перемещена») также понижает шансы на корректную индексацию сайта. Яндекс бот по этому редиректу переходит на новую страницу, но не индексирует ее, так как в базе остается старый адрес. Поэтому настраивайте редирект 301 («страница перемещена навсегда»), тогда URL в базе обновится и робот перестанет заходить на старый.

Какие коды краулер получает от сервера, можно увидеть в Вебмастере в разделе «Индексирование» –> «Статистика обхода». 

История ответов сервера в отчете «Статистика обхода» по датам

Отдельные страницы можно протестировать инструментом Вебмастера «Проверка ответа сервера». Например, на скриншоте выше первый списке документ отдает код 404. Перейдя по нему, мы увидели, что страница отключена администратором. Исправив ошибку, в «Статистике обхода» сразу результат не увидели, потому что робот еще не заходил по адресу. Использовали инструмент «Проверка ответа сервера».

Проверив, видим код и время ответа сервера, кодировку, размер страницы

Как видите, теперь сервер дает правильный ответ 200, и когда краулер вновь зайдет на страницу, он добавит ее в индекс.

3. Проработайте внутренние и внешние ссылки

Роботы Яндекса чаще заходят на страницы, на которые ссылаются другие ресурсы. Мотивируйте Яндекс бота зайти на новую страницу, сделав перелинковку с уже проиндексированных адресов с хорошей посещаемостью. Выбирайте контент и особенно якоря, которые релевантны той странице, куда перенаправляет вас ссылка. Можно использовать следующие приемы:

• Используйте все возможности получить обратные ссылки с качественных релевантных ресурсов, которые хорошо ранжируются. Покупая ссылки, тщательно относитесь к качеству доноров.

• Мотивируйте пользователей делиться вашим контентом в социальных сетях, блогах, тематических форумах.

• Предлагайте владельцам релевантных качественных сайтов создать для них контент, дизайн в обмен на обратную ссылку.

• Одна из наиболее посещаемых страниц на сайте – главная. Сделайте там блок «новости» или «новинки» и публикуйте внутренние ссылки на новые статьи или товары с кратким анонсом.

• В интернет-магазинах используйте подборки «Похожие/Рекомендованные товары», «С этим товаром покупают», которые позволяют в карточки товаров добавлять релевантные ссылки.

• По такому же принципу в популярных статьях или других посещаемых разделах создайте блоки «Новые публикации», «Читать по теме» и подобные им разделы, которые позволяют включать.

4. Проверьте глубину вложенности

На страницы, расположенные дальше трех-четырех кликов в глубину от главной, робот доходит очень долго. Может и вообще не дойти до них, так как считает приоритетной главную страницу: чем ближе к ней – тем важнее. Структурируйте сайт так, чтобы страницы, которые должны приносить трафик и конвертировать его, находились на втором-третьем уровнях вложенности.

5. Повышайте качество контента

Рерайт, в котором мало экспертизы и уникальности, считается в Яндекс и Google, низкокачественным. Поэтому робот их проиндексирует, посчитает малоценными и исключит их поиска: они не попадут ни в Яндекс Поиск, ни в Google Search.

Общую оценку качества вашего сайта можно увидеть в Вебмастере в меню «Качество сайта» –> отчет «Показатель качества». Здесь есть так называемый ИКС (индекс качества сайта), который отражает востребованность сайта пользователями. Ниже Яндекс дает рекомендации по его повышению:

Контент страниц – весь, не только текстовый – должен соответствовать двум метрикам качества, которые использует поисковая система.

• Проксима — метрика качества страниц. Она учитывает релевантность страницы запросу, закрытие потребности пользователя на данном ресурсе, авторитетность и экспертность контента, другие критерии. 

• Профицит — метрика полезности выдачи: успешно ли пользователи решают свои задачу на сайте.

Как сделать старые и новые страницы соответствующими этим критериям? В целом следует делать их полезными для пользователя и показывать экспертизу бренда.

Например, в интернет-магазине карточки товара должны содержать подробное описание, фотографии продукта с разные сторон, при необходимости – фото 3D, видео, инструкцию в графическом или видеоформате. В статьях привлекайте авторов-специалистов в своей области, цитируйте экспертов, давайте профессиональные оценки, которые не могут предложить конкуренты.

Обновляйте ассортимент и информацию регулярно, хотя бы 1-2 раза в неделю. В отсутствие новостей и новинок актуализируйте информацию на уже проиндексированных страницах. На них следует настроить теги заголовков Last-Modified и If-Modified-Since, тогда после внесения изменений робот заново их обойдет.

Такой контент будет вызывать доверие у пользователей и поисковых систем, и краулер охотнее будет индексировать новые страницы.  

6. Устраните дубли

Одинаковое содержание или URL страниц, дубли метаданных в тегах Title, h2, Description для Яндекса – сигналы о некачественном сайте, который не стремится помочь пользователю оперативно решить его проблему.

На крупных ресурсах дубли появляются довольно часто из-за большого количества страниц. URL дублируются с WWW в начале и без него, со слешем / в конце и без него. Также повторы возникают из-за создания страниц с комментариями, пагинации. Часто используют одинаковое описание для товаров, различающихся лишь цветом, размером и т.п., но расположенных в разных карточках. Все эти повторы надо устранять. 

Как их выявить?

• Повторяющиеся метатеги можно найти, зайдя в Вебмастере в меню «Индексирование» в отчет «Заголовки и описания». Чтобы избавиться от них, прописывайте вручную оригинальные Title, h2, Description для приоритетных страниц и настройте автоматическую генерацию метаданных через плагин для остальных.

• Дублированные страницы можно увидеть через «Индексирование» –> «Страницы в поиске» –> «Исключенные». Перед вами появится наглядный график. Нажмите значок «Статус и URL» и выберите «Статус», «Удалено: Дубль».

Выявление дублей в Яндекс Вебмастере

Для избавления от дублей в индексации следует настроить редирект 301 либо назначить основную страницу через атрибут rel=»canonical».

Если робот счел две страницы дублями из-за контента, необходимо уникализировать контент: измените текст, добавьте возможность комментирования, отзывы и так далее. Имейте в виду, что Яндекс сравнивает текст, и, например, только замена фотографий или добавление видео на страницу не решит проблему дублирования.

Можно также закрывать от индексации системные файлы, результаты поисков, архивы – все адреса, которые не будут конвертировать трафик, приходящий из поиска.  

Мнение эксперта

Анастасия Курдюкова, руководитель группы оптимизаторов «Ашманов и партнеры»:

«Не стоит закрывать на сайте важные для пользователя блоки и важную информацию, особенно меню. Раньше подобное рекомендовали, потому что служебная информация, повторяющаяся на всех страницах сайта, якобы снижает уникальность. На самом деле здесь только два решения. Первое: если страницы действительно признаны дублями, то нужно от них избавляться. Второе: если страницы признаны дублями, но на самом деле такими не являются, то нужно по возможности уникализировать контент».

Как ускорить индексацию страниц

Итак, вы провели необходимые работы и подготовили сайт или отдельные его страницы к индексированию. Какими методами можно ускорить процесс?

1. Отправьте обновленные страницы в Яндекс на переобход

2. Отправьте страницы на переиндексацию при помощи протокола IndexNow

3. Включите инструмент «Обход по счетчикам»

4. Получите внешние ссылки с трастовых ресурсов

1.

Отправьте обновленные страницы в Яндекс на переобход

Используйте инструмент Вебмастер «Переобход страниц», который находится в меню «Индексирование». Правда, здесь есть лимит на количество адресов в сутки. Если сайт большой и изменено много страниц, придется использовать инструмент несколько раз по мере внесения изменений.

Мнение эксперта

Анастасия Курдюкова, руководитель группы оптимизаторов «Ашманов и партнеры»:

«Через этот инструмент можно отправить на переобход только конкретные страницы сайта. Учитывайте, что дневной лимит на переобход увеличивается в зависимости от размеров сайта».

Вставьте в поле URL, на которые робот должен зайти, и кликните «Отправить». Если все в порядке, информация в поисковой базе обновится в течение двух недель, в противном случае Вебмастер сообщит об ошибке. 

2. Отправьте страницы на переиндексацию при помощи протокола IndexNow

IndexNow – это независимый инструмент, который с помощью API сообщает об изменениях на сайте напрямую в Яндекс без привлечения собственного краулера поисковика. Правда, индексация сайта через сторонний протокол не гарантирована, предупреждает Яндекс в своей справке. Практика показала, что есть смысл использовать IndexNow для отправки новых страниц, так как лимиты у него выше, чем у Переобхода Вебмастера –10000 страниц в день.

3. Включите инструмент «Обход по счетчикам»

Включите инструмент«Обход по счётчикам», который позволяет роботу Яндекса узнавать о новых страницах вашего сайта из данных Метрики. Счетчик сообщает краулеру о появлении новых страниц даже если они не включены в Sitemap.xml и не указаны в Robots.txt. Создайте счётчик и привяжите его к сайту в Вебмастере. Для этого в меню «Индексирование» перейдите в «Обход по счетчикам» и выполните пошаговую инструкцию.

Как настроить счетчик Метрики, чтобы ускорить индексирование

Учтите, что данный метод не работает с индексацией Турбо-страниц, так как их обходит другой робот.

4. Получите внешние ссылки с трастовых ресурсов

Создайте профиль компании в Яндекс Бизнесе, отметьте ее на Яндекс Картах и не забывайте регулярно актуализировать информацию. Публикуйте анонсы со ссылками на новые статьи и товары в ваших страничках в соцсетях.

Затем попробуйте договориться с вебмастерами релевантных ресурсов, которые давно проиндексированы и имеют хороший ИКС, о размещении ссылок на ваш сайт. Могут подойти сервисы вопросов и ответов, справочные порталы, форумы, СМИ, блоги. 

Аутрич должен выглядеть естественно и не спамно. Самое главное – сайты, разместившие вашу ссылку, должны пользоваться доверием Яндекса. Выбирайте площадки для размещения из топа выдачи по релевантным запросам, по которым вы не будете с ними конкурировать.

Выводы

• Индексация сайта и страниц в Яндексе – не быстрый процесс. Его скорость зависит от технического состояния сайта, частоты обновления контента на сайте, поведенческих факторов и качества контента.

• Если индексирование задерживается, надо проверить, не закрыт ли ваш ресурс или отдельные URL от индексирования.

• Проверьте технические ошибки на страницах и качество оптимизации. Используйте инструменты Яндекс Вебмастера для аудита ошибок.

• После исправления проблем сообщите поисковой системе о необходимости переиндексировать страницы при помощи Вебмастера, Яндекс Метрики или стороннего протокола.

• Нарабатывайте внешние ссылки с авторитетных площадок, чтобы выглядеть трастово для поискового робота.

Статья

Не стреляйте себе в ногу! Как бизнес сам убивает результаты в маркетинге

#SEO

Статья

Кейс: как создать поток новых клиентов в e-commerce с помощью блога

#SEO

Статья

Кейс «Союзспецодежда»: как стать лидером Яндекса, продвигая региональный поддомен

#SEO

Анастасия Курдюкова

Руководитель группы оптимизаторов • Эксперт

Опытный специалист по SEO-оптимизации, работает в продвижении более 6 лет. Спикер  конференций и вебинаров для клиентов компании.

Татьяна Минина

Редактор блога

Профессиональный журналист, копирайтер, член Союза Журналистов России. Сфера профессиональных интересов: digital-маркетинг, журналистика, SEO, здоровый образ жизни.

Теги: SEO

Индексация — Вебмастер. Справка

1. Добавить сайт в Яндекс.Вебмастер.

2. Карта сайта. Карта сайта — это специальный формат, разработанный для веб-мастеров и поисковых систем для описания структуры сайта. Представляет собой список ссылок на внутренние страницы сайта, представленный в формате XML. Яндекс также поддерживает этот формат. Вы можете загрузить карту сайта для своего сайта на специальной странице в Яндекс.Вебмастере. Используйте его, чтобы установить приоритет сканирования определенных страниц для робота. Например, если какие-то страницы обновляются чаще, сообщите об этом, чтобы робот правильно планировал сканирование.

3. Robots.txt — это файл для роботов поисковых систем. В этом файле вебмастер может указать параметры индексации для всех роботов или для каждой поисковой системы отдельно. Вот три наиболее важных параметра, указанные в этом файле:

   Disallow

   Эта директива используется для запрета индексации определенных разделов сайта. Используйте его, чтобы предотвратить индексацию технических страниц и страниц, которые не важны для пользователей и поисковых систем. В том числе:

   Дополнительные сведения см. в разделе Использование robots.txt.

   Очистить параметр

   Используйте эту директиву, чтобы указать роботу, какие параметры CGI в URL-адресе страницы не важны. Иногда URL-адреса страниц содержат идентификаторы сеансов. Формально страницы с разными ID разные, но содержание у них одинаковое. Если на сайте много таких страниц, робот может начать индексировать такие страницы, а не скачивать полезный контент. Дополнительные сведения см. в разделе Использование robots.txt.

4. Яндекс индексирует основные типы документов, распространяемых в сети. Но существуют ограничения, которые влияют на то, как документ индексируется и индексируется ли он вообще:

   • Большое количество параметров CGI в URL-адресе, большое количество вложенных каталогов и слишком длинные URL-адреса могут мешать индексированию документа.

   • Размер документа важен для индексации. Документы размером более 10 МБ не индексируются.

   • Indexing Flash:

     1. Робот индексирует файлы *.swf, если на них есть прямая ссылка или они встроены в HTML с тегами object или embed.

     2. Если Flash содержит полезное содержимое, исходный HTML-документ можно найти по содержимому, проиндексированному в swf-файле.

   • В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде изображений, не индексируется.

   • Яндекс индексирует документы в форматах Open Office XML и OpenDocument (включая документы Microsoft Office и Open Office). Но поддержка новых форматов может занять некоторое время.

   • Вы можете использовать теги и. Робот Яндекса индексирует загруженный в них контент и находит исходный документ по содержимому фреймов.

5. Если вы задали другое поведение сервера для несуществующих URL-адресов, убедитесь, что сервер возвращает код ошибки 404. Как только поисковая система получает код 404, она удаляет документ из индекса. Убедитесь, что все необходимые страницы на сайте отвечают кодом 200 OK.

6. Убедитесь, что заголовки HTTP указаны правильно. Ответ сервера на запрос «if-modified-since» важен. Заголовок Last-Modified должен содержать правильную дату последнего изменения документа.

7. Размещать версии сайта, адаптированные для мобильных устройств, а также языковые версии в поддоменах.

Примечание.

Управлять роботом Яндекса и запрещать индексацию страниц, не предназначенных для пользователей.

Next

Если страницы доступны для робота и отправлены на переиндексацию, но не появляются в поиске более двух недель, заполните форму ниже:

Fast URL Submitter в Bing и Яндекс

Ключ API   Поисковая система: Бинг Яндекс Бинг и Яндекс Список URL-адресов (МАКС. 10 000) ↓ Капча: обновить   (код показан на картинке)

Наш инструмент отправляет список веб-страниц в поисковые системы Bing и Yandex для сканирования (повторного сканирования) по протоколу IndexNow.

Как работает технология IndexNow

Протокол IndexNow позволяет поисковым системам автоматически информировать об изменениях на сайте. Это может быть появление новых страниц, обновление или удаление ранее проиндексированных URL.

С помощью IndexNow вы можете напрямую уведомлять Bing и Яндекс об изменениях на сайте, не дожидаясь сканирования поисковыми ботами.

Чтобы отправить URL-адреса, вам необходимо подтвердить право собственности на сайт, для которого вы хотите переиндексировать. Для подтверждения используется специальный ключ — его нужно сгенерировать, разместить файл с ним на своем сайте и передавать в запросах к API.

Важно! Обратите внимание, что отправка страниц не гарантирует их индексацию.

Как получить ключ API

Для получения API-ключа необходимо создать текстовый файл в корневом каталоге сайта с использованием секретного имени длиной от 8 до 128 символов (можно использовать латинские буквы, цифры и дефис).

Затем нужно добавить этот секретный код в содержимое секретного файла.

Пример закрытого ключа: 31f7b55e46fb41ad9cc27a0e380b1bc0
Пример текстового файла: 31f7b55e46fb41ad9cc27a0e380b1bc0. txt

Зачем нужен

• Для ускорения индексации URL (чем быстрее ваши страницы попадают в поисковые системы, тем быстрее вы получаете поисковый трафик).
• Для ускорения деиндексации (возможно, в поиске есть страницы, которые вы хотели бы исключить оттуда поскорее).
• Для ускорения регистрации изменений (если вы улучшили страницы и хотите, чтобы поисковые системы учитывали эти изменения).

Связанные материалы

• https://blogs.bing.com/webmaster/october-2021/IndexNow-Instantly-Index-your-web-content-in-Search-Engines
• https://www.bing.com/indexnow

0 комментариев

Вы должны войти, чтобы оставить комментарий.

Популярные инструменты SEO / Все инструменты

Релевантность текста	Текст Семантика	Средство проверки переадресации	Детектор CMS	Заголовок и шашка h2	Поиск субдоменов	Массовое индексирование сайта
URL Код состояния HTTP	Генератор карты сайта	Программа проверки robots. Добавить комментарий Отменить ответ Ваш адрес email не будет опубликован. Обязательные поля помечены * Комментарий * Имя * Email * Сайт