Как ускорить индексацию сайта?
Ускоренная индексация сайта жизненно важна для успешного интернет-маркетинга. Но иногда с этим возникают проблемы. В этой статье мы объясним, почему это происходит, и предложим десять способов ускорить добавление вашей страницы в индекс.
Нормально, если новый контент попадает в индекс за 1—2 дня в Яндекс и 30—40 минут в Google (многое зависит от качества и степени SEO вашего сайта). Когда процесс затягивается на недели или месяцы, или страницы не попадают в поиск, нужно искать причину. Медленная индексация негативно влияет на SEO и увеличивает риск кражи контента. Давайте рассмотрим, как ускорить индексацию сайта в Яндексе и прочих поисковых системах.
Что такое индексация сайта?
Индексацию можно определить как системный анализ файлов, доступных в форматах PDF или HTML, с помощью специально запрограммированных для этого инструментов. В ходе этого процесса так называемые веб-роботы собирают информацию о ключевых фразах, изображениях или ссылках, связанных с проиндексированной страницей.
Отсканированный сайт попадает в набор доступных в поисковике адресов, благодаря чему он будет виден после ввода соответствующих фраз. Поэтому после создания собственного сайта стоит позаботиться о его индексации — чтобы пользователям интернета было легче к нему обращаться.
Проверка индексации сайта
Самый простой способ узнать, проиндексирована ли страница, — проверить её в поисковике. Вы можете сделать это с помощью оператора «site» в Google. Введите «site:адрес веб-ресурса» в строку поиска, и сайт выдаст все документы, отсканированные роботом Googlebot. При проверке в Яндексе введите «host:адрес веб-ресурса».
Почему сайт может индексироваться медленно
Возможные причины:
На сайте практически нет хорошо написанного контента
Нет никаких сомнений в том, что хорошо написанный контент является ключом к успеху в результатах поиска Google. Если на вашем сайте есть минимальный контент, который не превосходит ваших конкурентов, то это, безусловно, серьёзная проблема, и вы не сможете выйти даже в топ-50.
Скорость загрузки сайта низкая
Если ваш сайт имеет медленную скорость загрузки и высокий пинг, Google с меньшей вероятностью отобразит его в результатах своего индекса.
Могут быть случаи, когда требуется время для загрузки. Причиной может быть размещение слишком большого количества контента на странице или использование устаревшего сервера с ограниченными ресурсами.
Отсутствует карта сайта
Карта сайта необходима, особенно если вы хотите его проиндексировать. Проще говоря, — это список страниц вашего сайта. Это помогает поисковым системам узнать, какой контент вы предлагаете пользователям.
Слабое техническое SEO
Техническое SEO означает оптимизацию вашего сайта и его структуры для того, чтобы поисковые системы могли быстро и эффективно сканировать, индексировать и понимать ваш сайт.
Сайт не оптимизирован для мобильных устройств
Если ваш сайт не оптимизирован для мобильных устройств, велика вероятность, что вы не сможете его проиндексировать.
Способы ускорения индексации
Проверьте robots.txt
Текстовый файл robots.txt содержит инструкции для поисковых систем, которые препятствуют сканированию ботами определённых документов и разделов сайта. Если вы хотите исключить какие-либо страницы из поиска, закройте их с помощью команды «Disallow» (запретить). Чаще всего это персональные данные пользователей, логи сайта, архивы и т.д.
Убедитесь, что страницы, подлежащие индексации, не закрыты командой «Disallow». Также важно обратить внимание на правильность синтаксиса в robots.txt. Иногда обнаруживаются конфликты команды: боту одновременно разрешено и запрещено сканирование. Эти и другие вопросы необходимо решить. Вы можете выявить ошибки с помощью инструментов вебмастера.
Вы также можете проверить, существуют ли какие-либо конфликты, с помощью тестирования посредством роботов, доступного в Google Search Console.
Создайте карту сайта
Карта сайта — это файл со списком ссылок на страницы ресурса. Он поставляется в двух форматах: XML и HTML. Первый необходим, поскольку он передаёт данные о структуре сайта роботам и обеспечивает ускоренную и корректную индексацию. Вы можете создать самостоятельно XML-карту онлайн с помощью бесплатных сервисов.
Sitemap.html более актуален для пользователей. Для поисковых ботов он не имеет значения, но рекомендуется и его создать. Во-первых, это облегчает пользователям взаимодействие с сайтом, а во-вторых, это один из методов внутренней перелинковки.
Проверьте код ответа сервера
При сканировании существующие страницы должны возвращать код ответа 200, в то время как несуществующие страницы должны возвращать код ответа 404. Однако, если время ответа составляет более 2 секунд, боты могут не дождаться его и покинуть документ. Это также замедляет индексацию. Проверьте код состояния и частоту откликов в инструментах для вебмастеров.
Если страницы не индексируются, что происходит одновременно в Google и других поисковых системах, скорее всего, в файле robots.txt есть запрет на сканирование сайта ботами. Если только одна поисковая система не индексирует ресурс, возможно, он был отфильтрован.
Когда документы индексируются, но это занимает слишком много времени, это может быть связано с недостаточным обновлением контента, высоким пингом или неправильной внутренней оптимизацией ресурса.
Следите за уровнем вложенности
Имеет значение и удалённость страницы от главной страницы сайта: чем дальше, тем сложнее роботу добраться до него. Оптимальный вариант — путь в 2—3 клика от главной страницы.
Вы можете добиться этого, создав правильную структуру ресурса и правильное связывание, называемой Silo-архитектурой.
Избавьтесь от дублированного контента
Явные и неявные дубликаты вызывают множество проблем: внешние URL-адреса, подмена оригинала дубликатом документа в поисковых системах. Дубликаты также замедляют индексацию, поэтому очень важно выявлять и устранять их.
Вы можете обнаружить повторяющийся контент вручную. Однако, если сайт большой, удобнее использовать отдельные инструменты, которые устраняют дубликаты различными способами. Гугл рекомендует делать это через канонический атрибут (rel canonical), а также 301-редирект, который используется в том же WordPress. Посмотрите, где вы получаете больше всего трафика, и используйте соответствующий метод.
Публикуйте качественный контент и чаще его обновляйте
Размещайте уникальный контент на своем сайте: статьи, скопированные с других ресурсов, робот может считать дубликатами, что невыгодно владельцу ресурса.
Кроме того, контент должен быть актуальным и ценным. Пишите для людей, но не забывайте о SEO, потому что аудитория находит ваш сайт по ключевым словам.
Также важно чаще обновлять свой контент, увеличивая частоту попаданий поисковых систем. Вот несколько рекомендаций по поддержанию ресурса в актуальном состоянии:
- Размещайте новый контент не реже одного раза в неделю;
- Обновляйте устаревшие данные;
- Используйте заголовки, информирующие роботов о последних изменениях (заголовок HTTP запроса If-Modified-Since).
Используйте консоль поиска Google
После создания сайта зарегистрируйте его в Google Search Console (GSC). Это позволяет оповещать поисковых ботов о новом ресурсе, следить за индексацией страниц и ссылок, выявлять ошибки. При обновлении старого контента или добавлении нового отправьте его в GSC с помощью инструмента проверки URL, чтобы ускорить индексацию. В результате, отправляется запрос роботу Googlebot о переиндексации вашей веб-страницы.
Старайтесь постоянно улучшать свой сайт. Даже самые незначительные изменения в старых статьях, добавление новых изображений, несколько новых предложений в содержании положительно сказываются на ускорение индексации поисковыми роботами.
Индексация сайта | 8 способов быстро проиндексировать сайт
15 мин — время чтения
Мар 25, 2020
Поделиться
Чем быстрее страницы вашего сайта проиндексирует поисковик, тем быстрее они попадут в выдачу.
У Google на процесс индексирования уходит от пары минут до семи дней. Заранее определить сроки индексации никто не может — все зависит от вашего сайта. Но есть несколько способов ускорить процесс.
Методы быстрой индексации особенно пригодятся сайтам:
- с большим количеством страниц;
- которые часто обновляют свой контент;
- владельцы которых внесли очень важные правки и хотят тут же видеть обновленные страницы в выдаче.
Перейдем к сути — что может сделать владелец сайта, чтобы поисковики как можно быстрее проиндексировали его сайт.
1. Отправьте страницы на индексацию в Google Search Console
Чтобы страницы как можно быстрее попали под радар поисковика, используйте Google Search Console. Он поможет владельцам сайтов следить за состоянием индексации, изучать ошибки во время сканирования и оптимизировать сайты.
Первые шаги в работе с Google Search Console — добавить туда свой ресурс и подтвердить право собственности. Начать можно здесь, используя подсказки. Первые данные о вашем сайте можно будет увидеть в консоли уже через пару дней.
Чтобы проверить статус индексации новой страницы, выберите на левой панели «Проверка URL» или введите нужный URL-адрес в поисковое поле сверху. Вот так просто.
После отправки URL на проверку вы увидите, проиндексирована ли эта страница, а также ошибки, связанные с AMP, разметкой и индексацией.
Если страница не проиндексирована, вы можете запросить визит робота Googlebot и отслеживать статус индексирования.
Инструмент «Проверка URL» подходит для индексации как новых страниц, так и тех, которые вы обновили.
2. Используйте преимущества карты сайта
Карта сайта XML служит навигатором для поисковых роботов, и это можно использовать для ускорения индексации.
Карта помогает поисковым роботам быстрее находить страницы сайта и быстрее их индексировать. То есть, чтобы сообщить поисковикам о том, какие страницы на вашем сайте доступны для сканирования, добавьте их в файл sitemap.xml, а ссылку на сам файл — в специальный раздел панели для веб-мастеров (ниже добавлю инструкцию).
Карта XML для поисковых систем — рекомендация, а не строгая инструкция. Она не гарантирует, что все добавленные страницы будут проиндексированы, но может действительно помочь большим сайтам быстрее и полнее проиндексироваться.
Несколько советов по созданию карты
Чтобы карта лучше сработала, она должна быть хорошо структурирована и размечена для поисковика.
Отмечайте обновленные страницы с помощью тега <lastmod> для добавления действительной даты последнего изменения, а не одной и той же даты для всех страниц.
Укажите приоритетность страниц для сканирования с помощью тега <priority> (от 0 до 1) и частоту изменений страницы (с помощью тега <changefreq>). Так поисковики получат полную информацию о вашем ресурсе. Но учтите, что частота изменений страницы может не соответствовать тому, как часто ее будут сканировать поисковые роботы. Google в настоящее время не учитывает атрибуты <priority> и <changefreq>, и поэтому их не обязательно добавлять.
Создайте отдельные карты сайта для изображений, видео, новостей, если на вашем сайте много таких материалов. Такое сегментирование поможет поисковым роботам найти контент, который сложно обнаружить с помощью обычных методов сканирования (например, он загружается через JavaScript). На большом сайте отдельные карты могут пригодиться даже для разделов и подкатегорий.
Создайте несколько карт сайта, если у вас больше 50 000 страниц или размер карты больше 50 МБ. Созданные карты нужно поместить в один индекс, в котором будут ссылки на все созданные XML-файлы.
Как создать карту сайта и добавить ее в панели веб-мастеров
Создать XML-карту помогут разные веб-инструменты и программы. Эта опция есть и в SE Ranking — в разделе «Аудит сайта».
В этом инструменте можно выбрать, какие типы страниц включить в карту, указать частоту изменения страниц и приоритет сканирования для страниц разного уровня.
Файл с картой нужно добавить на сам сайт (загрузить в корень сайта https://yoursite/sitemap. xml), а затем отправить в Google.
Чтобы отправить карту в Google Search Console, укажите ссылку на размещенную на вашем сайте карту. Сделать это можно в разделе «Файлы Sitemap».
Как только карта сайта будет просканирована роботами, вы получите отчет о том, какие страницы сайта попали в индекс поисковика и какие ошибки были при этом обнаружены.
3. Соберите качественные обратные ссылки
Чем больше качественных обратных ссылок у вашего веб-сайта, тем больше причин у поисковых роботов обратить на него внимание. Ведь если кто-то ссылается на ваши страницы, значит, они кому-то важны.
Для индексации лучше всего работают ссылки из соцсетей и новостных порталов. Дело в том, что они популярны, часто обновляют контент и, тем самым, «стимулируют» поисковых роботов как можно чаще сканировать ресурс. Если ваша ссылка появилась на таком сайте, ее, скорее всего, быстро обнаружит поисковый робот ― шансы есть даже у nofollow-ссылок.
Кстати, в этом году Google изменил правила для nofollow-ссылок. С 1 марта 2020 атрибут nofollow становится рекомендательным. Это значит, есть вероятность, что поисковик будет переходить по nofollow-ссылкам и индексировать их.
Как же получать качественные ссылки с других ресурсов? Начните с разработки стратегии по получению бэклинков. Несколько идей: разместите ссылку на ваш ресурс на тематических форумах, сервисах вопросов и ответов, сайтах-агрегаторах и т.д. Пробуйте все подходящие (и законные) способы.
Если идеи по получению ссылок уже закончились, можно подсмотреть их у ваших конкурентов — собрать площадки для потенциального размещения бэклинков из ссылочного профиля сайта-конкурента. С этим поможет разобраться инструмент «Анализ обратных ссылок» от SE Ranking.
Что нужно делать? Все просто — зарегистрируйте бесплатный пробный аккаунт, откройте «Анализ обратных ссылок» и введите в поисковое поле URL домена конкурента.
Увидите список сайтов, которые ссылаются на вашего конкурента. Сможете оценить контекст, в котором дана ссылка, якорный текст и параметры ресурса. Все нужные данные в одной таблице — так отобрать доноров ссылок гораздо быстрее.
Отдельно стоит сказать о соцсетях.
Поисковые роботы активно «мониторят» соцсети, потому что новые материалы там появляются каждую секунду. Чтобы использовать эту особенность для своего сайта, нужно укрепить его присутствие на социальных площадках.
Просто добавить ссылку на сайт в шапку профиля не достаточно. Чтобы поисковой робот заинтересовался страницей компании, она должны быть популярной — иметь подписчиков, лайки, комментарии и репосты.
Еще ссылки на сайт и страницы можно размещать в постах, комментариях, описаниях к мультимедийным файлам, заметках, личных профилях (например, как место работы или партнерство), группах и сообществах (как ваших, так и чужих по вашей теме). Главное позаботиться о том, чтобы ссылки были к месту.
На первом месте по скорости сканирования ссылок Twitter — он быстро индексируется Google. Также поисковик индексирует ссылки с активных страниц в Facebook.
Общее правило индексации разных соцсетей поисковиками — чем больше социальной активности вы привлечете на свои публикации, тем больше у вас шансов «пригласить» краулеров соцсетей. А они ходят в гости парами, приглашая с собой на ваши страницы роботов поисковых систем.
4. Увеличьте скорость загрузки сайта
Есть такой понятие — краулинговый бюджет. Оно означает максимальное количество страниц, которое поисковой робот может просканировать за один визит. И чем дольше грузятся ваши страницы, тем меньше поисковые роботы просканируют за один раз.
Именно поэтому скорость загрузки так важна для индексации страниц.
Вы можете оценить скорость загрузки любой страницы на вашем сайте с помощью инструмента PageSpeed Insights. Он покажет вам данные по скорости, что можно улучшить и сколько времени вы сэкономите при дальнейших загрузках, если исправите обнаруженные ошибки.
Если вы хотите узнать скорость всех страниц сайта, перейдите в Google Search Console → Улучшения → Отчет о скорости загрузки. Страницы будут разделены по группам — с низкой, средней и высокой скоростью для компьютера и мобильных.
Посмотрите на страницы «с низкой скоростью» — увидите, какие проблемы поисковик обнаружил при сканировании. Устранив описанные проблемы, можно нажать «Проверить исправление» и следить за ходом проверки.
Здесь вы сможете проверить среднее время загрузки всего сайта, время загрузки каждой отдельной страницы и турбо-страниц. Данные в отчете показаны для каждого этапа загрузки страницы (обработка запросов к DNS, обработка HTTP-редиректов, продолжительность установки соединения с браузером, ответ сервера, время загрузки и парсинга HTML и т.д.). Обнаружив самый долгий этап, вы можете начать с оптимизации его загрузки в первую очередь.
5. Выстройте хорошую перелинковку и навигацию по сайту
Внутренняя перелинковка сайта построит ссылочные мостики для поисковых ботов и «поведет» их в нужном направлении — от одной страницы вашего сайта к следующей и т.д. Воспользуйтесь тем, что краулеры с большей вероятностью быстрее просканируют «популярные» страницы (с большим ссылочным весом и трафиком). И если на этих популярных страницах есть ссылки на новые, поисковики перейдут по ним и быстрее их просканируют. Чтобы это работало, нужно настроить правильную перелинковку.
Главное, чтобы внутренние ссылки были релевантными и не сбивали пользователей с толку. Но даже самая удачная перелинковка может со временем перестать работать — поэтому очень важно периодически проверять, как с ней обстоят дела на вашем сайте. Рекомендую воспользоваться понятной рабочей инструкцией в нашем блоге, где по полочкам разложено, как проанализировать внутреннюю перелинковку вашего ресурса и найти все связанные с ней ошибки.
Другой важный момент — навигация на сайте. Она тоже влияет на скорость сканирования и индексации. Основные правила хорошей навигации: будьте логичными и последовательными, добавьте хлебные крошки, старайтесь сокращать путь к страницам до 3 кликов, откажитесь от меню на скриптах и flash, чтобы не усложнять процесс сканирования.
Помните, что ваш сайт должен быть простым и понятным как для поисковых роботов, так и для посетителей.
6. Регулярно публикуйте и обновляйте контент
Поисковикам нет смысла заходить на ваш сайт, если на нем ничего не меняется. Если же свежий контент появляется на вашем сайте регулярно, поисковые боты тоже зачастят на ваш веб-ресурс.
Вы можете создать график публикаций новых страниц на сайте (например, статей или обзоров в блоге) и придерживаться этого плана. Но не стоит публиковать новый контент ради «галочки» — он должен нести ценность для читателей вашего ресурса и не повторять то, что уже есть на сайте.
Много похожих страниц негативно отразятся на индексации всего сайта, особенно если речь идет о больших ресурсах. Также не в вашу пользу сработают публикации, в которых есть неуникальный контент, плохой рерайт, мало смысла и много воды.
Что можно предпринять, чтобы контент на вашем сайте помог с ускорением индексации:
- публикуйте новый контент как минимум раз в неделю;
- проставьте ссылки между новыми и старыми материалами;
- обновляйте устаревшую информацию на сайте;
- убедитесь, что публикуете качественный и уникальный контент.
7. Используйте сервисы пингования
Пингование — еще один способ оповещения поисковых систем о новом контенте. Когда вы отправляете пинг (сигнал), вы как будто «призываете» поисковых роботов прийти и проверить новый контент на вашем сайте.
Специальные пинг-сервисы, например Pingomatic, Pingler, Pingoat, встраиваются в движок вашего сайта и автоматически отправляют пинги поисковым системам, ускоряя процесс индексации.
В админке WordPress предусмотрена такая функция — в настройках нужно выбрать Написание → Сервисы обновления — и там указать список пинг-сервисов.
При использовании таких инструментов обязательно добавляйте только свежий контент и важные обновления, а также не переусердствуйте с отправлением пингов, чтобы поисковики не решили, что вы их спамите. Если планируете использовать автоматическое оповещение, вам пригодятся специальные WP-плагины для кастомной настройки пингования ― как часто отправлять пинги, после каких правок и т.д.
8. Добавьте сайт в RSS-агрегаторы
Сообщать поисковикам о новом контенте на вашем сайте можно через RSS-агрегаторы.
RSS — это формат для публикации новостей, который отлично подходит для отслеживания изменений на сайте без необходимости заходить на сам ресурс. Его используют для создания новостных лент (RSS feed), которые отображаются в самых разных RSS-агрегаторах, рейтингах и каталогах.
Чтобы создать новостную ленту для вашего сайта (пример для WordPress), просто добавьте в адрес вашего ресурса слово feed — получится что-то вроде https://yoursite/feed.
Следующий шаг — зарегистрировать вашу ленту в FeedBurner. Это сервис Google, который приводит все новостные ленты к стандартному формату и помогает ее настроить.
Теперь вы готовы добавлять сгенерированную в FeedBurner ленту в различные агрегаторы и каталоги.
Среди бесплатных RSS-агрегаторов, куда можно добавить свою новостную ленту:
- Subscribe.ru
- Sozdanie
Несколько рейтингов, куда можно добавить свою ленту:
- Топ-100 Рамблер
- Top.Mail.Ru
- Liveinternet
Обычно для добавления ленты в агрегатор достаточно указать название самой ленты, ее описание, URL сайта, ваш email и категорию (тематику новостей).
После добавления новостной ленты в RSS-агрегаторы все анонсы ваших материалов будут появляться там автоматически, привлекая поисковых роботов на ваш ресурс.
Действовать или ждать
Процесс сканирования и индексирования сайта требует вашего постоянного внимания и контроля. Если вы обнаружили проблемы с индексацией, не ждите, пока поисковики сами все решат.
Нужно действовать! Пробуйте методы ускорения индексации, о которых я писала выше ― каждый из них может дать «зеленый свет» для поисковых роботов. Осталось только выбрать наиболее подходящий вариант или комбинацию способов для вашего ресурса.
Уже пробовали какой-то из них или знаете другой рабочий прием? Пожалуйста, поделитесь с нами в комментариях. И пусть ни одна важная страница на вашем сайте не останется без индексации!
487 views
11 SEO-советов и приемов для улучшения индексации поиска
В SEO-игре так много движущихся частей, что часто кажется, что как только мы закончим оптимизацию одной части веб-сайта, мы должны вернуться к той части, на которой мы были просто работаю.
После того, как вы вышли из стадии «Я здесь новенький» и почувствовали, что у вас есть реальный опыт SEO за плечами, вы можете начать чувствовать, что есть некоторые вещи, на исправление которых можно тратить меньше времени.
Индексируемость и краулинговые бюджеты могут быть двумя из этих вещей, но забыть о них было бы ошибкой.
Мне всегда нравится говорить, что веб-сайт с проблемами индексации — это сайт по-своему; этот веб-сайт непреднамеренно говорит Google не ранжировать его страницы, потому что они загружаются неправильно или перенаправляют слишком много раз.
Если вы думаете, что не можете или не должны посвящать время явно не такой гламурной задаче исправления индексируемости вашего сайта, подумайте еще раз.
Проблемы с индексируемостью могут привести к резкому падению рейтинга и быстрому прекращению посещаемости сайта.
Итак, ваш краулинговый бюджет должен быть на первом месте.
В этом посте я дам вам 11 советов, которые следует учитывать при улучшении индексируемости вашего веб-сайта.
1. Отслеживайте статус сканирования с помощью Google Search Console
Ошибки в статусе сканирования могут указывать на более серьезную проблему на вашем сайте.
Проверка состояния сканирования каждые 30–60 дней важна для выявления потенциальных ошибок, влияющих на общую маркетинговую эффективность вашего сайта.
Это буквально первый шаг SEO; без него все остальные усилия ничтожны.
Прямо на боковой панели вы сможете проверить статус сканирования на вкладке индекса.
Скриншот автора, май 2022 г.
Скриншот автора, май 2022 г.
Теперь, если вы хотите закрыть доступ к определенной веб-странице, вы можете напрямую сообщить об этом в Search Console. Это полезно, если страница временно перенаправлена или имеет ошибку 404.
Параметр 410 навсегда удалит страницу из индекса, поэтому остерегайтесь использования ядерной опции.
Распространенные ошибки сканирования и решения
Если на вашем веб-сайте возникла ошибка сканирования, это может потребовать простого решения или указывать на гораздо более серьезную техническую проблему на вашем сайте.
Наиболее распространенные ошибки сканирования, которые я вижу:
- Ошибки DNS.
- Ошибки сервера.
- Ошибки robots.txt.
- 404 ошибки.
Снимок экрана, сделанный автором, май 2022 г.
Чтобы диагностировать некоторые из этих ошибок, вы можете использовать инструмент проверки URL, чтобы увидеть, как Google просматривает ваш сайт.
Неспособность правильно получить и отобразить страницу может указывать на более глубокую ошибку DNS, которую должен устранить ваш провайдер DNS.
Скриншот автора, май 2022 г.
Устранение ошибки сервера требует диагностики конкретной ошибки. К наиболее распространенным ошибкам относятся:
- Тайм-аут.
- В соединении отказано.
- Ошибка подключения.
- Тайм-аут соединения.
- Нет ответа.
В большинстве случаев ошибка сервера обычно носит временный характер, хотя для постоянной проблемы может потребоваться обращение напрямую к хостинг-провайдеру. 9С другой стороны, ошибки 0003
Robots.txt могут создать больше проблем для вашего сайта. Если ваш файл robots.txt возвращает ошибку 200 или 404, это означает, что поисковые системы не могут найти этот файл.
Вы можете отправить карту сайта robots.txt или вообще отказаться от протокола, решив вручную не индексировать страницы, которые могут быть проблематичными для сканирования.
Быстрое устранение этих ошибок гарантирует, что все ваши целевые страницы будут просканированы и проиндексированы при следующем сканировании вашего сайта поисковыми системами.
2. Создайте веб-страницы, удобные для мобильных устройств
С появлением индекса для мобильных устройств мы также должны оптимизировать наши страницы, чтобы отображать копии, оптимизированные для мобильных устройств, в мобильном индексе.
Хорошей новостью является то, что копия для настольных компьютеров по-прежнему будет индексироваться и отображаться в индексе для мобильных устройств, если не существует копии для мобильных устройств. Плохая новость заключается в том, что в результате может пострадать ваш рейтинг.
Существует множество технических настроек, которые могут мгновенно сделать ваш сайт более удобным для мобильных устройств, в том числе:
- Внедрение адаптивного веб-дизайна.
- Вставка метатега точки обзора в содержимое.
- Минимизация ресурсов на странице (CSS и JS).
- Пометка страниц с помощью кэша AMP.
- Оптимизация и сжатие изображений для ускорения загрузки.
- Уменьшение размера элементов пользовательского интерфейса на странице.
Обязательно протестируйте свой веб-сайт на мобильной платформе и запустите его с помощью Google PageSpeed Insights. Скорость страницы является важным фактором ранжирования и может влиять на скорость, с которой поисковые системы могут сканировать ваш сайт.
3. Регулярно обновляйте контент
Поисковые системы будут сканировать ваш сайт более регулярно, если вы будете регулярно публиковать новый контент.
Это особенно полезно для издателей, которым необходимо регулярно публиковать и индексировать новые статьи.
Регулярное создание контента сигнализирует поисковым системам о том, что ваш сайт постоянно совершенствуется и публикует новый контент, и поэтому его необходимо чаще сканировать, чтобы охватить целевую аудиторию.
4. Отправьте карту сайта в каждую поисковую систему
Одним из лучших советов по индексации на сегодняшний день остается отправка карты сайта в Google Search Console и Bing Webmaster Tools.
Вы можете создать XML-версию с помощью генератора карты сайта или создать ее вручную в Google Search Console, пометив каноническую версию каждой страницы, содержащей повторяющийся контент.
5. Оптимизируйте схему перелинковки
Создание согласованной информационной архитектуры имеет решающее значение для обеспечения того, чтобы ваш веб-сайт был не только правильно проиндексирован, но и правильно организован.
Создание основных категорий услуг, в которых могут размещаться связанные веб-страницы, может дополнительно помочь поисковым системам правильно индексировать содержимое веб-страниц в определенных категориях, когда цель может быть неясной.
Снимок экрана, сделанный автором, май 2022 г.
Если веб-страница на вашем сайте или субдомен созданы изолированно или из-за ошибки, не позволяющей их сканировать, вы можете проиндексировать их, получив ссылку на внешнем домене.
Это особенно полезная стратегия для продвижения нового контента на вашем веб-сайте и его более быстрого индексирования.
Остерегайтесь синдицированного контента для достижения этой цели, так как поисковые системы могут игнорировать синдицированные страницы, и это может привести к повторяющимся ошибкам, если они не будут должным образом канонизированы.
7. Сократите ресурсы на странице и увеличьте время загрузки
Принуждение поисковых систем к сканированию больших и неоптимизированных изображений израсходует ваш краулинговый бюджет и помешает индексировать ваш сайт так часто.
Поисковые системы также испытывают трудности при сканировании определенных внутренних элементов вашего веб-сайта. Например, Google исторически изо всех сил пытался сканировать JavaScript.
Даже некоторые ресурсы, такие как Flash и CSS, могут плохо работать на мобильных устройствах и расходовать ваш краулинговый бюджет.
В некотором смысле это проигрышный сценарий, когда скорость страницы и краулинговый бюджет приносятся в жертву навязчивым элементам на странице.
Обязательно оптимизируйте свою веб-страницу для повышения скорости, особенно для мобильных устройств, путем минимизации ресурсов на странице, таких как CSS. Вы также можете включить кэширование и сжатие, чтобы пауки быстрее сканировали ваш сайт.
Скриншот автора, май 2022 г.
8. Исправление страниц с тегами Noindex
В ходе разработки вашего веб-сайта может иметь смысл реализовать тег noindex на страницах, которые могут дублироваться или предназначены только для пользователей, которые выполняют определенные действия.
Несмотря на это, вы можете идентифицировать веб-страницы с тегами noindex, которые препятствуют их сканированию, с помощью бесплатного онлайн-инструмента, такого как Screaming Frog.
Плагин Yoast для WordPress позволяет легко переключать страницу с индекса на безиндексный. Вы также можете сделать это вручную в бэкенде страниц вашего сайта.
9. Установите пользовательскую скорость сканирования
В старой версии Google Search Console вы можете замедлить или настроить скорость сканирования, если поисковые роботы Google негативно влияют на ваш сайт.
Это также дает вашему веб-сайту время для внесения необходимых изменений, если он подвергается значительному изменению дизайна или миграции.
Снимок экрана, сделанный автором, май 2022 г.
10. Устранение повторяющегося контента
Наличие большого количества дублированного контента может значительно снизить скорость сканирования и израсходовать бюджет сканирования.
Вы можете устранить эти проблемы, либо заблокировав эти страницы от индексации, либо разместив канонический тег на странице, которую вы хотите проиндексировать.
В том же духе стоит оптимизировать метатеги каждой отдельной страницы, чтобы поисковые системы не принимали похожие страницы за дублирующийся контент при сканировании.
11. Блокируйте страницы, которые не должны сканировать пауки
Могут быть случаи, когда вы хотите запретить поисковым системам сканировать определенную страницу. Вы можете сделать это следующими способами:
- Размещение тега noindex.
- Размещение URL-адреса в файле robots.txt.
- Полное удаление страницы.
Это также может помочь вашему сканированию работать более эффективно, вместо того, чтобы вынуждать поисковые системы просматривать дублирующийся контент.
Заключение
Состояние проблем со сканированием вашего веб-сайта будет в большей или меньшей степени зависеть от того, насколько вы следите за своим собственным SEO.
Если вы постоянно возитесь с бэкендом, возможно, вы заметили эти проблемы до того, как они вышли из-под контроля и начали влиять на ваш рейтинг.
Если вы не уверены, запустите быстрое сканирование в Google Search Console, чтобы узнать, как у вас дела.
Результаты действительно могут быть образовательными!
Дополнительные ресурсы:
- 14 главных причин, почему Google не индексирует ваш сайт
- Как поисковые системы сканируют и индексируют: все, что вам нужно знать
- Полное руководство по поисковой оптимизации на странице
Избранное изображение: Эрни Джейнс/Shutterstock
Категория SEO Техническое SEO
Как заставить Google быстрее сканировать ваш сайт • Yoast
Вопрос, который часто возникает у сайтов, занимающихся «горячими темами», заключается в следующем: как заставить Google быстрее сканировать наш сайт? Это может быть связано либо с тем, что у вас большой сайт и вы хотите быстрее видеть изменения, либо с тем, что вы оптимизируете новостной сайт. Есть несколько вещей, которые вы можете сделать, чтобы улучшить скорость сканирования. Мы расскажем о них в этом посте.
Существует несколько возможных причин медленного сканирования вашего сайта Google. Первый может показаться очевидным: если Google не находит достаточного количества (качественных) ссылок, указывающих на ваш сайт, он не считает ваш сайт очень важным. Другие причины носят технический характер: Google слишком много сканирует на вашем сайте, ваш сайт работает слишком медленно или обнаруживает слишком много ошибок.
У вашего сайта недостаточно полномочий
Если на вашем сайте недостаточно качественных входящих ссылок, Google не сможет быстро просканировать ваш сайт. Вы можете себе представить, что он не обязательно хочет проводить много времени на сайте, который не считает важным. Когда ваш сайт совершенно новый, это будет иметь место.
Итак, когда вам нужно больше действий по сканированию вашего сайта, начните создавать ссылки. Мы уже писали на эту тему раньше, я бы посоветовал прочитать эти три поста. Они охватывают то, что вам нужно знать, чтобы начать работу, поэтому я не буду вдаваться в подробности здесь:
- Создание ссылок с точки зрения целостного SEO
- 5 Создание ссылок НЕТ, о которых вы не знали
- 6 Шаги к успешной стратегии построения ссылок
Если вам недостаточно трех вышеприведенных постов, в нашем архиве построения ссылок есть еще.
Технические причины медленного сканирования
Технические причины медленного сканирования вашего сайта Google можно разделить на три группы: ваш сайт работает слишком медленно, у вас слишком много ошибок или у вас слишком много URL-адресов.
Ваш сервер работает медленно
Основная причина, по которой Google медленно сканирует сайты, заключается в том, что сам сайт на самом деле работает медленно. Если ваш веб-сайт медленно отвечает на запросы или загружает много громоздких ресурсов, Google может намеренно снизить частоту и глубину сканирования (или ограничить бюджет сканирования), чтобы предотвратить поломку.
Если это так, у вас, вероятно, большие проблемы со скоростью сайта, и вам следует прочитать о том, как измерить скорость вашего сайта и как ее ускорить!
Слишком много ошибок на вашем сайте
Если на вашем сайте много ошибок для Google, Google тоже начнет сканировать медленно. Чтобы ускорить процесс сканирования, исправьте эти ошибки. Просто 301 перенаправьте эти страницы с ошибками на правильные URL-адреса на вашем сайте. Если вы не знаете, где найти эти ошибки: войдите в Google Search Console. Если у вас есть доступ к журналам доступа к вашему сайту, вы также можете просмотреть их, желательно с помощью такого инструмента, как анализатор файлов журналов Screaming Frog. Чтобы ваш сайт не сканировался медленно, важно регулярно проверять ошибки на сайте и исправлять их. У нас есть более обширная статья об устранении ошибок 404, которая поможет вам в этом.
Когда ваш сайт слишком часто недоступен, Google также будет невероятно сильно замедляться. Если это происходит из-за вашего хостинга, смените хостинг. Обязательно проверьте время безотказной работы вашего сайта с помощью такого инструмента, как Pingdom.
Слишком много URL-адресов
Если на вашем сайте просто слишком много URL-адресов, Google может сканировать много, но этого никогда не будет достаточно. Это может произойти, например, из-за фасетной навигации по поиску или из-за другой системы на вашем сайте, которая просто генерирует слишком много URL-адресов. Чтобы выяснить, относится ли это к вам, всегда полезно регулярно сканировать собственный сайт. Вы можете сделать это вручную с помощью SEO-паука Screaming Frog или с помощью такого инструмента, как Ryte.
Советы по увеличению скорости сканирования
Несколько простых советов по увеличению скорости сканирования вашего сайта:
- Используя указанные выше методы, найдите и исправьте все ошибки.
- Убедитесь, что ваш сайт быстр.
- Добавьте карту сайта в формате XML на свой сайт и отправьте ее в поисковые системы.
- Если все это не помогло улучшить скорость сканирования, начните создавать ссылки!
Специально для новостных сайтов, если вы хотите, чтобы они индексировались быстрее, вам также следует обратить внимание на наш плагин News SEO. Когда вы находитесь в Новостях Google (или хотите быть в них), это может помочь убедиться, что вы соответствуете всем техническим требованиям.
Подробнее: Скорость сайта: инструменты и предложения »
Йоост де Валк
Йоост де Валк — основатель Yoast. После продажи Yoast он перестал быть активным на постоянной основе и теперь выступает в качестве советника компании. Он интернет-предприниматель, который вместе со своей женой Марике активно инвестирует и консультирует несколько стартапов. Его основная специализация — разработка программного обеспечения с открытым исходным кодом и цифровой маркетинг.
Далее!
- Событие
День доступности WordPress 2022
02 — 03 ноября 2022 г.