Почему гугл не индексирует сайт: Почему не индексируется сайт в Google

alexxlab

Содержание

Почему не индексируется сайт в Google

В прошлой статье «Как добавить сайт в поисковые системы» мы рассказали, как сообщить поисковым роботам о новом сайте или страницах. Но после добавления сайта в поисковые системы, он все еще может не индексироваться в Google. Что еще хуже, поисковые роботы сканировали сайт раньше, но теперь сайт не индексируется.

Единственный выход в этой ситуации ― проверить возможные причины, которые влияют на индексацию сайта. Об этих причинах расскажем в статье.

Почему не индексируется сайт в Google:
  1. Сайт закрыт от индексации в Robots.txt
    1. Как проверить Robots.txt
  2. Метатеги Robots
    1. Как проверить метатеги Robots
  3. Файл .htaccess
  4. Rel Canonical
    1. Как проверить наличие тегов rel=”canonical” 
  5. X‑Robots-Tag
    1. Как проверить наличие X‑Robots-Tag на страницах сайта
  6. Долгий ответ сервера
    1. Как проверить время ответа сервера
    2. Возможные причины долгого ответа сервера
  7. Неверный ответ сервера
    1. Как проверить ответ сервера
  8. Некачественный контент
  9. Проблемы на стороне поисковых систем
  10. Кратко: почему страницы сайта не индексируются в Google

Сайт закрыт от индексации в Robots.

txt

Одна из самых распространенных причин, из-за которой сайт не индексируется ― запрет на индексацию в файле robots.txt. Часто разработчики сайта хранят тестовую версию на отдельных доменах или поддоменах. Тестовый сайт закрывают от индексации с помощью robots.txt. Когда сайт уже готов, содержимое тестовой версии вместе с файлом robots.txt попадает на рабочий домен. Файл robots.txt забывают изменить и сайт становится недоступным для поисковых роботов.

Файл robots.txt находится в корневой папке сайта — https://mysupersite.com/robots.txt

Если страница закрыта от индексации, содержимое файла может выглядеть следующим образом:

Если у вас сайт на CMS WordPress, проверьте настройки индексации в панели управления сайтом. Зайдите в раздел

Настройки → Чтение. Поле Видимость для поисковых систем должно быть пустым:

Как проверить Robots.txt

При помощи следующих инструментов можно проверить не закрыт ли через robots. txt от индексации сайт или определенные страницы:

  1. Инструменты проверки robots.txt

👉 Инструмент от Google

Предварительно нужно добавить сайт в панель вебмастеров Google, чтобы проверить robots.

👉 Для проверки также можно воспользоваться сторонними сервисами, например

  • https://technicalseo.com/tools/robots-txt/ 
  • https://sitechecker.pro/ru/robots-tester/
  • https://www.websiteplanet.com/ru/webtools/robots-txt/
  1. Инструменты для вебмастеров

Если еще не пользуетесь данными сервисами, читайте статью: Как добавить сайт в инструменты веб-мастеров.

В Google Search Console перейдите в раздел Индексирование → Страницы → таблица Почему эти страницы не индексируются.

  1. Программы для проведения аудита внутренней оптимизации сайта

После сканирования сайта или определенных страниц, в результатах отчета будут показаны страницы, которые недоступны для индексации:

Screaming Frog SEO Spider

Netpeak Spider

 Читайте также: SEO-сервисы для анализа и проверки сайта 

Метатеги Robots

Проверьте наличие метатега robots в коде страницы. Его размещают между тегами <head></head>. Выглядеть этот тег может следующим образом:

<meta name=“robots” content=“noindex”>

Метатег robots сообщает поисковым роботам о том, что страницу индексировать не нужно. 

Как проверить метатеги Robots

  1. Инструменты для вебмастеров

В Google Search Console перейдите в раздел Индексирование → Страницы → таблица Почему эти страницы не индексируются.

  1. Программы для проведения аудита внутренней оптимизации сайта

Обнаружить страницы, которые закрыты от индексации с помощью метатегов robots, можно с помощью программ для аудита внутренней оптимизации сайта.

Screaming Frog SEO Spider

Netpeak Spider

Быстрые серверы, удобная панель управления и заботливая поддержка 24/7 🔥

Смотреть тарифы

При заказе хостинга на полгода — зарегистрируем 🎁 домен в подарок!
При покупке на год — скидка 30%

☝️ Гарантируем вернуть деньги в течение 30 дней, если вам что-то не понравилось или не подошло.

Файл .htaccess

Файл .htaccess содержит правила работы веб-сервера. Обычно этот файл размещают в корневой директории веб-сервера (/public_html) либо в корневой директории сайта (/public_html/mysupersite.com/).

С помощью некоторых правил в .htaccess можно закрыть сайт от индексации. Например, можно закрыть доступ для всех посетителей, кроме нужного IP адреса:

order allow,deny
deny from all
allow from IP

Или можно разрешить доступ всем, кроме нужного IP:

order allow,deny
deny from UndesiredIP
allow from all

Проверьте файл .htaccess на вашем сервере, возможно в нем прописаны запрещающие правила для индексирования.

Более подробно узнать о директивах и правилах можно в нашей статье: Файл htaccess.

Rel Canonical

Тег rel=”canonical” применяют на страницах с одинаковым содержимым. Этот тег указывает поисковым роботам адрес страницы, которая является основной.

Рассмотрим на примере две страницы, которые имеют одинаковое содержание:

  • https://mysupersite. com/original-page/ — основная страница;
  • https://mysupersite.com/dublicat-page/ — страница с дублирующим содержанием.

Чтобы в индексе была основная страница, можно применить тег rel=”canonical”. В html код страницы https://mysupersite.com/dublicat-page/ между тегами <head></head> нужно добавить следующий тег:

<link rel="canonical" href="https://mysupersite.com/original-page/" />

Если ваша страница или страницы не индексируются, проверьте наличие тега rel=”canonical” в html-коде и его корректность.

Статья по теме:

10 лучших бесплатных HTML-редакторов

Читать статью

Как проверить наличие тегов rel=”canonical” 

  • Google Search Console в разделе Проверка URL.
  • Screaming Frog, Netpeak Spider или другие подобные программы

X‑Robots-Tag

X‑Robots-Tag ― это директива в заголовках ответа сервера, с помощью которой можно запретить роботам индексировать конкретные страницы или файлы. Пример HTTP-ответа сервера с директивой X‑Robots-Tag, которая запрещает индексацию страницы:

HTTP/1.1 200 OK
Date: Tue, 19 May 2020 22:34:11 GMT
(…)
X-Robots-Tag: noindex
(…)

Этот тег можно использовать в конфигурации сервера. На серверах Apache он добавляется в файл .htaccess, на серверах Nginx в файл conf.

Рассмотрим на примере, как выглядит запрет на индексацию файлов .doc через X-Robots-Tag:

Фрагмент кода в файле .htaccess для сервера Apache

<Files ~ "\.doc$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

Фрагмент кода в файле conf для сервера Nginx

location ~* \.doc$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

Дополнительную информацию о данном HTTP-заголовке можно получить в справке Google.

Как проверить наличие X‑Robots-Tag на страницах сайта

Плагин Web Developer для браузеров:

  • Chrome
  • Firefox

Сервисы или программы для аудита сайта — Screaming Frog, Netpeak Spider и другие аналоги:

Долгий ответ сервера

Время ответа сервера ― это время, за которое запрос клиента в браузере доходит до сервера и клиент получает ответ сервера. Время отклика измеряется в TTFB (Time To First Byte) ― время до первого байта, или сколько миллисекунд прошло между вашим запросом и ответом сервера. Google рекомендует стремиться к тому, чтобы время отклика было менее 200 миллисекунд. TTFB больше 500 мс уже является проблемой.

Если при обращении поискового робота к серверу, он получает долгий ответ, то робот может не просканировать часть страниц. 

Как проверить время ответа сервера

Проверить время ответа сервера можно с помощью сервисов:

  • webpagetest.org
  • gtmetrix.com
  • dotcom-tools.com
Статья по теме:

Как проверить скорость сайта с помощью GTmetrix

Читать статью

Возможные причины долгого ответа сервера

Среди возможных причин можно выделить следующие:

  • недостаточный объем ресурсов сервера: слабый процессор, недостаточно памяти;
  • не оптимизирована работа сервера;
  • отсутствие оптимизации скорости загрузки сайта. Не минимизированы файлы CSS/JS, не сжаты изображения и т. д.
  • отсутствие кэширования.

Полезные статьи по теме:

8 способов увеличить скорость загрузки сайта

Как повысить показатель PageSpeed — наш опыт и советы

Как ускорить работу сайта на WordPress

Если вы оптимизировали скорость загрузки сайта, но у вас остались проблемы с долгим ответом сервера, стоит попробовать другие хостинги. Например, мы предлагаем виртуальный хостинг с серверами в Украине, Нидерландах и США.

Ваш сайт более требовательный и нужно больше мощностей? Не проблема. У нас есть VIP пакеты с большим объемом ресурсов или можно взять VPS. 

Возьмите хостинг на тест и проверьте сами. 30 дней бесплатно! 🔥

Пробуйте надежный хостинг с  аптаймом 99,5%!
Наша теплая поддержка на связи 24/7

Тестировать 30 дней бесплатно

Неверный ответ сервера

Проверьте код ответа сервера. Убедитесь, что нужные вам страницы отдают код 200. Этот код означает, что страница доступна на сервере.  

Как проверить ответ сервера

Проверить ответ сервера можно с помощью инструментов:

  • Google Search console 
  • httpstatus.io 
  • Netpeak Spider, Screaming Frog или другие подобные программы.

Также можно использовать различные плагины для браузеров или можно проверить в самом браузере ― F12+вкладка Network.

Некачественный контент

Если ваши страницы содержат контент, который не имеет ценности для пользователя, то поисковые роботы могут не индексировать их. В англоязычных статьях можно встретить термин thin content, который описывает данные страницы.

Примером такого контента может быть:

  • дублированный контент;
  • скопированный контент;
  • автоматически сгенерированный контент;
  • неинформативные страницы с партнерскими ссылками;
  • дорвеи 💡Дорвей — это сайт, который пытается искусственно получить много посетителей и высокий рейтинг в поисковых системах. Для этого разработчики прячут в код ключевые слова, накручивают ссылки и дублируют контент. Это запрещенная практика, за которую поисковые системы наказывают сайты..

Больше деталей про описание некачественного контента и рекомендации для веб-мастеров можно прочитать в справке Google.

Проблемы на стороне поисковых систем

Как говорится ― и на старуху бывает проруха. На стороне поисковых систем тоже могут возникать проблемы. Например, в середине июля 2022 в Google возникли проблемы с индексацией нового контента. Об этом можно прочитать в новости Google confirmed indexing issue affecting a large number of sites.

На такие проблемы в Google оперативно реагируют и исправляют их.

There’s an ongoing issue with indexing in Google Search that’s affecting a large number of sites. Sites may experience delayed indexing. We’re working on identifying the root cause. Next update will be within 12 hours.

— Google Search Central (@googlesearchc) July 15, 2022

Что о нас пишут клиенты:

Очень много плюсов. Стабильный хостинг, грамотная поддержка, быстрое и компетентное реагирование. А еще лояльное отношение к клиенту!

Тестировать хостинг 30 дней

Кратко: почему страницы сайта не индексируются в Google

Подытожим причины, из-за которых страницы сайта могут не индексироваться:

  • Сайт закрыт от индексации через
    • robots.txt
    • метатеги robots
    • файл .htaccess
    • X-robots-tag
  • Ошибки в rel canonical
  • Долгий ответ сервера, проблемы с хостингом
  • Неверный ответ сервера
  • Некачественный контент
  • Проблемы на стороне поисковых систем

Для удобства собрали все пункты и рекомендации в чек-лист: почему страница не ранжируется в Google.

Пишите в комментариях, на какую SEO-тему хотите видеть следующие статьи 💬

14 главных причин, почему Google не индексирует ваш сайт ✔ PROject SEO

Если вы считаете, что Google испытывает трудности с индексацией вашего веб-сайта, то, наверняка, наша статья будет весьма интересной. Ознакомьтесь с важными 14 проблемами индексации сайта и узнайте, как их решить.

Содержание:

  • 1. У вас нет доменного имени
  • 2. Ваш сайт не оптимизирован для мобильных устройств
  • 3. Вы используете язык кодирования слишком сложным для Google способом
  • 4. Сайт загружается медленно
  • 5. На вашем сайте мало хорошо написанного контента
  • 6. Ваш сайт неудобен для пользователя и не привлекателен для посетителей
  • 7. У вас есть цикл перенаправления
  • 8. Вы используете плагины, которые блокируют сканирование вашего сайта роботом Googlebot.
  • 9. Ваш сайт использует JavaScript для отображения контента
  • 10. Вы не добавили все свойства домена в Google Search Console
  • 11. Ваши метатеги установлены на Noindex, Nofollow
  • 12. Вы не используете Sitemap
  • 13. Вы были наказаны Google в прошлом и еще не исправили свои действия
  • 14. Ваше SEO недостаточно эффективно
  • Когда вам может помочь качественное SEO
  • Итог

Google не индексирует ваш сайт? Вы не одиноки. Существует множество потенциальных проблем, которые могут помешать Google индексировать веб-страницы, и в этой статье рассматриваются 14 самых распространенных из них.

Если вы хотите знать, что делать, если ваш сайт не оптимизирован для мобильных устройств или вы столкнулись со сложными проблемами индексации, специалисты компании PROject SEO подготовили информацию, которая точно вам пригодится. Из статьи вы узнаете, как исправить распространенные проблемы, чтобы Google снова начал индексировать страницы сайта.

1. У вас нет доменного имени

Первая причина, по которой Google не будет индексировать любой сайт, заключается в том, что отсутствует доменное имя. Это может быть связано с тем, что вы используете неправильный URL-адрес для контента или он неправильно настроен в WordPress.

Если это происходит, есть несколько простых решений:

Проверьте, начинается ли веб-адрес с «https://XXX.XXX…», что означает, что кто-то может вводить IP-адрес вместо имени домена и перенаправляться на ваш веб-сайт. Кроме того, перенаправление вашего IP-адреса может быть настроено неправильно.

Один из способов решить эту проблему — добавить переадресацию 301 с WWW-версий страниц обратно на соответствующие домены. Если люди перенаправляются сюда, когда пытаются найти что-то вроде [yoursitehere], мы хотим, чтобы они попали на ваше физическое доменное имя.

Важно убедиться, что у вас есть доменное имя. Это не подлежит обсуждению, если вы хотите занимать высокие позиции и быть конкурентоспособными в Google.

2. Ваш сайт не оптимизирован для мобильных устройств

Удобство использования ресурса на мобильных устройствах имеет решающее значение для индексации в Google, поскольку он ввел индексирование Mobile-First.

Независимо от того, насколько хорош контент на сайте, если он не оптимизирован для просмотра на смартфоне или планшете, вы потеряете рейтинг и трафик. Мобильная оптимизация не должна быть сложной — простое добавление принципов адаптивного дизайна, таких как плавающая разметка и CSS Media Queries, может иметь большое значение для того, чтобы пользователи могли найти то, что им нужно, без каких-либо проблем с навигацией.

Первое, что мы рекомендуем сделать с этой проблемой, — запустить сайт с помощью Google Mobile-Friendly Testing Tool. Если вы видите сообщение «пройдено чтение», вам нужно проделать некоторую работу, чтобы сделать сайт удобным для мобильных устройств.

3. Вы используете язык кодирования слишком сложным для Google способом

Google не будет индексировать сайт, если вы используете сложный язык кодирования. Неважно, какой язык — он может быть старым или даже обновленным, как JavaScript — если настройки неверны и вызывают проблемы со сканированием и индексированием.

Если это проблема возникла, рекомендуем запустить Google Mobile-Friendly Testing Tool, чтобы увидеть, насколько ваш сайт действительно удобен для мобильных устройств (и внести любые исправления, которые могут потребоваться). Если же сайт еще не соответствует стандартам, будет предложено множество ресурсов с рекомендациями по всевозможным причудам дизайна, которые могут возникнуть при разработке адаптивной веб-страницы.

4. Сайт загружается медленно

Сайты с медленной загрузкой снижают вероятность того, что Google захочет, чтобы они были в топе результатов индекса. Если ваш сайт долго загружается, это может быть связано со многими различными факторами. Возможно у вас слишком много контента на странице для браузера пользователя или вы используете устаревший сервер с ограниченными ресурсами.

Решения:

  • Используйте Google PageSpeed ​​Insights — это один из лучших инструментов. Он помогает определить, какие разделы сайта требуют срочного внимания для повышения его скорости. Инструмент анализирует веб-страницу в соответствии с пятью лучшими рекомендациями по производительности (которые имеют решающее значение для более быстрой загрузки сайтов), такими как минимизация подключений, уменьшение размера полезной нагрузки, использование кэширования браузера и т. д., и дает вам предложения о том, как улучшить каждый аспект.
  • Используйте такой инструмент, как webpagetest. org — этот инструмент сообщит вам, загружается ли сайт достаточно быстро. Это позволит увидеть конкретные элементы на сайте, которые вызывают особенные проблемы. Это позволит определить серьезные проблемы со скоростью страницы до того, как она выпадет из индекса.
  • Снова используйте Google PageSpeed ​​— узнайте, где можно улучшить время загрузки сайта. Например, возможно, стоит перейти на новый хостинг с большим количеством ресурсов (чистые выделенные серверы намного лучше, чем общие) или использовать службу CDN, которая будет обслуживать статический контент из своего кеша в нескольких местах по всему миру.

В идеале убедитесь, что скорость страницы достигает 70 или более. В идеале как можно ближе к 100.

5. На вашем сайте мало хорошо написанного контента

Хорошо написанный контент имеет решающее значение для успеха в Google. Если на сайте размещен контент, который не соответствует уровню сайтов-конкурентов, тогда могут возникнуть серьезные проблемы даже с попаданием в ТОП-50. По нашему опыту, контент, содержащий менее 1000 слов, не так эффективен, как контент, содержащий более 1000 слов. Но тут важна и тематика сайта и опять же количество символов в статьях на сайтах конкурентов.

Когда вы решаете, что делать в контексте конкуренции, убедитесь, что ваш контент хорошо написан, это ключ к успеху. Контент на вашем сайте должен быть качественным и информативным. Он должен отвечать на вопросы, предоставлять информацию или иметь точку зрения, которая достаточно отличается от других сайтов в той же нише, что и ваша. Если он не соответствует этим стандартам, Google, скорее всего, найдет другой сайт с более качественным контентом и покажет его выше в выдаче.

Если вам интересно, почему веб-сайт не занимает высокие позиции в результатах поиска Google по некоторым ключевым словам, несмотря на то, что он следует передовым методам SEO, таким как добавление релевантных ключевых слов по всему тексту, то одним из виновников “тонкий контент” на странице, где действительно должно быть больше, чем просто 100 слов!

“Тонкий контент” может стать причиной проблем с индексацией, потому что он не представляет ценности для посетителя и не соответствует минимальным уровням качества по сравнению с вашими конкурентами.

6. Ваш сайт неудобен для пользователя и не привлекателен для посетителей

Наличие удобного и привлекательного сайта имеет решающее значение для хорошего SEO. Google повысит рейтинг сайта в результатах поиска, если посетителям будет легко находить то, что они ищут, и перемещаться по веб-сайту, не чувствуя разочарования или раздражения.

Google не хочет, чтобы пользователи тратили слишком много времени на страницу, которая либо долго загружается, либо имеет запутанную навигацию, либо просто сложна в использовании, потому что слишком много отвлекающих факторов (например, реклама в верхней части страницы).

Если в каждой категории указан только один продукт вместо нескольких, возможно, именно поэтому ваш контент плохо ранжируется в Google! Важно не только настроить таргетинг на ключевые слова в каждом посте, но и убедиться, что все связанные статьи ссылаются на другие соответствующие статьи/страницы по теме.

Нравится ли людям делиться вашим блогом? Читатели поражены вашим контентом? Если нет, то это может быть причиной того, что Google перестал индексировать ваш сайт.

Если кто-то ссылается непосредственно на одну конкретную страницу продукта, а не использует относительные ключевые слова, такие как «купить», «заказать» и т. д., возможно, что-то не так с тем, как другие страницы ссылаются на этот конкретный продукт. Убедитесь, что все продукты, перечисленные на страницах категорий, также существуют в каждой соответствующей подкатегории, чтобы пользователи могли легко совершать покупки без необходимости перемещаться по сложной иерархии ссылок.

7. У вас есть цикл перенаправления

Циклы перенаправления (Redirect Loop) — еще одна распространенная проблема, препятствующая индексации. Обычно они вызваны обычной опечаткой и могут быть исправлены с помощью следующих шагов:

  1. Найдите страницу, которая вызывает цикл перенаправления. Если вы используете WordPress, найдите исходный HTML-код одного из ваших сообщений на этой странице или в файле .htaccess и найдите «Перенаправление 301», чтобы увидеть, с какой страницы он пытается направить трафик. Также стоит исправить все перенаправления 302 и убедиться, что они установлены на 301.
  2. Используйте «найти» в проводнике Windows (или Command+F, если это Mac) для поиска во всех файлах, содержащих «перенаправление», пока не обнаружите, в чем проблема.

Исправьте любые опечатки, чтобы не было повторяющегося URL-адреса, указывающего на себя, а затем используйте код перенаправления, как показано ниже:

Коды состояния, такие как 404, не всегда отображаются в Google Search Console. Используя внешний сканер, такой как Screaming Frog, вы можете найти коды состояния для 404 и других ошибок.

Если все выглядит хорошо, используйте Google Search Console, чтобы снова просканировать сайт и повторно отправить его на индексацию. Подождите неделю или около того, прежде чем снова зайти в Google Search Console, если появятся какие-либо новые предупреждения, требующие внимания.

У Google нет времени обновлять свои индексы каждый день, но они пытаются каждые несколько часов, что означает, что иногда ваш контент может не отображаться сразу, даже если вы знаете, что он был обновлен. Потерпите! Вскоре он будет проиндексирован.

8. Вы используете плагины, которые блокируют сканирование вашего сайта роботом Googlebot.

Одним из примеров такого плагина является плагин robots.txt. Если с помощью этого плагина вы установите для файла robots.txt запрет на индексирование своего сайта, робот Googlebot не сможет его просканировать.

Настройте файл robots.txt и выполните следующие действия:

Во время создания сделайте его общедоступным, чтобы поисковые роботы могли получить к нему доступ без ограничений. Убедитесь, что в файле robots.txt нет следующих строк:

User-agent: *

Disallow: /

Косая черта означает, что файл robots.txt блокирует все страницы из корневой папки сайта.

Если строка запрета пуста, это говорит сканерам, что все они могут сканировать и индексировать каждую страницу на вашем сайте без ограничений (при условии, что у вас нет определенных страниц, помеченных как неиндексированные).

9. Ваш сайт использует JavaScript для отображения контента

Использование JavaScript само по себе не всегда является сложной проблемой, вызывающей трудности с индексацией. Нет единого правила, которое говорит, что JS — это единственное, что вызывает проблемы. Вы должны посмотреть на отдельный сайт и диагностировать состояние, чтобы определить, является ли это проблемой.

Когда JS вступает в игру как проблема, то есть предотвращает сканирование, делая сомнительные вещи — методы, которые могут быть похожи на маскировку.

Если вы отрендерили HTML, а не необработанный HTML, и у вас есть ссылка в необработанном HTML, которой нет в обработанном HTML, Google не может сканировать или индексировать эту ссылку. Определение проблем отображаемого HTML и необработанного HTML имеет решающее значение из-за ошибок такого типа.

Если вы хотите скрыть свои файлы JS и CSS, не делайте этого. Google упомянул, что хочет видеть все ваши файлы JS и CSS при сканировании.

Google хочет, чтобы вы поддерживали сканирование всех JS и CSS. Если какие-либо из этих файлов у вас заблокированы, вы можете разблокировать их и разрешить полное сканирование, чтобы предоставить Google нужное представление о вашем сайте.

10. Вы не добавили все свойства домена в Google Search Console

Если у вас несколько вариантов домена, особенно в ситуации, когда вы перешли с http:// на https://, вам необходимо добавить и проверить все варианты в Google Search Console. Важно убедиться, что вы не пропустили ни один из вариантов домена при их добавлении в GSC. Важно и подтвердить право собственности на все свойства домена, чтобы убедиться, что вы отслеживаете правильные. Для новых сайтов, которые только начинают свою работу, это, скорее всего, не будет проблемой.

11. Ваши метатеги установлены на Noindex, Nofollow

Иногда, по чистой случайности, метатеги устанавливаются на noindex, nofollow. Например, на сайте может быть ссылка или страница, которая была проиндексирована поисковым роботом Google, а затем удалена до перехода на noindex, nofollow был правильно настроен в серверной части вашего сайта. В результате эта страница, возможно, не была повторно проиндексирована, и если вы используете плагин, чтобы заблокировать Google от сканирования вашего сайта, эта страница может никогда больше не быть проиндексирована.

Решение простое: измените любые метатеги со словами noindex,nofollow, чтобы они читались как index, follow.

Однако, если у вас есть тысячи таких страниц, тогда предстоит тяжелая битва. Это один из тех моментов, когда вы должны стиснуть зубы и двигаться вперед с трудом. В конце концов, производительность вашего сайта будет вам благодарна.

12. Вы не используете Sitemap

Вам нужно использовать Sitemap! Карта сайта — это список всех страниц ресурса, а также один из способов Google узнать, какой контент у вас есть. Этот инструмент поможет гарантировать, что каждая страница будет просканирована и проиндексирована в Google Search Console. Если карта сайта отсутствует, Google работает вслепую, если только все ваши страницы в настоящее время не проиндексированы и не получают трафик.

Вы также можете использовать свою карту сайта, чтобы сообщить Google, какие страницы сайта являются важными, и вы хотите регулярно отправлять их для сканирования и индексации.

13.

Вы были наказаны Google в прошлом и еще не исправили свои действия

Google неоднократно заявлял, что штрафы могут последовать за вами. Если у вас уже был штраф и вы не исправили свой поступок, Google не проиндексирует сайт.

Ответ на этот вопрос довольно прост: если Google наказывает за что-то, вероятно ничего нельзя с этим поделать, потому что штрафы следуют за вами повсюду, как незваный друг.

Вам интересно, почему вы все еще должны исключать некоторую информацию со своего веб-сайта, если у вас уже есть проблемы с поисковыми системами? Дело в том, что несмотря на то, что есть способы избежать наказания, многие люди не знают, как или уже не могут вносить эти изменения по каким-либо причинам (может быть, они продали свою компанию). Некоторые также думают, что простое удаление страниц и добавление старого контента на новый сайт будет работать так же хорошо (это не так).

Если вас оштрафовали, самый безопасный путь — полностью исправить свой поступок. У вас должен быть совершенно новый контент, и стоит перестроить домен с нуля или провести полную перестройку контента. Google объясняет, что они ожидают, что вам потребуется столько же времени, чтобы уйти от штрафа, сколько потребовалось, чтобы вы попали под него.

14. Ваше SEO недостаточно эффективно

Качественно выполненные работы по сайту не могут стоить дешево. Если вы хотите, чтобы сайт не просто появился в индексе, а и начал приносить доход, тогда над ним нужно регулярно работать. Правильное техническое SEO того стоит: Google и ваши пользователи полюбят вас.

Когда вам может помочь качественное SEO

Проблема: ваш сайт не достигает показателей Core Web Vitals.

Решение: техническое SEO поможет определить проблемы с вашими основными веб-жизненными показателями и предоставит путь к их устранению. Не полагайтесь только на стратегический аудит — он не всегда поможет в этих областях. Вам нужен полный технический SEO-аудит, чтобы выявить некоторые из этих проблем, потому что они могут варьироваться от совершенно простых до невероятно сложных.

Проблема: у вашего сайта трудности со сканированием и индексацией

Решение: они могут быть невероятно сложными, и для их обнаружения и исправления требуется опытный технический специалист по поисковой оптимизации. Вы должны определить их, если обнаружите, что у вас нулевая посещаемость или вы не получаете никакой производительности от своего сайта.

Проблема: файл robots.txt вашего сайта каким-то образом непреднамеренно блокирует доступ поисковых роботов к важным файлам.

Решение: Некоторые сайты находятся в таком глубоком упадке, что вы не видите другого выхода, кроме как удалить сайт и начать заново. Столь кардинальный вариант не всегда будет самым лучшим. Именно здесь опытный технический SEO-специалист на вес золота.

Итог

Выявление проблем с индексацией веб-сайтов — сложная задача, но ее стоит решить. Контент, техническое SEO и ссылки важны для поддержания траектории производительности любого ресурса. Но если у вашего сайта есть проблемы с индексацией, другие элементы SEO не помогут. Обязательно отметьте все галочкой и убедитесь, что вы действительно продвигаете свой сайт самым правильным образом.

И не забудьте оптимизировать каждую страницу по релевантным ключевым словам! Также стоит убедиться, что техническое SEO на должном уровне, потому что чем лучше Google сможет сканировать, индексировать и ранжировать сайт, тем лучшими будут ваши результаты.

Удобство для мобильных устройств не означает готовность к индексированию для мобильных устройств

Джон Мюллер из Google сообщает владельцам сайтов, что удобство для мобильных устройств — это не то же самое, что готовность к индексированию для мобильных устройств.

При определении того, следует ли переместить сайт в индекс Mobile-First, Google рассматривает критерии помимо того, оптимизирован ли сайт для мобильных устройств.

Сайт может быть разработан для мобильных устройств и все равно не считаться готовым для индекса Google для мобильных устройств, если он не соответствует другим критериям.

Мюллер предоставил это руководство в ответ на ветку Reddit под заголовком: «Несмотря на удобство для мобильных устройств, по каким причинам Google может использовать сканер для настольных компьютеров в качестве основного поискового робота?»

Google использует разные поисковые роботы в зависимости от того, находится ли сайт в индексе mobile-first или в обычном индексе.

Владельцы сайтов могут видеть в Search Console, какую версию Googlebot использует для сканирования сайта — мобильную или настольную.

Вот пример, где вы можете увидеть в верхней части отчета надпись «Основной поисковый робот: смартфон», что указывает на то, что сайт перешел на индекс Google для мобильных устройств.

Учитывая, что большинство сайтов были переведены на индексирование с приоритетом мобильных устройств, разумно ожидать, что мобильная версия робота Google будет использоваться при проверке отчетов Search Console.

В этом случае сайт пользователя Reddit, ориентированный на мобильные устройства, все еще сканируется поисковым роботом Google для настольных компьютеров, что является верным признаком того, что он не перешел на индексирование для мобильных устройств.

С чем это может быть связано?

Ключевым критерием, на который обращает внимание Google при перемещении сайтов в индекс Mobile-First, является то, что сайт показывает идентичный контент на всех устройствах.

Если в настольной версии страниц сайта есть важный контент, который не отображается пользователям на мобильных устройствах, то сайт не будет считаться подходящим для индексации для мобильных устройств.

«Дружественность к мобильным устройствам не означает, что она подходит для мобильного индексирования (например, ее можно легко использовать на мобильных устройствах, но в ней не хватает большого количества контента)».

Если вы уверены, что важный контент отображается пользователям на всех устройствах, Мюллер советует не беспокоиться.

Алгоритмы Google могут слишком тщательно проверять сайт и удерживать его от индексации для мобильных устройств из-за незначительных несоответствий.

«Тем не менее, если вы уверены, что весь контент есть на мобильном телефоне, я бы не парился. Иногда наши алгоритмы немного консервативны в этом отношении. Вариант, который я видел несколько раз, заключался в том, что наши алгоритмы сдерживали сайт, потому что на нем не было одинакового количества связанных элементов, связанных внизу страницы продукта / публикации — да, это разница в содержании, но вы, вероятно, вам не нужно беспокоиться об этом, потому что это не изменит того, как ваш сайт в целом отображается в поиске».

Однако могут быть различия, которые действительно имеют значение в общей схеме вещей. Сюда могут входить элементы, отсутствующие в одной версии сайта по сравнению с другой, такие как структурированные данные, изображения, внутренние ссылки и т. д.

«Очевидно, это также может быть связано с тем, что на вашем сайте есть реальные отличия, такие как отсутствие структурированных данных, меньшее количество значимых изображений, плохие внутренние ссылки на мобильных устройствах и т. д. — это вещи, которые могут упустить те, кто не вникает в подробности».

Если вы терпеливо ждете, когда Google переведет ваш сайт на индексацию для мобильных устройств, и не можете понять, почему этого еще не произошло, теперь вы знаете еще несколько областей, в которых нужно проверить паритет контента.

Источник: Reddit.

Категория Новости SEO

11 SEO-советов и приемов для улучшения индексации поиска

В SEO-игре так много движущихся частей, что часто кажется, что как только мы закончим оптимизацию одной части веб-сайта, мы должны вернуться к той части, которую мы как раз работали.

После того, как вы вышли из стадии «Я здесь новичок» и почувствовали, что у вас есть реальный опыт SEO за плечами, вы можете начать чувствовать, что есть некоторые вещи, на исправление которых можно тратить меньше времени.

Индексируемость и краулинговые бюджеты могут быть двумя из этих вещей, но забыть о них было бы ошибкой.

Мне всегда нравится говорить, что веб-сайт с проблемами индексации — это сайт по-своему; этот веб-сайт непреднамеренно говорит Google не ранжировать его страницы, потому что они загружаются неправильно или перенаправляют слишком много раз.

Если вы думаете, что не можете или не должны посвящать время явно не такой гламурной задаче улучшения индексируемости вашего сайта, подумайте еще раз.

Проблемы с индексируемостью могут привести к резкому падению рейтинга и быстрому прекращению посещаемости сайта.

Итак, ваш краулинговый бюджет должен быть на первом месте.

В этом посте я дам вам 11 советов, которые следует учитывать при улучшении индексируемости вашего веб-сайта.

1. Отслеживайте статус сканирования с помощью Google Search Console

Ошибки в статусе сканирования могут указывать на более серьезную проблему на вашем сайте.

Проверка состояния сканирования каждые 30–60 дней важна для выявления потенциальных ошибок, влияющих на общую маркетинговую эффективность вашего сайта.

Это буквально первый шаг SEO; без него все остальные усилия ничтожны.

Прямо на боковой панели вы сможете проверить статус сканирования на вкладке индекса.

Скриншот автора, май 2022 г.

Скриншот автора, май 2022 г.

Теперь, если вы хотите закрыть доступ к определенной веб-странице, вы можете напрямую сообщить об этом в Search Console. Это полезно, если страница временно перенаправлена ​​или имеет ошибку 404.

Параметр 410 навсегда удалит страницу из индекса, поэтому остерегайтесь использования ядерной опции.

Распространенные ошибки сканирования и решения

Если на вашем веб-сайте возникла ошибка сканирования, это может потребовать простого решения или указывать на гораздо более серьезную техническую проблему на вашем сайте.

Наиболее распространенные ошибки сканирования, которые я вижу:

  • Ошибки DNS.
  • Ошибки сервера.
  • Ошибки robots.txt.
  • 404 ошибки.
Снимок экрана, сделанный автором, май 2022 г.

Чтобы диагностировать некоторые из этих ошибок, вы можете использовать инструмент проверки URL, чтобы увидеть, как Google просматривает ваш сайт.

Неспособность правильно получить и отобразить страницу может указывать на более глубокую ошибку DNS, которую должен устранить ваш провайдер DNS.

Скриншот автора, май 2022 г.

Устранение ошибки сервера требует диагностики конкретной ошибки. К наиболее распространенным ошибкам относятся:

  • Тайм-аут.
  • В соединении отказано.
  • Ошибка подключения.
  • Тайм-аут соединения.
  • Нет ответа.

В большинстве случаев ошибка сервера обычно носит временный характер, хотя для постоянной проблемы может потребоваться обратиться напрямую к хостинг-провайдеру. 9С другой стороны, ошибки 0003

Robots.txt могут создать больше проблем для вашего сайта. Если ваш файл robots.txt возвращает ошибку 200 или 404, это означает, что поисковые системы не могут найти этот файл.

Вы можете отправить карту сайта robots.txt или вообще отказаться от протокола, решив вручную не индексировать страницы, которые могут быть проблематичными для сканирования.

Быстрое устранение этих ошибок гарантирует, что все ваши целевые страницы будут просканированы и проиндексированы при следующем сканировании вашего сайта поисковыми системами.

2. Создайте веб-страницы, удобные для мобильных устройств

С появлением индекса, ориентированного на мобильные устройства, мы также должны оптимизировать наши страницы, чтобы отображать копии, оптимизированные для мобильных устройств, в мобильном индексе.

Хорошей новостью является то, что копия для настольных компьютеров по-прежнему будет индексироваться и отображаться в индексе для мобильных устройств, если не существует копии для мобильных устройств. Плохая новость заключается в том, что в результате может пострадать ваш рейтинг.

Существует множество технических настроек, которые могут мгновенно сделать ваш веб-сайт более удобным для мобильных устройств, в том числе:

  • Внедрение адаптивного веб-дизайна.
  • Вставка метатега точки обзора в содержимое.
  • Минимизация ресурсов на странице (CSS и JS).
  • Пометка страниц с помощью кэша AMP.
  • Оптимизация и сжатие изображений для ускорения загрузки.
  • Уменьшение размера элементов пользовательского интерфейса на странице.

Обязательно протестируйте свой веб-сайт на мобильной платформе и запустите его с помощью Google PageSpeed ​​Insights. Скорость страницы является важным фактором ранжирования и может влиять на скорость, с которой поисковые системы могут сканировать ваш сайт.

3. Регулярно обновляйте контент

Поисковые системы будут сканировать ваш сайт более регулярно, если вы будете регулярно публиковать новый контент.

Это особенно полезно для издателей, которым необходимо регулярно публиковать и индексировать новые истории.

Регулярное создание контента сигнализирует поисковым системам о том, что ваш сайт постоянно совершенствуется и публикует новый контент, и поэтому его необходимо чаще сканировать, чтобы охватить целевую аудиторию.

4. Отправьте карту сайта в каждую поисковую систему

Одним из лучших советов по индексации на сегодняшний день остается отправка карты сайта в Google Search Console и Bing Webmaster Tools.

Вы можете создать XML-версию с помощью генератора карты сайта или создать ее вручную в Google Search Console, пометив каноническую версию каждой страницы, содержащей повторяющийся контент.

5. Оптимизируйте схему перелинковки

Создание согласованной информационной архитектуры имеет решающее значение для обеспечения того, чтобы ваш веб-сайт был не только правильно проиндексирован, но и правильно организован.

Создание основных категорий услуг, в которых могут размещаться связанные веб-страницы, может дополнительно помочь поисковым системам правильно индексировать содержимое веб-страниц в определенных категориях, когда цель может быть неясной.

Снимок экрана, сделанный автором, май 2022 г.

Если веб-страница на вашем сайте или субдомен созданы изолированно или из-за ошибки, не позволяющей их сканировать, вы можете проиндексировать их, получив ссылку на внешнем домене.

Это особенно полезная стратегия для продвижения нового контента на вашем веб-сайте и его более быстрого индексирования.

Остерегайтесь синдицированного контента для достижения этой цели, так как поисковые системы могут игнорировать синдицированные страницы, и это может привести к повторяющимся ошибкам, если они не канонизированы должным образом.

7. Сократите ресурсы на странице и увеличьте время загрузки

Принуждение поисковых систем к сканированию больших и неоптимизированных изображений израсходует ваш краулинговый бюджет и не позволит вашему сайту так часто индексироваться.

Поисковые системы также испытывают трудности при сканировании определенных внутренних элементов вашего веб-сайта. Например, Google исторически изо всех сил пытался сканировать JavaScript.

Даже некоторые ресурсы, такие как Flash и CSS, могут плохо работать на мобильных устройствах и расходовать ваш краулинговый бюджет.

В некотором смысле это проигрышный сценарий, когда скорость страницы и краулинговый бюджет приносятся в жертву навязчивым элементам на странице.

Обязательно оптимизируйте скорость веб-страницы, особенно на мобильных устройствах, уменьшив количество ресурсов на странице, таких как CSS. Вы также можете включить кэширование и сжатие, чтобы пауки быстрее сканировали ваш сайт.

Скриншот автора, май 2022 г.

8. Исправление страниц с тегами Noindex

В ходе разработки вашего веб-сайта может иметь смысл реализовать тег noindex на страницах, которые могут дублироваться или предназначены только для пользователей, которые выполняют определенное действие.

Несмотря на это, вы можете идентифицировать веб-страницы с тегами noindex, которые препятствуют их сканированию, с помощью бесплатного онлайн-инструмента, такого как Screaming Frog.

Плагин Yoast для WordPress позволяет легко переключать страницу с индекса на без индекса. Вы также можете сделать это вручную в бэкенде страниц вашего сайта.

9. Задайте пользовательскую скорость сканирования

В старой версии Google Search Console вы можете замедлить или настроить скорость сканирования, если поисковые роботы Google негативно влияют на ваш сайт.

Это также дает вашему веб-сайту время для внесения необходимых изменений, если он подвергается значительному изменению дизайна или миграции.

Снимок экрана, сделанный автором, май 2022 г.

10. Устранение повторяющегося контента

Наличие большого количества дублированного контента может значительно снизить скорость сканирования и израсходовать бюджет сканирования.

Вы можете устранить эти проблемы, либо заблокировав эти страницы от индексации, либо поместив канонический тег на страницу, которую вы хотите проиндексировать.

В том же духе стоит оптимизировать метатеги каждой отдельной страницы, чтобы поисковые системы не принимали похожие страницы за дублирующийся контент при сканировании.

11. Блокируйте страницы, которые не должны сканировать пауки

Могут быть случаи, когда вы хотите запретить поисковым системам сканировать определенную страницу. Вы можете сделать это следующими способами:

  • Размещение тега noindex.
  • Размещение URL-адреса в файле robots.txt.
  • Полное удаление страницы.

Это также может помочь вашему сканированию работать более эффективно, вместо того, чтобы вынуждать поисковые системы просматривать дублирующийся контент.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *