Проверка сайта на индексацию: Как быстро проверить индексацию сайта в Google и Яндекс

Содержание

Как проверить индексацию сайта в поисковых системах Google и Яндекс

Сервисы и программы

Тут выбор еще разнообразнее и основное преимущество в том, что можно сделать массовую проверку url, которые вас интересуют. Дальше уже выбор за тем, какой сервис вам больше нравиться, сколько url за раз может проверить, платный он или бесплатный.

Бесплатные онлайн-сервисы:

  1. https://xseo.in/indexed — проверка количества проиндексированных страниц, если страниц относительно немного (до 100), то можно скопировать этот список URL.
  2. https://serphunt.ru/indexing/ — можно массово проверить индексацию до 50 URL за раз.
  3. https://raskruty.ru/tools/index/ — тут можно проверить или сразу весь домен, или список до 10 URL.

Платные

На платных тарифах сервиса seranking.com можно массово проверять индексацию списка URL.

Программы для ПК

Если вы планируете заниматься SEO самостоятельно, всерьез и надолго, то есть большая вероятность, что вы купите Netpeak Spider и Netpeak Checker. Так вот с помощью Netpeak Spider можно просканировать и скачать список всех страниц сайта, потом передать их в Netpeak Checker, в котором проверить индексацию. Тут ограничений на кол-во URL уже не будет, понадобится только время на сканирование страниц.

Ускорение индексации сайта

Через панели вебмастеров можно запросить индексацию отдельных страниц, но делать это регулярно для большого количества страниц весьма неудобно.

Поисковый робот за раз индексирует только ограниченное количество страниц, этот лимит называют краулинговым бюджетом. Он рассчитывается для каждого сайта индивидуально. Если сайт маленький, то можно о нем не беспокоиться, а вот если большой, то стоит уделять ему внимание.

Если на сайте много ошибок, низкокачественных страниц, дублей и тому подобное, то они мало того, что замедляют индексацию, так еще и тратят краулинговый бюджет. В итоге поисковик может долго обходить некачественные страницы и разбираться с ошибками, вместо того, чтобы уделять внимание важным страницам, которые могут принести вам доход.

Так что для успеха нужно:

  1. Максимально избавляться от ошибок, дублей и некачественных страниц.
    Они как «Сусанин» для поисковых ботов.
  2. Настроить перелинковку.
    К каждой странице должна вести своя «дорога» (ссылка) с понятными «указателями» (анкорами и околоссылочным текстом). Чем больше ссылок, тем важнее страница.
    Для ускорения индексации новых страниц ссылки на них можно размещать на главной странице сайта, ее поисковые боты переобходят чаще всего.
    Репосты статей в социальных сетях также повысят вероятность быстрой индексации.
  3. Настроить автоматическое обновление карты сайта.
    Каждая новая страница должна попадать в sitemap, каждая удаленная страница – удаляться из карты.
  4. Улучшать скорость загрузки страниц.

    Чем быстрее, тем лучше, но ориентируйтесь на средний показатель скорости по конкурентам.
  5. Настроить robots.txt / мета-теги robots.
    Так, чтобы все лишнее закрыть от индексации, а все нужное было открыто для нее.
  6. Регулярно обновляйте сайт.
    «Живой» сайт привлекает постоянное внимание поисковиков, сайт регулярно переиндексируется, новые страницы быстрее попадают в поисковую выдачу, а по старым подтягивается актуальная информация.
    Добавляйте новые страницы, дополняйте и актуализируйте старые, дополняйте перелинковку.

проверка индексации всего сайта и конкретной страницы в Яндексе и Google

Вы создали сайт — что дальше? Чтобы пользователи увидели его, сайт нужно «показать» поисковым системам – проиндексировать. И только после того, как поисковые системы добавят контент вашего ресурса в свою базу данных, можно применять инструменты продвижения.

Индексация — это процесс сбора данных поисковыми роботами обо всем, что размещается на сайте: о количестве страниц, контенте, ключевых словах и т. д. Чем больше качественных страниц будет проиндексировано, тем больше будет охват целевой аудитории и посещаемость. Если в индекс попадают не все страницы, это может говорить о проблемах во внутренней структуре и/или наличии технических ошибок, которые не дают возможности GoogleBot корректно просканировать и проиндексировать сайт. Как проверить индексацию в поисковиках, почему роботы могут игнорировать отдельные страницы и как это определить, читайте в этом обзоре.

Анализ индексирования в сервисах Яндекс.Вебмастер и Google Search Console

У каждой поисковой системы есть свой сервис, который помогает вебмастерам в анализе эффективности своего сайта в поисковой выдаче.. У Google это Search Console, у Яндекса — Яндекс.Вебмастер. Они позволяют отслеживать, какие страницы есть в индексе, какие нет, а также отправлять на индексацию новые приоритетные страницы и т. д.

Как проверить индексирование сайта в Google:

  1. Зайдите в Search Console. В панели слева нажмите «Добавить ресурс» и укажите url сайта. Подробнее о том, как добавить сайт в Google Search Console, читайте здесь.

  2. Подтвердите право собственности на сайт: скачайте предложенный поисковой системой HTML-файл. Также право собственности можно подтвердить с помощью HTML-тега или через Google Tag Manager.
  3. В консоли выберите вкладку «Обзор», перейдите во вкладку «Покрытие». Здесь можно увидеть количество индексируемых страниц и ошибок в виде цифровых значений и графика.

Что должно быть у качественного сайта:

  • Количество индексируемых страниц должно совпадать с количеством страниц сайта. Допускается незначительная погрешность.
  • Количество ошибок должно быть равно нулю.
  • Столбцы, показывающие количество страниц в базе поисковика, должны иметь горизонтальный или восходящий вид.
  • В отчете “Исключено” нет важных страниц, которые должны быть в индексе поисковой системы.

В этом случае проблем с индексацией нет. Также здесь можно посмотреть историю индексации за 3, 6 и 12 месяцев.

Если есть ошибки или страницы попали в группу «Исключено», с индексацией проблемы – посмотрите причины. Некоторые страничные данные могут временно «зависнуть» — робот их уже просмотрел (о чем есть уведомление), но пока не проиндексировал. Возможные причины: страница низкого качества или имеет место дублирование контента.

Google Search Console позволяет проверить индексацию и отдельной страницы. В поисковую строку консоли вставьте ее url. Если появится окошко с зеленой галочкой и отметкой «Страница отправлена и проиндексирована», проблем нет. Если она еще не представлена в индексе, галочка будет неактивна.

Проверка индексирования сайта в Яндекс:

  1. Узнайте количество страниц на ресурсе. Алгоритм описан выше.
  2. Пройдите авторизацию в Яндекс.Паспорт и откройте Яндекс.Вебмастер.
  3. Перейдите во вкладку «Индексирование сайта — Страницы в поиске».

Хороший пример индексации: количество проиндексированных страниц растет— линия на графике имеет ровный восходящий вид. Количество ошибок — ноль. Если на линии графика есть просадки, зигзаги, линия уходит вниз — с индексацией есть проблемы.

Проверка индексации с помощью документарных операторов

Попавшие в индекс страницы можно увидеть, применив документарный оператор «Site:». Вбейте его в поисковую строку и укажите полный адрес.

Пример для Google:

Проиндексировано около 294 000 страниц. Сопоставив эту цифру с их количеством на сайте, можно приблизительно оценить полноту индексации. Небольшие расхождения могут быть по причине того, что часть новых страниц еще не проиндексированы и находится на рассмотрении поисковых роботов. Большие расхождения говорят об ошибках. Если при периодической проверке расхождение увеличивается, возможны проблемы с индексацией.

У Google есть дополнительные инструменты для более глубокого анализа. Например, можно посмотреть сколько появилось в индексе новых страниц за определенный период времени.

Пример для Яндекс:

Использование операторов дает лишь приблизительное представление о проверке индексации. Хорошо, если количество страниц у Google и Яндекс совпадают между собой. Если нет, как на скринах выше, нужно искать причины расхождений. Например, есть внутренние ошибки, которые влияют на индексацию в поисковых системах.

Плагины и букмарклеты для проверки индексирования

Букмарклет — скрипт, который после установки сохраняется в закладках браузера. Применение плагинов и букмарклетов позволяет ускорить процесс проверки сайта. Вместо того чтобы каждый раз вбивать в поисковую строку браузера оператор и url, достаточно после установки плагина запускать его из закладок на том сайте, по которому нужно получить информацию.

Примеры плагинов и скриптов: SEO-Tools, SEO-magic, RDS bar. С их помощью можно проверять:

  • Количество прошедших индексацию страничных данных в Гугл и Яндексе. Часть скриптов работает и с другими поисковиками.
  • Индексирование сайта или отдельной страницы.
  • Анализ семантики, кода, распределения ссылок.

Отличие между плагинами в панели управления, возможностях каждого из них и в том, какой именно функционал доступен в бесплатной версии.

Так выглядит панель управления SEO-Tools.

Программы, позволяющие контролировать и проверять индексирование сайта

Есть платные и бесплатные программы, помогающие контролировать скорость и этапы индексации. Отличия между ними в функционале и постоянном обновлении. Пример платной версии — Semonitor. Это пакет программ для раскрутки и оптимизации платформы. Состоит из набора утилит, позволяющих проверять позиции сайта в поисковиках, анализировать внешние ссылки, проверять индексацию, искать на страницах битые ссылки, ошибки изображения и т. д. Есть бесплатная демо-версия.

Пример бесплатной программы — Site-Auditor. Помогает оценить уровень «популярности» сайта в поисковых системах, дает информацию о внешних ссылках и индексировании.

Проблемы индексации сайта

У качественного сайта количество попавших в поисковой индекс страниц и их общее число должно приблизительно совпадать. И желательно в нескольких поисковых системах одновременно. Допускается небольшая разбежность, учитывающая страничные данные, находящиеся на рассмотрении. Но если разбежность высокая, часть страниц не индексируется и не попадает в поисковую выдачу — ищем ошибки.

Основные ошибки индексирования и как их исправить:

  • Ошибки в файле robots.txt. Файл находится в корневом каталоге веб-сайта и содержит основную информацию о правилах сканирования сайта. В нем можно указывать страницы, на которые поисковым роботам заходить не нужно. Важные страницы, по ошибке, могут быть закрыты от сканирования либо некачественные документы открыты для поисковых систем.
  • Ошибки или отсутствие файла sitemap.xml. Это документ, в котором находятся ссылки на страницы и который используют роботы для получения их списка. О том, как правильно составить карту, сформировать файл sitemap и указать на него ссылку поисковикам, можно найти, например, в документации Google.
  • Проблемы с контентом. Мусорные страницы, не несущие информации, неуникальный контент, дубли, медленная загрузка контента из-за «тяжелых» изображений, ошибки «404», одинаковые метатеги — это все нужно исправлять или скрывать от индексации.
  • Технические ошибки. Нестабильная работа хостинга, некорректные HTTP-заголовки, ошибки кодировки, ошибки сканирования. Найти их можно с помощью специальных утилит, иногда на ошибки указывают и сами роботы.
  • Сайт новый. Роботы в первую очередь проверяют сайты, которые уже закрепились в ТОПе поисковой выдачи и постоянно обновляются. До новых сайтов роботы доходят в последнюю очередь.
  • Сайт очень редко обновляется. Если на нем ничего не меняется годами (не добавляется и не изменяется контент) поисковые системы не будут его часто сканировать.

Процесс индексации нового сайта может занимать более месяца. Потому здесь рекомендация одна — ждать, параллельно проверяя структуру на наличие технических ошибок, постоянно обновлять контент и развивать ссылочную базу. Если сайт существует давно — периодически проверяйте график индексации. Появился спад, упала поисковая выдача — ищите ошибки.

Способы по ускорению индексации сайта

Чем быстрее будут проиндексирован контент поисковыми системами, тем быстрее он попадет в поисковую выдачу и тем быстрее его увидят пользователи. О проблемах индексирования вы можете прочитать здесь.

Как ускорить индексирование:

  • Добавляйте сайт и отдельные страничные данные в поисковые системы через сервисы веб-мастеров — не ждите, пока поисковые роботы сами найдут и проиндексируют их. Например, в Яндекс.Вебмастере предусмотрена функция отправки до 20 ссылок в день на те страничные данные, которые нужно проиндексировать в первую очередь. Если речь идет об индексации всего сайта, то можно сделать следующим образом: добавить его в Google и Яндекс, затем дать поисковым системам ссылку на карту сайта. Скорость попадания в выдачу зависит от разных факторов и может составлять 1-3 недели.
  • Размещайте ссылки на ваш сайт на других ресурсах. Чем выше в поисковой выдаче находится ресурс со ссылкой, тем быстрее на него обратят внимание поисковые роботы и тем быстрее добавят сайт в индекс. Например, роботами с большой частотой на предмет обновления контента проверяются новостные порталы. Размещение на их страницах вашей ссылки позволит пройти индексацию в течение 1-3 дней.
  • Регулярно добавляйте и обновляйте контент. Один из методов SEO-продвижения заключается в составлении семантического ядра, охватывающего ключевые запросы по тематике сайта. Постоянное добавление новых страниц с уникальным текстовым и видео контентом, заточенным под ключевые слова семантического ядра, повышают к сайту интерес со стороны поисковых роботов. Чем больше контента, чем лучше он структурирован и чем чаще он обновляется, тем чаще заходят на сайт роботы и тем быстрее проходит индексация.
  • Перелинковывайте страницы между собой. У внутренней перелинковки есть два плюса. Роботы по внутренним ссылкам быстрее переходят на другие страницы сайта, тем самым быстрее их индексируя. Пользователи, переходя по линкам, посещают большее количество страниц, поднимая сайт в поисковой выдаче.
  • Задействуйте социальные сети для продвижения нового контента. Добавляйте ссылки, привлекайте на новые страницы пользователей — так вы сможете быстрее привлечь внимание роботов и добавить контент в поиск.

Задача вебмастера — повысить авторитетность сайта в глазах поисковых роботов, оптимизировать контент и ссылки.

Юля Залиховская

Руководитель отдела продаж

Узнайте о рекламе для вашего бизнеса!
Задайте Юле вопросы о продвижении сайта в интернете.

Нажимая на кнопку, вы даете согласие на обработку персональных данных и соглашаетесь с политикой конфиденциальности

Справочные разделы Яндекса и Google

И в заключении несколько ссылок на справочные разделы поисковых систем. Здесь вы найдете базовую информацию о том, как работать с сервисами веб-мастеров и оптимизировать индексацию.

Здесь есть общие сведения об индексировании, управление файлами sitemap и т. д.

Здесь вы найдете информацию о том, как происходит процесс загрузки страниц в базу Яндекса, как ускорить индексацию и многое другое.

Проверка индексации с высокой точностью

Функционал проверки индексации страниц в Яндекс и Google полностью переработан. Подробности ниже.

1. Повышение точности

В Google поисковая выдача варьируется как от типа проверочных запросов, так и от дата-центра, отдавшего ответ. Мы это учли, и теперь робот делает три разных запроса для уточнения проверки.

2. Поддержка всех типов URL

Теперь корректно проверяются даже URL с не ASCII символами и другие экзотические комбинации символов и кодировок.

3. «Мягкая» проверка индексации

На сайтах часто встречаются дубликаты страниц, отличающиеся протоколом, регистром, наличием «www.» или слэшем в конце адреса. Если наш робот обнаружит в индексе вместо исходного URL, например, его копию без слэша, то он будет отмечен оранжевой галочкой вместо зелёной, а в подсказке отобразится обнаруженный URL.

Такая «мягкая» проверка даёт более полную картину по сравнению с проверкой по точному соответствию URL. Подобный функционал уникален, и мы рады представить его первыми.

Опции проверки индексации при запуске аудита в Сайтрепорте

4. Улучшения в отчёте

Ранее данные по индексации и счётчикам посещаемости были собраны в одном отчёте «Метрики и счётчики». Теперь они разделены на два отчёта: «Индексация в ПС» и «Счётчики посещаемости». Отчёт по индексации дополнен колонками «Код ответа» и «Канонический» для упрощения анализа.

5. Стоимость и опциональность

Парсинг поисковых систем усложнился, и мы были вынуждены вынести проверку индексации из стоимости аудита в отдельную платную опцию. При этом стоимость проверки индексации одной страницы составляет всего 2 копейки. Это одна из самых низких цен на рынке. Если страниц в аудите будет меньше, чем в выбранном пакете, то разница вернётся на баланс.

Опции проверки индексации при запуске аудита в Сайтрепорте

Зачем проверять индексацию?

Отчёт позволяет выявить следующие проблемы:

  • Отсутствие в индексе важных страниц, которые требуют доработки.
  • Попадание в индекс копий страниц по другому протоколу, без www. или слэша и т.п.
  • Попадание в индекс страниц, которые должны быть закрыты от индексации.
  • Также вы сможете провести сравнительный анализ индексации в Яндекс и Google.

Будем рады любой обратной связи. Пишите нам в онлайн-чат или на почту [email protected] Заранее благодарим!

Проверить сайт на ошибки

как сделать в Яндексе и Гугле

Автор Prodvigaem Team На чтение 5 мин. Просмотров 137 Опубликовано

Регулярная проверка индексирования сайта необходима при продвижении в поисковых системах. Вы должны проверять на наличие в индексе не только целевые URL, но и возможное попадание в поисковую выдачу «мусорных» или служебных страниц.

Способы проверки

Поисковый запрос в Google

Самый быстрый вариант проверить индексацию сайта в индексе яндекса и гугла – это сформировать в поисковой строке запрос вида «site:yoursite.ru». Естественно, после команды site: нужно указывать свой адрес ресурса. Выполнив поиск, Google покажет все страницы, находящиеся в индексе.

Помимо поиска всех страниц, можете точно так же найти все ресурсы раздела. Если же требуется проверка индекса конкретной страницы, то в этом поможет оператор поискового запроса «info:».

Google Search Console

Незаменимый инструмент SEO-оптимизации. Если Вы еще не зарегистрировали свой сайт в панели вебмастера Google, сделайте это как можно скорее.

Чтобы посмотреть статус индексирования зайдите в раздел Индекс Google > Статус индексирования. В этом разделе Вы увидите количество проиндексированных страниц проверяемой площадки. Сравните количество проиндексированных URL с количеством в файле sitemap.xml.

Если проиндексировано страниц меньше, чем содержит XML карта сайта, возможно, наблюдается одна из проблем, о которых мы поговорим немного позже. Если же страниц в индексе находится больше, чем в файле sitemap, значит, в индекс попали лишние страницы, которые нужно срочно закрыть от индексации.

Лишние URL:

  • Страницы дубликаты контента (создаются автоматически некоторыми CMS системами).
  • Служебные ресурсы (файлы CMS системы, админ-панель).
  • Файлы. Например, PDF фалы, могут попасть в индекс.

SEO-плагины для браузеров

SEO-плагины – это специальные надстройки для браузеров, которые позволяют узнать основную информацию об открытом сайте, попавшую в выдачу поисковиков Яндекс и Гугл: количество проиндексированных ресурсов и картинок, рейтинг, ошибки в meta-тегах и много другой ценной информации. Один из самых популярных плагинов – RDS bar для Google Chrome или Mozilla.

Netpeak Spider и Netpeak checker

Два профессиональных инструмента для вебмастеров, которые занимаются вопросами SEO. Эти программы платные. Netpeak Spider стоит 117.6$ в год, а Checker 159.6$ в год. Есть подписки на месяц, три или полгода. Несмотря на внушительную стоимость, относительно других инструментов: эти две программы позволяют проводить SEO-анализ по самым глубоким показателям и находить SEO-ошибки.

Netpeak Spider

Как можно понять из названия – это программа паук, которая, пройдя по всему сайту, найдет все страницы, скачает контент так, как его видят поисковые роботы, и выдаст отчет по 112 показателям. Сейчас же нас интересует проверка соответствия инструкции для индексации.

Проверяем инструкции для поисковых агентов (пауков).

В программе Netpeak Spider зайдите в меню «Настройки сканирования», и в разделе «индексация» отметьте все пункты. После проведения сканирования программа выдаст отчет по всему сайту.

Куда смотреть в отчете

Запомните теги, которые указывают на разрешение или запрет на индексацию конкретной страницы.

Разрешающие команды:

  • Allow – команда из robots.txt.
  • Index – из тега meta-robots. Разрешает показ в результатах поиска.
  • Follow – из тега meta-robots. Разрешает переходить по ссылкам со страницы.

Запрещающими тегами будут соответственно:

  • Disallow.
  • Noindex.
  • Nofollow.

Проверьте все страницы в отчете на предмет соответствия целям

. Нет ли в отчете важных disallow страниц? Нет ли мусорных, наоборот, разрешенных к индексированию?

Canonical URL

Канонический URL – это указание в специальном теге страницы оригинала. Если на вашем ресурсе существуют страницы дубликаты, или частичные дубликаты, нужно указывать канонический URL в специальном теге.

Пример: <link rel=»canonical»href=»http://site.ru/blog/index/google»/>

В этом отчете указываются данные об исходных URL, если они были указаны.

Netpeak Checker

Эта программа покажет: проиндексирован сайт или нет, а также, сколько страниц проиндексировано.

Запустите сканирование и выберите пункт Google SERP: URL.

Значения TRUE / FALSE покажут наличие индексации и склейки с другим доменом или URL. А в следующей колонке Вы увидите количество проиндексированных страниц.

Screaming Frog SEO Spider

Еще один сервис-паук для SEO-анализа сайта. Сразу о приятном. Программа имеет бесплатную ограниченную версию, которая может анализировать сайты до 500 страниц. Если же нужно проанализировать ресурс большего размера, Вы можете купить программу за 149 фунтов в год.

Конечно, покупать программу за 150 фунтов для проверки индексации абсолютно не целесообразно. Однако помимо проверки индекса домена и заданных страниц, Screaming Frog проводит полный технический SEO-аудит сайта. Поэтому рекомендуем ознакомиться с программой хотя бы в бесплатной версии.

Xenu Link Sleuth

Старая и надежная программа для аудита архитектуры сайта и поиска нерабочих ссылок. Функционал программы сильно уступает ранее описанным, однако Xenu распространяется бесплатно. Xenu не предназначена для проверки индексации, однако позволит найти базовые ошибки в архитектуре сайта.

Почему может не индексироваться контент

  • Вы запретили доступ к индексации в файле robots.txt.
  • Отсутствует файл sitemap.xml.
  • Существует много дублей, вызванных неправильной работой CMS. Тоже касается битых ссылок и висячих узлов.
  • На сайте присутствует вирус.
  • Низкая скорость загрузки сайта.

Как ускорить индексацию

Прежде чем заняться вопросом ускорения, индексации необходимо устранить SEO-ошибки, т.к. они влияют на доверие поисковой системы к вашему ресурсу. После, можете применить некоторые лайфхаки для ускорения индексации.

Ускорение индексации:

  • Опубликуйте ссылку на ресурс и на каждую страницу в социальной сети Google+ и других социальных сетях.
  • Если Вы выкатываете большое количество страниц, можете обновить файл sitemap.xml в панели вебмастера.
  • Регулярно обновляйте контент на своем ресурсе. Поисковик выработает график посещения и страницы будут быстрее попадать в индекс.

После того как вы научитесь проверять индексацию своего сайта, вы сможете вовремя обнаруживать проблемы со страницами на нем.

Как проверить, открыт ли сайт для поисковых роботов Яндекса и Google?

За то время, что я занимаюсь разработкой и продвижением сайтов, через мои руки прошли десятки, если не сотни сайтов. Это и сайты, разработанные в нашей студии, и сайты наших коллег и сайты, сделанные частными мастерами или самими клиентами на бесплатных платформах.

Владельцы этих сайтов иногда задают вопрос: «Cайт сдали, а по нужным запросам сайта нет на первых 3 (4, 5) страницах поиска, в чем причина?»

Причин как минимум три: либо конкуренция высока по этим запросам на поиске Яндекса или Гугла, либо сайт пока еще не проиндексировался поисковыми роботами, либо сайт закрыт для индексации поисковыми роботам.

Если сайт размещен на хостинге не более 10 дней, то отсутствие в поисковой выдаче это нормально! Для индексации сайта требуется некоторое время: одна или две недели.

Продвижение сайта — это тема другой статьи, а сегодня расскажу о том, как проверить, открыт ли ваш сайт для индексации поисковыми системами.

А также:

Почему некоторые разработчики или SEO-оптимизаторы закрывают сайты от индексации?
Как открыть для индексации ваш сайт?


Давайте сначала разберемся, что такое индексация сайта.

Индексация – это добавление информации о сайте в базы данных поисковиков. Поисковые роботы «пробегают по сайту», сканируют информацию, размещенную на сайте, контент (наполнение, содержимое сайта, страницы сайта, статьи) сайта заносится в поисковые базы и поисковики начинают распределять сайт или на нашем «птичьем» языке «ранжировать» сайт относительно других сайтов.

  • Какой сайт полезнее для пользователей?
  • Где нужная пользователю информация выложена интереснее и понятнее?
  • Какой сайт быстрее загружается и адаптируется под мобильные устройства?

Это лишь часть критериев, по которым поисковыми системами принимается решение о месте сайта в выдаче. Поэтому важно, чтобы вновь созданный сайт был открыт для индексации и поисковые роботы могли на него попасть целиком или только на нужные разделы-подразделы.

Но иногда так случается, что разработчики сайта забывают открыть сайт для индексации (каюсь, и за нами случался такой «грех» пару раз).


Почему это происходит?

Работы по сайту идут продолжительный промежуток времени: чтобы «сырой» сайт или недозаполненный сайт не принимал участия в выдаче, сайт закрывают для индексации.

Если работы шли год или около того, или же наоборот, сайт запускался в авральном порядке, может сработать человеческий фактор и программист, который выкладывает сайт на хостинг, забывает поставить условную галочку «открыть сайт для индексации».

Другой случай, когда общение с клиентом идет тяжело, клиент отказывается прислушиваться к мнению разработчика сайта, а разработчик — эмоциональный фрилансер — на этапе размещения сайта на хостинге может «отомстить» заказчику и сознательно не убрать (ну или не поставить) эту самую условную галочку.

Почему сразу фрилансер? Фирма дорожит имиджем, наработанным портфолио и старается выпустить сайт вне зависимости от отношения к клиенту. Это профессиональная этика.

Третий случай — продвиженцы или сео-оптимизаторы заключают с владельцем сайта договор на продвижение товара или категории товаров. Запустив работы по продвижению сайта, они могут закрыть все остальные страницы сайта, кроме нужных, для того, чтобы достигнуть результата как можно быстрее.

Сайт становится «легче» для поисковых машин, страниц, открытых к выдаче, меньше, роботы быстрее реагируют на вносимые сеоспециалистами изменения.


Как проверить, открыт ли ваш сайт для индексации:

1. Проверяем настройку файла robots.txt – лежит в корне сайта, у него всегда одна ссылка: адрес домена сайта, не важно, на латинице или кириллице: http://domen.ru/robots.txt

Например посмотрите наш robots.txt: https://www.novelsite.ru/robots.txt

Наберите в строке браузера нужную комбинацию и посмотрите, что получится: если «перебрасывает» на страницу 404 или страница вовсе не открывается, значит, этого файла нет.

Это не значит, что сайт закрыт для индексации, файл просто не настроен, но страницы должны присутствовать в поиске, вне зависимости от вида сайта: одностраничный лендинг-пейдж, сайт-визитка или интернет-магазин.

Помните!
Для каждого сайта настройка robots.txt индивидуальна.
Если с момента размещения сайта на сервер (хостинг) прошло мало времени, то, что сайта нет в поиске — это нормально. Для индексации нужно некоторое время, об этом было уже написано выше, повторяюсь.

Теперь смотрим, что написано внутри robots.txt.

Команды, которые нужно использовать в файле robots.txt, рекомендуем изучить в справке Яндекс.Вебмастер

Но главное, на что нужно обратить внимание – это команда «Disallow: /». Именно со знаком слеш «/», потому что это признак того, что ваш сайт закрыт для индексации от всех поисковых систем.

Если разработчик сайта сдал проект, нужно связаться с ним и попросить устранить эту досадную оплошность или ошибку. Вне зависимости от подписания акта выполненных работ.

Важно!
Если в файле robots.txt есть команды «Disallow: /basket» или, «Disallow: /403.html», это не ошибка. Обычно так закрывают для индексации разделы с технической информацией: корзина сайта, файлы админки, файлы js, css. Эти разделы индексации не требуют.

2. Вносим правки и открываем сайт для индексации.

Единственное, что нужно сделать, это убрать строчку, где прописана команда «Disallow: /» и сохранить файл. Как это сделать?

  • Попросить разработчиков сайта
  • Самостоятельно внести правки через админку сайта, если в вашей системе управления сайтом есть возможность попасть в корень сайта и отредактировать этот файл;
  • Через доступ к файлам на сервере по протоколам FTP, SSH (SFTP) доступы к которым есть в панели управления хостингом сайта.
    Правда, чтобы добраться до файлов сайта, придётся скачать сторонний софт, например FarManager, WinSCP , Filezilla и др.
  • Попросить компанию «Новый сайт»
  • После правок должно пройти немного времени, чтобы поисковые роботы начали индексацию сайта. Не ждите моментального чуда.

Есть вопросы по продвижению сайта? Обращайтесь!

Нурисламова Мария
Руководитель проектов по разработке сайтов и SEO
Сертифицированный специалист Яндекс.Директ, Яндекс.Метрика, Яндекс.Маркет, Google Реклама, Google Analytics, Callibri — сервис прокачки маркетинга
([email protected])

Индексация сайта — как проверить и ускорить индексацию в Google и Яндекс

7. Управление сканированием сайта

Проверка индексации в Яндексе, Google – важный этап продвижения сайта. Ведь поисковые пауки видят сайт не так, как читатели и способны находить страницы, на которые нет прямых ссылок на сайте. Если не ограничить сканирование того, что не нужно – в поисковики попадут те данные, которые, возможно, попасть в них не должны. К примеру, нет необходимости индексировать страницу с политикой конфиденциальности данных, страницу авторизации и так далее.

Важно! Существует лимит на количество страниц, которые посещает бот при обращение к сайту (краулинговый бюджет). Поэтому важно ненужные, мусорные данные выносить в список «исключения» для их обхода «пауками».

Для управления сканированием и индексацией сайта необходимо использовать файл Robots.txt. Это текстовый файл, сведения из которого считывает робот при обращение к серверу.

Robots.txt при работе использует ряд директив:

– User-agent – наименование робота, для которого работают прописанные правила.
– Allow – разрешение на сканирование.
– Disallow – запрет.
– Host – ссылка на главное зеркало.
– Sitemap – ссылка на карту сайта.
– Crawl-delay – временной промежуток задержки скачивания страниц.
– Clean-param – исключенные страницы.

User-agent указывает на поисковик, для которого работают правила. Если они касаются всех поисковых сетей, стоит поставить *. Если только для одной поисковой сети, прописываете ее: Yandex, GoogleBot, Bingbot, Slurp (это система Yahoo!).

Чаще всего вебмастера используют директиву – Disallow, необходимую для запрета индексации страниц, файлов, каталогов. Из поиска нужно исключать следующую информацию:

– Служебная документация, файлы, административную панель, CMS, ЛК клиента, корзину заказов.
– URL с малой информативностью, не требующие seo-продвижения, к примеру, чья-то биография или статистические сведения.
– Дублирование основных страниц. Если их не исключить, они попадут в блок за неуникальность.

Доверить проработку файла Robots.txt лучше специалисту. Но если вы решили заниматься ей самостоятельно – изучите детальную инструкцию по настройке robots.txt.

Важно! Поисковики по-разному воспринимают robots.txt. Яндекс воспринимает файл как правила. А Гугл – как рекомендацию к действиям.

Индексация сайта в поисковых системах, Проверка, Рекомендации

Добрый день, уважаемый читатель. В этой статье Вы узнаете, что такое индексация сайта в поисковых системах, как можно проверить индексацию страниц в Яндексе и  Гугле, как ее ускорить. Поймете важность этого процесса, увидите на разных примерах несколько вариантов определения документов Вашего блога.

Внимание уделяю часто используемым вариантам проверки индексации, которые не требуют денежных затрат (платные seo-сервисы).

Что такое индексация сайта в поисковых системах

Перед тем, как мы поговорим о различных службах и сервисах проверки проиндексированных страниц в Яндексе и Гугле, предлагаю вспомнить определение самой индексации.

Каждый сайт, блог, портал в Интернете состоит из страниц (их также называют документами веб-ресурса). Между страницами есть связи, называемые внутренними ссылками (отсюда и идет понятие внутренней перелинковки сайта).

Чтобы сайт был виден пользователям поисковой системы, он сначала должен сам стать известным поисковику. Для этого у поисковой системы есть определенная процедура изучения страниц неизвестного ресурса с помощью специального алгоритма, называемым «поисковым роботом» (еще его называют «пауком»):

На этом рисунке показан процесс индексирования сайта поисковым роботом (по-другому его называют также «индексацией» ). Он состоит из 3-х этапов.

1Сначала паук подходит к каждой странице проекта и сканирует ее содержимое. Он собирает по определенным правилам все слова на странице, запоминает из расположение, фиксирует служебные теги и т.д.

2Получив слова (не буквы, не предложения!) и место их расположения на странице, робот с помощью алгоритма ранжирования начинает оценивать собранный материал документов.

Так как данных о поведенческих и о ссылочных факторах ранжирования пока нет у робота, он оценивает документы только по текстовым факторам.

Для этого он из собранных слов получает словосочетания и уже их сравнивает с известными ему поисковыми фразами из известной ему базы данных запросов (у каждого поисковика он свой  — например, у Яндекса это Вордстат.)

Затем по каждому запросу оценивается эффективность контента (текста) и дается оценка ранжирования. Если она достаточно высокая, то только что проиндексированная страница по проверяемому запросу может сразу попасть в выдачу (показатель этого явления — наличие времени появления документа в выдаче в виде количества часов или слова «вчера»):

3Оценив по текстовым факторам ранжирования новый / измененный документ, робот отправляет его в специальную базу данных. Она называется индексом поисковой системы и содержит все страницы тех сайтов, до которых добрался «паук».

Попадание в базу данных — это еще не гарантия, что страница появится в поиске и ее увидит пользователь поисковой системы. Она должна быть выбрана поисковиком из множества других страниц по той же тематике (это страницы тоже котируются по тем же запросам).

Именно поэтому в результатах проверки при использовании инструмента «Проверить статус URL» дается информация и по наличию страницы в индексе, и по ее присутствии в поисковой выдаче (по-другому в «поисковом индексе»):

Итак, любая поисковая система работает только с теми документами, которые просмотрены ее роботом и занесены в базу данных (проиндексированы). Поэтому правильное понимание работы этого процесса — это одно из главных условий успешного и правильного продвижения любого сайта в Яндексе и Гугле.

Соответственно, нужно уметь проверять индексацию сайта в поисковых системах. Это можно сделать разными способами. Рассмотрим их подробнее.

Проверка индексации сайта в поисковиках

На сегодняшний момент (май, 2020 года) самыми популярными поисковыми системами являются Яндекс и Google. Посмотрим, как можно сделать индексацию сайта в этих поисковиках.

Индексация сайта в Яндексе

С помощью оператора site и host

Для того, чтобы узнать наличие страниц в русском поисковике, существует несколько операторов.

Оператор site находит все страницы Вашего сайта в базе данных Яндекса:

а host дает информацию по индексированным документам с доменов и поддоменов сайта:

Теперь давайте посмотрим, сколько покажет нам количество проиндексированных страниц оператор host для моего сайта не по главному зеркалу (с www, к примеру). Результат конечно будет предсказуемым:

Если же проделать ту же схему, но для оператора site, то число страниц в индексе не по главному зеркалу моего сайта не измениться — останется 338:

Это потому, что как я и говорил, site находит все документы сайта, а host — домена. Поэтому дам Вам такой совет — если хотите быстро оценить число страниц любого веб-ресурса в базе данных Яндекса, используйте оператор site (в строку запроса можно вводить адрес сайт с или без www — результат будет одним и тем же).

Если же Вам нужно знать точное число страниц в индексе любого домена, используйте следующее сочетание операторов (вместо адреса моего сайта в примере ставите нужный адрес домена):

Для проверки индексации конкретной страницы используем оператор site с добавлением адреса проверяемого документа.

Здесь компановка запроса в поисковую стоку следующая: оператор site, знак двоеточия и сразу (без пробела!) адрес страницы, которую нужно проверить:

Использование оператора site для поиска доноров для перелинковки

Чтобы сделать эффективную перелинковку для конкретной страницы, необходимо знать адреса документов, на которых будет проставляться внутренняя ссылка.

Есть разные варианты решения этой задачи. Самый простой и самый надежный  — это использование оператора site в связке с поисковым запросом и урлом сайта.

Об этом способе поиска доноров для внутренней перелинковки я подробно описал в этой статье (и показал на видео). Рекомендую!

С помощью функционала Яндекс Вебмастера

Для проверки индексации своего сайта Яндекс в своем вебмастере предлагает своим пользователям специальный инструмент. Называется он «Проверить статус URL»:

Здесь мы указываем адрес проверяемой страницы и жмем кнопку проверки. В итоге получаем следующую информацию:

Как я уже описывал в этой статье выше, Яндекс в отчете проверки показывает наличие страницы в общей базе данных (статус «страница проиндексирована») и присутствие ее в поисковом индексе (статус «присутствует в поиске»).

Если же у документа нашего сайта есть те или иные проблемы индексации, то мы можем получить такие варианты проверки:

Разберем подробнее, что каждый вариант нам показывает:

  • 1 — со страницей все отлично, она и в индексе и в поиске.
  • 2 — документ включен в базу данных Яндекса, но в поисковой выдаче его нет.
  • 3 — страница вообще не проиндексирована (и соответственно не оценивалась для попадания в поисковый индекс).

Чтобы решить проблему из 2-го варианта, необходимо проанализировать контент этой станицы, сравнить с конкурентными в топ-10 документами и затем сделать корректировку.

А потом дождаться, пока страница снова проиндексируется роботом и позже опять использовать этот инструмент для проверки индексации.

В каких случаях инструмент «Проверить статус URL» не поможет

Если мы проверяем страницу чужого сайта, для которого у нас нет прав в Яндексе, мы получим такое сообщение:

Понятное дело, получить статус индексации в этом случае мы не сможем.

Если же мы проверяем документ другого сайта, права на которые у нас есть, то Яндекс вебмастер любезно напомнит нам об этом:

Здесь нам нужно будет нажать на кнопку «Проверить» и мы получим информацию о статусе индексации этой нами страницы.

Индексация сайта в гугл

С помощью оператора site

Поисковая система Google обладает только одним оператором для определения проиндексированных страниц. Его название site и он выполняет такую же функцию, как и его коллега в Яндексе — дает полный перечень документов, находящихся в базе данных Гугла. Вот как он выглядит:

 

Здесь мы видим, что результат проверки индексации — 432 страницы. Но принимая эту цифру к сведению, нужно помнить один важный момент.

Поисковая система Google, в отличие от Яндекса, разделяет свою базу данных на основной индекс и дополнительный. В основном содержатся все документы проверяемого сайта, которые поисковик использует для своих результатов выдачи (уходят в поисковую выдачу).

Остальные же документы, которые обычно содержат дублирующие страницы, технические разделы из CMS или не подходящие по ранжированию урлы находятся в дополнительном индексе, который называется Supplemental Results (по сеошному — «сопли»).

Поэтому, оператор site нам показывает все 432 страницы, которые находятся в индексе Гугла.

Для точного определения рабочих проиндексированных страниц своего сайта, которые участвуют при ранжировании, дополнительно используется специальная команда &:

Как видите, результаты немного отличаются в моем случае — число проиндексированных страниц в основном индексе меньше (387), чем общее число (432). Это говорит о том, что Гугл успел занести в свою базу кучу мусора и дублей. Придется их найти и подчистить.

С помощью функционала Search Console

Аналогично с Яндексом, Google тоже имеет возможность проверки индексации страниц в своей панели инструментов для вебмастера.

Находится данный функционал в самом вверху на любой странице Google Search Console и выглядит следующим образом:

Для поверки индексации нужной нам страницы, вводим ее адрес в правое поле формы данного инструмента и нажимаем кнопку запуска проверки.

Нам сразу показывается старый статус документа (когда был проиндексирован, наличие ошибок и т.д.):

Смотрим раздел «Покрытие»:

Здесь обращаем внимание на поля «Сканирование» и «Индексирование». Сканирование должно быть разрешенным и успешным, статус индексации — «Проверенный URL».

Если данные устарели или требуется новая проверка, нажимаем кнопку «Запросить индексирование».

Как проверить индексацию сайта другими сервисами

Сервис Серпхант

Многофункциональный, аналитический сервис, позволяющий провести внутренний, постраничный анализ, в том числе и проверить страницы на их проиндексированность.

В платной версии данный инструмент удобен тем, что одновременно можно проверить все страницы сайта, загрузив их путем синхронизации с Вордпресс.

В их арсенале имеется еще бесплатный инструмент, где индексация сайта в Яндексе и Гугле проверяется без регистрации. Он прост в использовании и в день позволяет проверить до 50 страниц.

Анализатор сайтов RDS bar

Самый быстрый вариант проверки — использовать seo-плагин Rds Bar.

Этот плагин, который можно прикрутить к любому популярному браузеру, с ходу может дать всю информацию о наличии страниц в базе данных Яндекса и Гугла (в общем индексе), а также информацию о дате индексации текущей страницы.

Благодаря этому расширению, не теряя времени на переходы в различные сервисы или в поиск, можно оценить индексирование любого сайта.

Кроме быстрой проверки индексации страниц, плагин Rds Bar позволяет:

  • узнать показатели авторитетности сайта;
  • получить технические данные и теги оптимизацию страниц;
  • оценить показатели seo-продвижения;
  • сделать предварительный анализ веб-проекта.

Более подробно в статье об установке, настройках и практическому использованию Rds bar.

Сервис XSEO

Набор инструментов для веб-мастеров и блоггеров, XSEO.in тоже дает четкую информацию об индексации страниц сайта в Яндексе и Google.

Но в отличие от предыдущего сервиса, он позволяет достаточно быстро, в пару кликов увидеть число страниц в Гугле в разных индекса — в основном и дополнительном. Такая информация есть далеко не в каждом плагине, программе или сервисе. XSEO дает точные данные о числе документов, как например, для моего сайта:

Для получения таких данных для любого, анализируемого Вами веб-ресурса, достаточно в сервисе выбрать раздел «Проверка индексации сайта».

Сервис PR-CY

Известный аналитический сервис Pr-Cy.ru, имеющий в своем активе достаточно неплохой набор различных отчетов и seo-инструментов. Как и предыдущие источники, он тоже дает данные об индексации любого сайта.

Но у него есть замечательное отличие — он обладает интересной графикой, в которой показывает историю индексации страниц в поисковых системах. Такую штуку я редко где замечал, но именно этот сервис имеет самый дружелюбный интерфейс, позволяющий быстро увидеть изменение числа проиндексированных страниц.

В целом сервис дает похожие показатели индексации страниц моего сайта:

Рекомендации по индексации сайта (проверка, анализ)

Одинаковое число проиндексированных страниц в Яндексе и Google

Периодичность проверки индексации страниц

Seo-продвижение напрямую зависит от результатов процесса индексирования. Здесь все просто — если нужные нам целевые страницы не имеют прописки в индексе Яндекса и Гугла, о дальнейшем их попадании в поисковую выдачу нет смысла говорить.

Поэтому необходимо периодически проверять статус страниц, которые мы продвигаем в поиске. Обычно это происходит в процессе проверки видимости сайта. Проверяем позиции, видим наличие целевых документов в поиске.

Например, используя инструментарий сервиса «Топвизор», мы не только видим позиции сайта, но и можем тут же сверить соответствие целевой страницы с той, которая находится в поиске по проверяемому запросу:

Для постоянной проверки индексированных страниц в Яндексе, рекомендую использовать специальную возможность в вебмастере поисковика. Речь идет об инструменте «мониторинг важных страниц».

Он позволяет отслеживать данные указанных вебмастером страниц (до 100 включительно), среди которых числится статус документа в поиске и наличие индексации в Яндексе:

Сопоставление проиндексированных страниц в Яндексе и Гугле

Проверяя индексацию сайта в Яндексе и Гугл, обязательно стоит сверить число проиндексированных страниц:

Вот какие могут быть различия в полученных данных и возможные причины проблемы индексации (в таблице ниже Я — число проиндексированных станиц в Яндексе, G — в Гугле):

Конечно, это не все проблемы несоответствия страниц в индексе Гугла и Яндекса. Могут быть и банальные причины возникшей проблемы (полетел хостинг, залез вирус, на сайт наложены санкции и т.д.).

Но в любом случае, если числа проиндексированных страниц Гугла и Яндекса сильно отличаются друг от друга, пора бить тревогу!

В противном случае потеря поискового трафика не только неизбежна, но и сулит в дальнейшем проблемы с повторной индексацией, когда решится вопрос несоответствия.

Ведь чаще всего бывает так, что один из поисковиков начинает игнорировать страницы сайта из-за наложенных на него санкций или бана. Выползти из этой ситуации очень сложно, поэтому лучше не доводить ситуацию с проблемной индексацией до крайностей.

На этом наш экскурс в тему индексации станиц завершен. Если будут вопросы по этой теме, задавайте в комментариях к этой статье.

С уважением, Ваш Максим Довженко

== Часто задаваемые вопросы по теме (FAQ) ==

Что такое индексация сайта?

Это процесс сбора данных с документов сайта поисковым роботом. Идет в 3 этапа:
1. Робот сканирует станицу сайта, собирает все слова, их местоположение и все теги.
2. Ранжирует полученный документ по текстовым факторам и может сразу отправить страницу в топ.
3. Складирует в базу данных своей поисковой системы (индекс).

Как ускорить индексацию сайта?

Во-первых, уменьшить количество технических ошибок на сайте (дубли и т.д. ).
Во-вторых, улучшить работу хостинга (новый тариф, замена хостера, выделенный сервер).
В-третьих, чаще публиковать новый контент на сайте.

Как долго проходит индексация сайта?

Все зависит от активности сайта в поиске. Чем чаще публикуются свежие материалы на нем, тем быстрее поисковый робот приходит для индексации новых/измененных страниц.

Для чего нужна индексация страниц сайта?

Поисковая система предлагает своим пользователям в выдаче только проиндексированные материалы из сети. Нет индексации — нет поискового трафика (реклама не в счет).

Бесплатная программа проверки индекса Google

Что такое инструмент проверки индекса Google?

Цель инструмента проверки индекса Google — информировать пользователей о статусе индекса Google отправленного URL. Некоторые веб-мастера используют средство проверки индекса сайта, чтобы проверить, проиндексировал ли Google их сайт или нет.

Этому инструменту от RankWatch доверяют многочисленные владельцы веб-сайтов и SEO-специалисты. Они используют Site Index Checker, чтобы узнать о рейтинге и статусе индексации Google своего домена и его поддоменов.

Вы можете начать использовать наш инструмент проверки индекса Google, открыв его из раздела «Отслеживание веб-сайтов» бесплатных инструментов. После открытия инструмента вам необходимо ввести URL-адрес, по которому вы хотите проверить статус индексации Google, и нажать «Проверить индекс сайта».

Инструмент запустит свой алгоритм и построит отчет, который проинформирует вас о вашем статусе индекса Google. Есть еще одна категория, называемая «URL-адрес индекса», которая сообщает вам об общем количестве проиндексированных URL-адресов вашего веб-сайта.

Когда вы задаетесь вопросом «проиндексирован ли мой сайт?» Вы можете использовать инструмент проверки индекса Google от RankWatch. Мы не запрашиваем ваши адреса электронной почты или заглавные буквы, наш инструмент проверки индекса бесплатно выполняет поиск в индексе Google.

RankWatch также предлагает множество других бесплатных инструментов для предложения ключевых слов, проверки полномочий домена, получения HTML-кода счетчика посещений и т. Д. Вы можете использовать эти инструменты неограниченное количество раз.

Что такое индекс Google?

Индекс Google — это обширная база данных с миллиардами веб-сайтов в Интернете.Google собирает эти данные массового индекса через своего Google Bot. Google Bot — это сканер с продвинутым алгоритмом, который непрерывно просматривает веб-сайты в поисках информации для ранжирования.

Crawler будет сканировать каждый веб-сайт в Интернете, НО не каждый сайт включен в индекс Google. Существует около 200 факторов ранжирования, на основе которых поисковый робот включает веб-сайт или веб-страницу в индекс Google.

Из 200 факторов ранжирования SEO-специалисты и веб-мастера знают лишь о некоторых.Но те немногие элементы, о которых мы знаем, могут помочь нашему веб-сайту проиндексироваться и, в конечном итоге, получить рейтинг, поэтому вам не нужно беспокоиться о том, как индексировать сайт в Google. Эти факторы включают оптимизацию на странице и вне страницы.

Оптимизация на странице

Оптимизация на странице — самая важная часть включения вашего сайта в процесс индексации Google. Каждая веб-страница вашего сайта должна иметь мета-описание, заголовок, тег h2, тег Alt, теги h3, а также внутренние и внешние ссылки.

Вам необходимо оптимизировать каждый элемент на странице с помощью ключевых слов, связанных с контекстом, которые органично размещаются вокруг контента и не заполняются без надобности.

Google Bot Crawler просматривает эти элементы и просматривает их на предмет связанных ключевых слов. Если он обнаружит, что просканированный сайт содержит все релевантные ключевые слова, он добавит сайт в индекс Google. Однако, если поисковый робот обнаружит, что ключевые слова не связаны с контекстом или без необходимости размещены и заполнены на веб-странице, он не добавит ваш сайт в индекс Google.Более того, это будет наказывать ваш сайт из-за черной оптимизации.

Оптимизация вне страницы

Оптимизация вне страницы в основном состоит из построения ссылок. Если вы недавно запустили свой веб-сайт, потребуется время, чтобы его просканировали и добавили в индекс Google. Следовательно, вам нужно повысить видимость в Интернете и повысить авторитет вашего домена. Так что, когда ваш домен, наконец, будет проиндексирован, он будет занимать более высокое место в поисковой выдаче.

Когда вы получаете входящие ссылки с сайтов, которые уже занимают более высокие позиции в поисковой выдаче, поисковый робот будет направлен на сканирование вашего сайта в тот момент, когда он просканирует сайт с высоким рейтингом.Поступая так, ваши шансы попасть в индекс Google увеличиваются. Однако, если вы правильно следуете методам на странице, ваш сайт обязательно будет включен в индекс Google.

Если вы следовали каждой стратегии SEO и оптимизировали свой контент с помощью подходящих ключевых слов, но не знаете, как проверить статус своего веб-сайта в индексе Google? Не волнуйся. Вы можете провести тест Google Index с помощью инструмента Google Index Checker от RankWatch и проверить статус индекса вашего домена.Кроме того, наша программа проверки индекса сайта также проинформирует вас о номере индекса Google.

Как Google индексирует веб-сайты? | Что такое индексирование Google?

Многие люди спрашивают: «Как Google индексирует веб-сайты?» ответ на этот вопрос прост.

Сканер Google основан на расширенном алгоритме, который сканирует ваш тег заголовка, тег h2, метаописания, тег alt, внутреннюю структуру ссылок и количество качественных входящих ссылок (если вы не знаете, как создавать метатеги, вы можете использовать наши Инструмент Meta Tag Generator, он бесплатно создает метатеги).Сканер также ищет органическое размещение релевантных ключевых слов в метатегах.

Так Google индексирует веб-сайты.

Хотя, вы должны быть осторожны с размещением ключевых слов и созданием метатегов. Их следует размещать естественным образом, не ухудшая читаемость контента. Когда сканер Google обнаруживает подозрительное использование ключевых слов, он не индексирует ваш сайт.

Кроме того, при желании вы можете запретить индексацию определенных страниц вашего сайта, добавив файл Robots.txt к нему. Если вы не знаете, как создать файл Robots.txt, вы можете обратиться за помощью к нашему Генератору Robots.txt.

Важность использования Google Index Checker

Если вы являетесь владельцем веб-сайта, веб-мастером или специалистом по поисковой оптимизации, вам необходимо проверить статус вашего домена в индексе Google. А когда сайт не добавлен в индекс Google, он в конечном итоге перестанет генерировать органический трафик (который является лучшим видом трафика). Итак, вам нужно продолжать инвестировать в привлечение платного трафика на свой домен.

Кроме того, инструмент Google Index Checker от RankWatch бесплатен и прост в использовании. Вы можете проверить статус индексации Google для каждой страницы своего веб-сайта, и мы не будем запрашивать у вас адрес электронной почты и покупать подписку на наш инструмент.

Просто введите домен и проверьте статус индекса Google с помощью нашего бесплатного инструмента проверки индекса Google.

Как узнать, сканируются ли и индексируются ли URL-адреса ваших сайтов Google

Это сообщение в блоге на двух (больших) страницах — действующем и промежуточном сайтах:

Часть 1: Как проверить, проиндексировал ли Google ваш действующий сайт

Часть 2: Как проверить, проиндексировал ли Google ваш промежуточный / тестовый сайт


Часть 1:

Как узнать, проиндексировал ли Google мой действующий сайт?

Есть два простых способа узнать:

Использование сайта: оператор запроса

Найдите свой домен в Google следующим образом: site: organicdigital.co

Если ваш сайт проиндексирован, вы увидите список страниц:

Если результаты не возвращаются, у вас могут быть проблемы:


Примечание: на крупных сайтах, хотя вы увидите приблизительное количество проиндексированных страниц, вы сможете увидеть только около 300 из них в поисковой выдаче.

Проверьте раздел покрытия в Google Search Console

У каждого веб-сайта должна быть учетная запись GSC. На мой взгляд, это лучший инструмент, который может использовать владелец сайта или оптимизатор поисковых систем. Он предоставляет обширную информацию об органической видимости и эффективности вашего сайта.Если у вас его нет, перейдите на официальную страницу GSC, если у вас есть, перейдите в раздел Покрытие, где вы можете увидеть разбивку по:

  • Ошибки, обнаруженные при сканировании страниц
  • Заблокированные страницы
  • Действительные проиндексированные страницы
  • Исключенные страницы

Если на вашем сайте есть проблемы, они будут отмечены как «ошибка» или «исключены» — и вы сможете найти из причин, по которым они не включаются в поиск, например:

  • Альтернативная страница с правильным каноническим тегом
  • Просканировано — в настоящее время не проиндексировано
  • Дубликат без выбранного пользователем канонического тега
  • Исключено тегом noindex
  • Аномалия сканирования
  • Не обнаружено (404)

Если страницы вашего сайта не отображается в «действительном» разделе, то у вас могут быть проблемы.

Используйте функцию проверки URL в GSC

Если одни страницы проиндексированы, а другие нет, то вы также можете использовать инструмент проверки URL, чтобы узнать, может ли Google сканировать и проиндексировать определенную страницу или есть ли другие проблемы, препятствующие ее отображению в поиске — это в в верхнем меню и позволит вам проверять по одному URL за раз:

Если ваша страница проиндексирована, она будет содержать следующую информацию:

Если нет, вы получите этот статус, который показывает, когда Google пытался сканировать страницу, и некоторое представление о том, почему она не проиндексирована:

Почему Google не сканирует или не индексирует мои страницы?

Обычно страницу нельзя просканировать или проиндексировать по двум причинам.Это особенно часто встречается, когда новый сайт был запущен или перенесен, а настройки из среды разработки были перенесены.

Директива о запрете доступа в robots.txt

Здесь блокируется сканирование сайта, каталога или страницы с помощью файла robots.txt.

На каждом сайте должен быть файл robots.txt, который используется для указания поисковым системам, какие разделы вашего сайта должны и не должны сканироваться.

Если он у вас есть, вы найдете его в корневом каталоге под именем robots.txt

https://organicdigital.co/robots.txt

Директивы, предотвращающие сканирование сайта, каталога или страницы, будут следующими:

  Запрещено: /
Запретить: / каталог /
Запретить: /specific_page.html
  

Вы также можете использовать Screaming Frog, чтобы попытаться просканировать ваш сайт. Если это невозможно, вы увидите следующие данные сканирования:

Существует множество веских причин для блокировки поисковых систем с помощью этой директивы, но если вы видите что-то похожее на приведенное выше, вам необходимо изменить их, чтобы разрешить сканирование вашего сайта.

Как изменить файл Robots.txt вручную

Если у вас есть доступ к FTP или у вас есть разработчик, вы можете вручную изменить файл robots.txt, чтобы удалить все директивы, которые блокируют сканирование вашего сайта.

Обычно это делает следующая команда:

  Агент пользователя: *
Разрешать: /
  

Как изменить файл Robots.txt в WordPress

Если у вас установлен плагин Yoast, вы можете редактировать файл напрямую через Tools -> File Editor Section — перейдите по этой ссылке, чтобы узнать, как это сделать.

Как изменить файл Robots.txt в Magento

Перейдите к C ontent -> Design -> Configuration , щелкните в соответствующем представлении магазина и отредактируйте «Search Engine Robots»

Для метатега роботов установлено значение Noindex и / или Nofollow

Помимо файла robots.txt, вы также можете проверить метатег robots в исходном коде вашего сайта и убедиться, что он не препятствует сканированию поисковыми системами.

Если вы проверяете свой исходный код, если вы не видите метатег robots, или он установлен на «index» или «index, follow» — тогда проблема не в этом.Однако, если вы видите, что там написано «noindex», это означает, что ваша страница может быть просканирована, но не будет проиндексирована:

Опять же, вы можете использовать Screaming Frog для проверки статуса ваших тегов роботов на вашем сайте. Если для вашего тега установлено значение noindex, nofollow не выйдет за пределы главной страницы:

Если для него просто установлено значение noindex, весь сайт все еще можно сканировать, но не индексировать:

Как вручную изменить файл метатегов роботов

Опять же, откройте страницу / шаблон вашего сайта напрямую и замените / добавьте следующий тег:

    

Как изменить метатег роботов в WordPress

Есть два способа сделать это — если проблема касается всего сайта, перейдите в «Настройки » -> «Чтение » и убедитесь, что флажок «Не разрешать поисковым системам индексировать этот сайт» не отмечен:

Я могу ошибаться, но я думаю, что единственный способ настроить определенную страницу или сообщение на index или noindex, если вы используете Yoast, поэтому перейдите на страницу / сообщение и проверьте следующий параметр внизу страницы:

Как изменить метатег роботов в Magento

Как и раньше, перейдите в раздел Content -> Design -> Configuration , щелкните в соответствующем представлении магазина и внесите поправки в раскрывающийся вариант «Роботы по умолчанию»:

Мой сайт / страницы могут сканироваться и индексироваться Google — что дальше?

Как только вы убедитесь, что файл robots.txt и метатег robots верны, вы можете снова использовать инструмент Inspect URL, чтобы проверить свою страницу и запросить, чтобы Google сканировал и индексировал вашу страницу:

У меня также есть учетная запись для веб-мастеров Bing!

А ты? Я думал, что я единственный. Хорошо, вы можете делать почти все то же, что написано в этой статье, в Bing Webmaster Tools, как и в GSC, поэтому проверьте URL-адрес и индексирование запроса:

Я сделал все это, а мой сайт / страницы все еще не проиндексированы!

В этом случае вам нужно глубже изучить конфигурацию и функциональность вашего веб-сайта, чтобы определить, какие еще проблемы могут быть.Я могу помочь вам, если вы заполните контактную форму ниже.


Часть 2:

Как: проверить, проиндексирован ли ваш промежуточный сайт в Google

В жизни можно быть уверенным только в трех вещах: смерть, налоги и индексирование вашего тестового сайта Google.

Очень редко вы сталкиваетесь с запуском нового сайта без того, чтобы в какой-то момент понять, что промежуточный сервер открыт для ботов, которые могут сканировать и индексировать.

Это не обязательно конец света, если поисковая система должны были проиндексировать тестовый сайт, так как это довольно легко решить, но если вы долгосрочное использование тестовой среды для разработки новых функций наряду с живым сайта, то вам необходимо как можно раньше убедиться, что он правильно защищен, чтобы избегать проблем с дублированным контентом и гарантировать, что люди в реальной жизни не будут посещать и взаимодействовать (т.е. попробуй что нибудь купить).

Я раньше был разработчиком и, вероятно, сам неоднократно допускал эти ошибки, но тогда у меня не было SEO, который постоянно указывал мне на эти вещи, когда он указывал на эти вещи (в то время старая школьная брошюра пришла … веб-дизайнеры, которые не понимали ограничений таблиц и встроенного CSS, где мне было больно).

Все следующие методы являются испытанными и проверенными. что я использовал для выявления этих проблем в дикой природе, хотя для защиты личности моих клиентов и их разработчиков, я самоотверженно решил создать пара тестовых сайтов, использующих мой собственный контент, чтобы проиллюстрировать, что нужно сделать, это такие:

тест.organicdigital.co
alitis.co.uk

Хотя к тому времени, когда вы это прочтете, я последую своему совету и уберу их, мне нужна вся доступная видимость, последнее, что мне нужно, — это проиндексированные тестовые сайты, содержащие меня обратно.

1)

Свойство домена Google Search Console (GSC)

Одна из замечательных особенностей нового GSC заключается в том, что вы можете настроить свойства домена, которые дают вам ключевую информацию обо всех поддоменах, связанных с вашим веб-сайтом — как по HTTP, так и по HTTPS.Чтобы настроить это, просто выберите параметр домена при добавлении свойства (вам также необходимо выполнить потенциально не очень простую задачу добавления записи TXT в DNS вашего домена):

Существует целый ряд причин, по которым свойство домена полезно, в данном случае это потому, что если у вас есть тестовый сайт, настроенный на поддомене, и он производит впечатление и количество кликов в поиске, вы можете определить это в разделе «Производительность », Отфильтровав или упорядочив страницы:

Кроме того, вам следует также проверить раздел «покрытие» — в в некоторых случаях Google проиндексирует ваш контент:

В других случаях они обнаружат, что у вас дублировать контент на месте и любезно воздерживаться от индексации, в этом случае вы найдет его в разделе «Дублировать, Google выбрал другой канонический чем пользователь »:

Даже если это так, вы все равно должны постараться он не ползет вперед.

2)

Проверьте результаты выдачи Google с помощью группы ссылок

Если у вас нет доступа к свойствам домена GSC или какой-либо доступ в GSC (если нет, почему бы и нет?), то вы можете проверить поисковую выдачу, чтобы увидеть, есть ли какие-либо тестовые URL-адреса попали в индекс.

Это также удобный метод при продвижении к новому бизнесу, Что может быть лучше для привлечения потенциального клиента, чем сделать его внутренним или внешняя команда разработчиков выглядит так, будто играет в кости со смертью видимости в поисковой сети позволив этому случиться в первую очередь, и что вы здесь, чтобы спасти день.

Шаги следующие:

i) установить ссылку Расширение Clump Google Chrome, которое позволяет копировать и вставлять несколько URL-адресов. со страницы в более полезное место, например, в Excel.

ii) Измените настройки группы ссылок следующим образом:

Самое важное, на что следует обратить внимание, — это действие «скопировано в буфер обмена». — последнее, что вам нужно здесь, — это открыть до сотни URL-адресов на однажды.

iii) Перейдите в свой любимый (или местный) домен верхнего уровня Google, нажмите «Настройки», которые вы должен увидеть в правом нижнем углу страницы, и выберите «Настройки поиска», где вы можете установить для «результатов на страницу» значение 100.

iv) Вернитесь на главную страницу Google и используйте запрос «site:». оператор и добавьте свой домен. если ты используйте www или аналогичный, удалите это — команда будет иметь следующий вид:

site: organicdigital.co

Вам будет представлен образец до 300 URL-адресов. в настоящее время индексируется Google по всем поддоменам. Хотя вы можете вручную просмотреть каждый результат для обнаружения мошеннических сайтов:

Я считаю, что гораздо быстрее и проще щелкнуть правой кнопкой мыши и перетащить все путь к низу страницы.Ты будет знать, работает ли Link Clump, поскольку вы увидите следующее, обозначают, что ссылки выбираются и копируются:

Повторите это для результатов поиска 2 и 3, если они доступны, и один раз URL-адреса вставляются в Excel, используйте сортировку по алфавиту, чтобы легко идентифицировать проиндексированные контент во всех соответствующих поддоменах.

3)

Поиск текста, уникального для вашего сайта

Описанные выше методы работают, если ваш тестовый сайт размещен на поддомен в том же домене, что и ваш действующий веб-сайт.Однако, если ваш тестовый сайт находится в другом месте, например test.webdevcompany.com, то они не будут работать. В этом случае этот или следующие методы мог бы.

Найдите контент, который, по вашему мнению, является уникальным для вашего веб-сайта — в моем случае я использовал строку: «Повысьте органическую видимость и посещаемость вашего веб-сайта» — а затем выполните поиск в кавычках. Если тестовый сайт, содержащий этот контент, был проиндексирован, этот поиск должен выявить его:

Как видите, появляются домашние страницы на основном сайте, тестовом субдомене и отдельном тестовом домене.Вы также можете случайно обнаружить конкурента, который скопировал ваш контент. Кто-то воспримет это как комплимент, кто-то выдаст DMCA — решать вам, но меньше всего вам нужно, чтобы кто-то превзошел вас по вашей собственной копии.

4)

Обход сайта с помощью Screaming Frog

Полагаю, вы занимаетесь SEO и поэтому используете Screaming Frog. Если какой-либо из этих ответов отрицательный, то хорошо, что вы так далеко зашли в эту статью (позвольте мне предположить, что вы разработчик, который бросил чушь и хочет прикрыть свою задницу, прежде чем кто-то узнает?).

Если у вас его нет, скачайте здесь.

В основных настройках отметьте «Сканировать все субдомены». Вы также можете установить флажок «Follow Internal‘ nofollow ’» поскольку в некоторых тестовых средах это может быть.

После завершения сканирования просмотрите список, чтобы увидеть, есть ли есть любые внутренние ссылки на тестовые сайты. Я недавно наткнулся на это, когда появился новый сайт Drupal, но со всеми внутренними ссылками в сообщениях блога, указывающими на бета-поддомен:

Затем вы можете щелкнуть каждый тестовый URL-адрес и щелкнуть InLinks на внизу, чтобы найти оскорбительную внутреннюю ссылку с действующего сайта на тестовый.В этом случае я изменил ссылку «Связаться с нами» в карте сайта, чтобы указать на тестовый URL:

После обнаружения исправьте и переползайте, пока они не исчезнут. внутренние ссылки, ведущие посетителей в другое место. Если вы используете WordPress, используйте плагин поиска / замены, чтобы найти все тестовые URL-адреса и замените их действующим.

5)

Проверьте имена хостов Google Analytics

Если на вашем тестовом сайте используется тот же аккаунт Google Analytics, код отслеживания установлен как ваш действующий сайт, вы сможете обнаружить это в GA, если вы перейдете в такой раздел, как «Поведение» -> «Контент сайта» -> «Все Страницы »и выберите« Имя хоста »в качестве дополнительного параметра:

.

Кроме того, вы также можете дополнительно отфильтровать данные с помощью исключение из отчета всех посещений основного домена, в результате чего все другие экземпляры в списке.В Помимо тестовых сайтов, вы также можете обнаружить, что спам GA запускается на 3 rd сайт партии:

У использования одного и того же идентификатора отслеживания GA есть свои плюсы и минусы. работает как в вашей реальной, так и в тестовой среде, но лично я не вижу причина иметь отдельные учетные записи и вместо этого создавать несколько представлений в ваша единственная учетная запись. Для действующего сайта настроить фильтр, чтобы включить трафик только к действующему имени хоста, и наоборот для тестового сайта.

Как удалить и предотвратить индексирование тестового сайта

Итак, вы обнаружили свой тестовый сайт в индексе с помощью одного описанных выше методов, или вы хотите убедиться, что этого не происходит в первое место.Следующее поможет с этим:

1) Удалить URL через GSC

Если ваш сайт проиндексирован, генерирует ли он трафик или нет, лучше удалить его. Делать для этого вы можете использовать раздел «Удалить URL-адреса» из «старого» GSC.

Обратите внимание, это не будет работать на уровне свойств домена, так как эти не обслуживаются в старом GSC. Чтобы для этого вам необходимо настроить свойство для отдельного теста домен.

После настройки «Перейти к старой версии» и перейти в «Индекс Google». -> «Удалить URL-адреса».Отсюда выберите «Временно Hide »и введите одинарную косую черту в качестве URL-адреса, который вы хотите заблокировать. отправить весь сайт на удаление:

Это приведет к удалению вашего сайта из поисковой выдачи на 90 дней, в Чтобы гарантировать, что он не вернется, необходимо предпринять дальнейшие шаги. Достаточно одного из следующих выполняться независимо от того, можете ли вы Удалить через GSC)

2) Установите тег роботов на noindex на тестовом сайте

Попросите своих разработчиков убедиться, что при работе в тестовом домене каждая страница сайта генерирует тег noindex для роботов:

    

Если ваш сайт — WordPress, вы можете установить это через «Настройки» -> «Чтение» и выбрав «Запретить поисковым системам индексировать этот сайт»:

Какой бы код или настройки вы не использовали для предотвращения тестирования сайта от индексации, вы должны убедиться, что он не переносится на действующий сайт при появлении новых контент или функциональность становятся живыми. Настройки тестового сайта — одни из самых распространенных и надежных. способы испортить видимость вашего действующего сайта.

3) Защитите свой тестовый сайт паролем

Через веб-панель управления или через сервер, пароль защитить каталог, в котором находится ваш тестовый сайт. Есть множество способов сделать это — лучший ставка заключается в том, чтобы попросить вашу хостинговую компанию или разработчиков настроить это, или там есть много хороших ресурсов, которые покажут вам, как это сделать, например:

https: // one-docs.com / tools / basic-auth

После блокировки вы должны увидеть окно предупреждения при попытке доступ к тестовой площадке:

https://alitis.co.uk/

Это предотвратит сканирование и индексирование поисковыми системами сайт.

4) Удалить сайт и вернуть статус страницы 410

Если вам больше не нужен тестовый участок, вы можете просто удалите это. Когда поисковые системы пытаются Посетите страницы, если они дольше живут, они увидят, что страницы удалены. По умолчанию неработающая страница возвращает статус 404 («Не найдено») — хотя это приведет к деиндексации сайта со временем, он займет некоторое время, так как будут последующие посещения, чтобы увидеть, вернулась ли сломанная страница.

Вместо этого установите статус 410 («Ушел навсегда»), который вернет следующее сообщение:

Чтобы сделать это во всем домене, удалите сайт и оставьте файл .htaccess на месте с помощью следующей команды:

  Перенаправление 410/ 

Это обеспечит деиндексирование сайта в первый раз. запроса (или, по крайней мере, быстрее, чем 404)

5) Заблокировать через robots.txt

Вы можете заблокировать сканирование сайта, реализовав следующие команды в файле robots.txt файл:

  Агент пользователя: *
Disallow: /  

Это предотвратит сканирование сайта ботами. Примечание: если ваш тестовый сайт в настоящее время проиндексирован, и вы пошли по пути добавления тегов noindex на сайт, не добавляйте команду robots.txt до тех пор, пока все страницы не будут деиндексированы. Если вы добавите это до того, как все страницы будут деиндексированы, это предотвратит их сканирование и обнаружение тега роботов, поэтому страницы останутся проиндексированными.

И все — я надеюсь, что вам будет достаточно найти, деиндексировать и предотвратить повторное сканирование вашего теста.

Но помни

Я не могу это подчеркнуть — если вы решите реализовать метатеги robots или robots.txt, запрещающие сканирование всем ботам и индексируя свой тестовый сайт, убедитесь, что когда вы запускаете тестовый сайт, что вы делаете не переносите эти конфигурации на действующий сайт, так как вы рискуете потерять свой органическая видимость в целом.

И мы все там были, да?

10 шагов для проверки индексируемости вашего веб-сайта

Все маркетологи должны обеспечить индексацию своих веб-сайтов, чтобы привлечь больше пользователей и трафика на свои веб-сайты, чтобы обеспечить более высокие коэффициенты конверсии.Эта статья поможет вам обеспечить индексацию вашего сайта.

Важным условием успеха вашего онлайн-бизнеса является то, что ваш веб-сайт должен быть виден пользователям в поисковой выдаче, то есть он должен индексироваться Google. Есть много способов проверить, индексируется ли ваш сайт. Ryte может помочь — вы можете использовать Ryte в качестве пошагового руководства, чтобы найти любые факторы, препятствующие индексации вашего сайта. После того, как вы проверите эти шаги и внесете все необходимые исправления, ничто не будет препятствовать успешной индексации вашего веб-сайта, что приведет к увеличению трафика и конверсий.

Шаг 1. Проверьте свои страницы на наличие тегов Noindex

Это ошибка, которая может случиться даже с самыми опытными специалистами по поисковой оптимизации: вы могли случайно вставить метатег «noindex, follow» на свои подстраницы или забыть удалить его. Этот тег используется, чтобы гарантировать, что URL-адрес не будет проиндексирован поисковыми системами, и вставляется в область веб-страницы следующим образом:

Этот тег может быть полезным способом избежать дублирования контента, а также может использоваться, например, перед переносом домена для тестирования веб-сайта перед фактическим запуском.(Хотя, когда ваш сайт будет запущен, тег Noindex, конечно, должен быть удален.)

С помощью Ryte Website Success вы можете несколькими щелчками мыши проверить, какие страницы индексируются. Щелкните в разделе «Индексируемость» отчета «Что индексируется?»

Рисунок 1: Проверьте свою индексируемость с помощью Ryte

Шаг 2. Проверьте свой файл Robots.txt

Использование роботов. txt, вы можете активно управлять сканированием и индексированием своего веб-сайта, давая роботу Google конкретные инструкции относительно того, какие каталоги и URL-адреса следует сканировать.

Однако при настройке файла вы могли случайно исключить важные каталоги из сканирования или заблокировать целые страницы. Это не мешает напрямую индексировать ваши URL-адреса, поскольку робот Googlebot может находить, сканировать и индексировать их с помощью обратных ссылок с других веб-сайтов. Однако из-за неисправного файла robots.txt робот Google не сможет выполнять достаточный поиск во всех областях вашего веб-сайта при регулярном сканировании. Прочтите эту статью, чтобы узнать о других ошибках, которые могут быть допущены при настройке robots.txt файл.

Вам следует проверить файл robots.txt на наличие ошибок, особенно после внесения изменений. Здесь вам может помочь Ryte: нажмите на отчет «Robots. Txt» в разделе «Индексируемость». Затем Ryte Website Success предоставит вам список всех URL-адресов, исключенных из сканирования. С помощью Ryte вы также можете отслеживать свой файл robots.txt, чтобы отслеживать любые изменения.

Рисунок 2: Проверьте свой robots.txt с помощью Ryte

Шаг 3. Проверьте файл .htaccess на наличие ошибок

Ваш.Файл .htaccess также может препятствовать отображению вашей страницы в результатах поиска и рассматривать сканирование как несанкционированный доступ. .Htaccess — это управляющий файл, хранящийся в каталоге сервера Apache.

В частности, операторы веб-сайтов используют их для следующих действий:

  • Переписывание URL
  • Перенаправление старого URL-адреса на новый URL-адрес
  • Перенаправление на www-версию страницы

Конкретные правила можно определить в. htaccess.Однако, чтобы эти правила выполнялись сервером, файл всегда должен называться точно так же в следующих случаях:

Перенаправление или перезапись URL:

RewriteEngine на

Требуется перезапись:

RewriteBase /

Определите правило, которое должен выполнять сервер:

RewriteEngine на
RewriteBase /
RewriteRule seitea.html seiteb.html [R = 301]

Конечно, возможно, что файл был назван неверно и поэтому не может перезаписывать или перенаправлять URL-адреса.В результате ни пользователи, ни поисковые системы не смогут получить доступ к страницам, и, следовательно, они не будут сканироваться или индексироваться.

Шаг 4. Проверьте свои канонические теги

Канонический тег помогает Google найти исходный URL-адрес для нескольких URL-адресов с одинаковым содержанием, чтобы можно было проиндексировать правильный URL-адрес. Канонический тег ссылается на HTML-тег со ссылкой на исходную страницу, «канонический» URL.

При установке канонических тегов могут возникать многочисленные ошибки, вызывающие проблемы с индексацией.

  • Тег Canonical относится к относительному боковому пути
  • Канонический тег относится к URL-адресу, который находится в теге Noindex
  • .
  • Страница с разбивкой на страницы относится к первой странице разбивки на страницы по тегу Canonical.
  • Тег Canonical относится к URL-адресу без косой черты в конце

Как проверить теги Canonical с помощью Ryte:

Ryte имеет собственный отчет для канонических тегов в области «Индексируемость». После нажатия на «Канонические» и «Использовать» вы быстро получите обзор возможных проблем с реализованными каноническими тегами.

Рисунок 3: Проверка канонических тегов с помощью Ryte

Шаг 5. Отслеживайте доступность сервера и сообщения об ошибках состояния

Другая причина, по которой веб-сайт или URL не могут быть проиндексированы, может быть связана с отказом сервера. Это делает технически невозможным доступ к странице.

Серверы

также играют важную роль в поисковой оптимизации по многим причинам. Для хорошего рейтинга вам нужен быстрый и эффективный сервер. Если он медленный, время загрузки вашего веб-сайта будет задерживаться, что не нравится пользователям, что приведет к высокому показателю отказов и низкому среднему времени на странице.Google классифицирует эти KPI как отрицательные для пользовательского опыта, что, конечно, отрицательно сказывается на SEO.

С помощью Ryte Website Success вы можете регулярно проверять свой сервер; Мониторинг сервера функций информирует вас о сбоях и тайм-аутах, чтобы вы могли действовать быстро.

Рисунок 4: Мониторинг сервера с помощью Ryte

Совет. Регулярно проверяйте коды состояния HTTP вашего сайта, чтобы убедиться, что переадресация 301 работает правильно или существуют коды состояния 404.Страницы с этим статусом не отслеживаются потенциальными читателями и поисковыми роботами. Ссылки на такие страницы называются «мертвыми ссылками».

Шаг 6. Найдите потерянные страницы

Когда вы реструктурируете свой веб-сайт или добавляете новые категории, эти новые страницы могут не иметь внутренних ссылок. Кроме того, если эти новые URL-адреса не указаны в sitemap.xml и не связаны с внешними источниками, существует высокий риск того, что эти страницы не будут проиндексированы. Поэтому старайтесь любой ценой избегать появления потерянных страниц.

Рисунок 5: Поиск страниц без входящих ссылок

Ryte Website Success быстро покажет вам потерянные страницы. Для этого нажмите на отчет «Страницы без входящих ссылок» в разделе «Ссылки».

Шаг 7. Найдите кражу контента — внешний дубликат контента

Внешний дублированный контент означает, что внешняя интернет-страница берет контент с вашей страницы. Хотя теперь Google стал лучше определять, что является «оригинальным», вполне возможно, что страница с вашим содержанием может получить более высокий рейтинг, чем вы, или, в крайних случаях, вообще помешать вашему содержанию индексироваться.

Предотвратить кражу контента поможет следующий совет:

При публикации вашего контента попросите ссылку на первоисточник. Заранее указывая условия передачи этих текстовых элементов, вы избегаете внешнего дублирования контента. Издатели могут использовать специальное уведомление, такое как «исходный текст на www.yourpage.com», или установить канонический тег для URL-адреса, по которому вы изначально опубликовали контент.

Чтобы найти внешний дублированный контент, вы можете просто скопировать некоторые соответствующие текстовые строки со своей страницы и ввести их в поиск Google.Если несколько результатов с совершенно одинаковым содержанием появляются без ссылки на вашу страницу, очевидно, что это кража контента.

Шаг 8: Определите внутренние ссылки Nofollow

Если вы пометите свои внутренние ссылки атрибутом rel = «nofollow», робот Googlebot не будет переходить по ссылке, и вы будете препятствовать правильному сканированию вашего веб-сайта, как если бы вы не позволяли роботу Googlebot переходить по ссылке, это может не сможет проникнуть в более глубокие области страницы. Поэтому некоторые URL-адреса больше не будут сканироваться, а это означает, что вероятность их индексации снижается.

Если вы работаете с внутренними ссылками nofollow, вы можете уточнить у Ryte, где их найти. Затем мы рекомендуем вам удалить атрибут nofollow. Если вы действительно хотите исключить URL из индексации, лучше подойдет тег noindex в сочетании с атрибутом follow.

Шаг 9. Проверьте свой XML-файл Sitemap

При создании карты сайта возможно, что карта сайта может содержать не все URL-адреса для индексации. Это создает ту же проблему, что и потерянные страницы, потому что нет ссылок на соответствующие URL-адреса.В этом случае велик риск не индексации.

Ryte Website Success может помочь вам в этом. В разделе «Успешность веб-сайта» в области «Карта сайта» перейдите к отчету «Коды состояния файлов». Там вам будут показаны все URL-адреса карты сайта, которые либо не найдены на сервере, либо перенаправлены.

Рисунок 6: Проверьте свой sitemap.xml на наличие ошибок с помощью Ryte

Вы также можете проверить свою карту сайта на наличие ошибок с помощью Google Search Console — предупреждение указывает на возможные проблемы с индексацией.

Шаг 10. Регулярно проверяйте, не были ли взломаны ваши страницы

Google стремится предоставить своим пользователям максимально возможное качество результатов поиска. Нарезанные страницы сильно ограничивают это качество. Обязательно ищите подсказки в Google Search Console. Если ваш сайт стал жертвой взлома, пора сохранять спокойствие. Первым шагом будет изменение паролей для доступа к бэкэнду, если это возможно.

Для предотвращения взлома вам следует регулярно менять пароли и максимально ограничивать количество пользователей, использующих пароли.Кроме того, важно всегда устанавливать все предлагаемые обновления. Google предоставляет дополнительную информацию и советы относительно взлома в центральном блоге веб-мастеров.

Заключение

Может быть множество причин, по которым ваш веб-сайт или отдельные URL-адреса не индексируются. С помощью Ryte вы можете легко находить и устранять ошибки, что приводит к лучшей индексации вашего веб-сайта, что приведет к лучшему ранжированию и большему успеху веб-сайта.

Контрольный список для индексирования

Площадь Измерение
1 Noindex-Tags Проверьте свои URL-адреса на наличие тега без индекса.Если этот тег не является абсолютно необходимым, измените его на «index, follow».
2 Robots.txt Проверьте файл robots.txt и убедитесь, что важные каталоги исключены из сканирования.
3 .htaccess Проверьте этот файл на наличие неправильных перенаправлений или синтаксических ошибок.
4 Канонические теги Убедитесь, что эти теги правильно ссылаются на канонический URL.
5 Доступность сервера и регистрация кода состояния Отслеживайте доступность вашего сервера и проверяйте коды состояния ваших URL-адресов.
6 Орфанные страницы Найдите страницы без входящих ссылок и создайте внутренние ссылки.
7 Кража контента Проверьте, используют ли ваш контент внешние веб-сайты. Создавайте канонические теги и избегайте относительных URL.
8 Внутренние ссылки nofollow Найдите на своем сайте теги nofollow и удалите их. Альтернативными вариантами являются теги canonical- или noindex-теги.
9 XML-карта сайта Проверьте, содержит ли ваша карта сайта все URL-адреса, которые нужно проиндексировать, и проверьте коды состояния этих URL-адресов.
10 Взлом Обратите внимание на предупреждения о взломанных страницах в Google Search Console и, например, измените свои данные для входа.

Проверьте индексируемость своего сайта с помощью Ryte FREE

Начать сейчас!

Отчет об индексировании Google — Проверка статуса индексирования сайта

Отчет об индексировании Google — Проверка статуса индексирования сайта

Компании и маркетологи могут видеть, какие из их страниц были проиндексированы, и диагностировать любые проблемы с индексируемостью своего сайта с помощью консоли поиска Google.

Отчет об индексировании Google может дать веб-мастерам более полное представление о том, как их сайт просматривается и сканируется Google, но он также может включать в себя широкий спектр сообщений и предупреждений.Возможность проверить статус индекса Google и исправить любую проблему на вашем сайте имеет решающее значение для поддержания поисковой оптимизации. Знание того, что означают эти сообщения и как на них реагировать, поможет убедиться, что важные части вашего сайта не пропадают в результатах поиска и что ваш обычный трафик не испорчен плохими методами.

Что такое отчет о покрытии?

Отчет о покрытии индекса Google в Search Console разработан в основном для того, чтобы веб-мастера знали, какие из их страниц находятся в поисковом индексе, а какие нет.

Но правда в том, что этот инструмент предлагает гораздо больше информации, чем просто эта. Он показывает статус всех страниц веб-сайта, которые Google посещал или пытался посетить. В частности, URL-адреса вашего ресурса Search Console, которые были посещены и просканированы роботом Googlebot.

Здесь все страницы сгруппированы по статусу вместе с подсчетом страниц, которые были «проверены» Google и добавлены в индекс, страниц, которые были исключены из индекса, страниц с серьезными проблемами и страниц с предупреждениями.

«Сводная страница» отчета индекса Google

Пользователи могут щелкнуть любую строку на странице сводки, чтобы увидеть все URL-адреса с одинаковым статусом / причиной и более подробную информацию о проблеме.

Эта страница также содержит дополнительную информацию, такую ​​как основной сканер, использованный для сайта (конкретный тип робота Googlebot), и дату последнего обновления отчета.

Чтобы получить доступ к отчету об охвате индекса Google, сначала необходимо создать и настроить учетную запись Search Console.Этот бесплатный инструмент специально разработан для предоставления веб-мастерам и владельцам бизнеса информации о том, как Google обрабатывает их сайт. Найдите ресурс своего сайта в консоли, а затем перейдите к отчету «Покрытие» на левой панели навигации.

Проверка статуса индекса Google

Этот отчет очень важен для SEO, поскольку он дает компаниям возможность увидеть, какие из их страниц были правильно проиндексированы и доступен ли их основной контент для поисковиков.В противном случае это просто игра в догадки, в которой нужно узнать, смогут ли люди найти ваш сайт в результатах поиска.

Итак, что вам следует искать в отчете об индексном покрытии? В идеале вы должны видеть постепенно увеличивающееся количество допустимых проиндексированных страниц по мере роста вашего сайта. В частности, если вы постоянно добавляете новый контент на свой сайт или пытаетесь отслеживать поисковую оптимизацию нового сайта.

Для старых веб-сайтов или предприятий с очень согласованным содержанием — не обязательно ожидать каких-либо значительных изменений (хотя небольшие колебания количества действительных страниц вверх и вниз являются нормальным явлением).

Если вы видите спуски или всплески, возможно, проблема связана с индексируемостью вашего сайта. Таблица статуса на странице сводки сгруппирована и отсортирована по «статусу» и причине проблемы; вы должны сначала исправить наиболее серьезные ошибки.

Как пользоваться отчетом об индексном покрытии

Отчет об индексах Google — отличный инструмент для веб-мастеров и компаний, которые могут проверить состояние своего сайта. Используйте этот отчет, чтобы оценить, как индексируется ваш сайт, и есть ли у Google какие-либо проблемы с пониманием ваших страниц, сканированием отдельных URL-адресов или индексированием правильных URL-адресов.

Этот отчет дает отличный обзор того, что правильно индексируется с помощью графика. Многие оптимизаторы поисковых систем и веб-мастера будут визуально сканировать эту диаграмму, чтобы проверить непропорционально большое количество ошибок и предупреждений, а затем копать оттуда. Если вы пытаетесь проверить статус своего сайта в индексе Google, сделайте то же самое.

Вы должны расставить приоритеты для ошибок, показанных здесь (показаны красным), а затем искать объяснения того, что может вызывать проблемы. После того, как эти проблемы будут решены, вы также можете попросить свою команду SEO проверить все «предупреждения» здесь и поддерживать нормальное количество исправных, проиндексированных страниц.В отчете об индексировании в Search Console нет инструментов или ресурсов для разработчиков для решения этих проблем — этот отчет используется только для проверки и мониторинга.

Хороший способ работать с вкладкой «ошибки» отчетов о покрытии индекса — это проработать контрольный список технического аудита SEO, чтобы попытаться изолировать любые недобросовестные действия на вашем сайте. К счастью, в отчете об индексировании URL-адреса будут сгруппированы по отдельным сообщениям, так что вы можете попытаться определить общие качества и сузить общие элементы, которые могут вызывать проблемы.

Вы также можете использовать инструмент проверки URL-адресов в Search Console, чтобы получить конкретную информацию об общих проблемах и проблемах. Для получения более подробной информации вы можете «Проверить действующий URL-адрес», чтобы попытаться обнаружить любые проблемы с URL-адресом.

Попросите вашего веб-мастера или веб-разработчика внести какие-либо исправления, а затем использовать опцию «Проверить исправление» в Search Console, чтобы Google повторно сканировал ваши страницы и обновлял индекс после устранения проблем.

Вот каждое сообщение в отчете об индексировании

Существует множество потенциальных сообщений, которые вы можете увидеть, когда проверяете статус своего индекса Google, поэтому мы составили их список.Правда в том, что вы, скорее всего, увидите только несколько из них, и в большинстве случаев сообщения не требуют каких-либо действий или исправлений — они просто сообщают вам статус вашего сайта.

Прочтите, чтобы лучше понять все сообщения, которые вы можете найти в отчете об индексировании.

Ошибка сервера (5xx): Это ошибка уровня сервера, означающая, что страница не может быть загружена. В этом случае Google не будет добавлять эти страницы в индекс, а это означает, что для ценного контента и важных страниц эта ошибка может иметь серьезные последствия для SEO.

Отправленный URL-адрес заблокирован файлом robots.txt: Это сообщение не требует пояснений. Это сообщение появляется на вкладке «Ошибка» отчета о покрытии индекса Google, если вы специально просили проиндексировать страницу (в инструменте проверки URL или в карте сайта) — это дает противоречивые запросы. В тех случаях, когда вы не хотите, чтобы страница индексировалась, это сообщение безвредно, в противном случае вам, возможно, придется обновить файл robots.txt.

Отправленный URL с пометкой «noindex»: Аналогично сообщению об ошибке выше.Был сделан запрос на индексирование страницы, но команда роботов на странице (с метатегом или в заголовке HTTP) не запрашивает индекса.

Отправленный URL-адрес кажется мягким 404: Это сообщение отображается для страниц, которые были отправлены в индекс, но появляются как «мягкая» ошибка 404, когда робот Googlebot пытается их просканировать. Эти страницы можно оставить в покое, если статус «пустой» или «нет в наличии» носит временный характер, но было бы неплохо проверить эти страницы, чтобы убедиться, что на них есть ценный контент.

В редких случаях страница, представляющая ценность для вашего сайта, может случайно выглядеть как программный код 404, если страница кажется пустой или почти пустой для Google, если у нее очень малоценное и тонкое содержание.

Отправленный URL возвращает неавторизованный запрос (401): Сообщение о состоянии 401 предназначено для «неавторизованных» страниц, что указывает на то, что требуются учетные данные для аутентификации. Обычно для серверных частей домена, таких как страницы входа в систему, страницы учетных записей, промежуточные сайты и т. Д. Если эти страницы имеют ограниченный доступ, то их ценность для SEO, вероятно, также ограничена.Еще раз подумайте, следует ли включать их в карту сайта, и удалите их, чтобы улучшить свой краулинговый бюджет.

Отправленный URL не найден (404): Для страниц, которые были отправлены для индексации через карту сайта, возвращают ошибку 404. Эти страницы следует удалить из карты сайта и перенаправить, чтобы сохранить авторитет страницы SEO, который у них может быть.

Отправленный URL содержит ошибку сканирования: Это сообщение означает, что Google обнаружил неопределенную ошибку сканирования, которая не попадает в другие категории.Веб-мастера могут использовать инструмент проверки URL-адресов, чтобы проверить наличие проблем, или дождаться, пока робот Googlebot повторно просканирует URL-адрес.

Проиндексировано, но заблокировано robots.txt: Это сообщение сообщает веб-мастерам, что Google решил проиндексировать страницу, хотя директивы в файле robot.txt могут блокировать эту страницу. Google отправляет это сообщение в качестве предупреждения, потому что они не могут быть уверены, что блокировка была преднамеренной.

Блокировка страниц из индекса с помощью robots.txt — устаревшая стратегия SEO, поскольку Google прекратил поддержку команд noindex в роботах.txt, лучше использовать мета-команды роботов на странице. Имейте в виду, что если Google проиндексировал страницу, это обычно происходит потому, что он считает, что содержание достаточно сильное, чтобы его можно было включить в результаты поиска.

Отправлено и проиндексировано: Это сообщение появляется для «действительных» страниц и означает, что отправленная страница проиндексирована Google. Это, конечно, идеально подходит для SEO-маркетинга, так как это идеальное состояние по умолчанию.

Имейте в виду, что количество «отправленных и проиндексированных» страниц может не всегда соответствовать ожидаемому, Google будет игнорировать повторяющиеся URL-адреса, неканонические URL-адреса и URL-адреса с параметрами (их можно отобразить в инструменте проверки URL-адресов).Количество отображаемых здесь страниц может иногда уменьшаться и уменьшаться со временем.

Исключено тегом noindex: Google просканировал страницу, но обнаружил в HTML метатег robots noindex и поэтому не добавил страницу в индекс. Для целей SEO команды мета-роботов — лучший способ предотвратить индексацию страниц, но если эта страница предназначалась для индексации, веб-мастерам, возможно, придется проверить свои настройки CMS или удалить тег.

Заблокировано инструментом удаления страницы: Это означает, что страница была удалена из индекса вручную кем-то с помощью инструмента запроса удаления URL в консоли поиска Google.Это только временно, и даже если ничего не будет сделано, страница в конечном итоге будет повторно просканирована и, возможно, проиндексирована примерно через 90 дней. Чтобы удалить страницу навсегда, лучше использовать команду роботов на странице noindex.

Заблокировано файлом robots.txt: Это означает, что в файле robots.txt домена есть команды, которые блокируют страницу, но страница не была «отправлена» просто потому, что Google естественным образом просканировал файл robots.txt и обнаружил команда.

Это не означает, что страница не будет проиндексирована.Поскольку Google не рекомендует использовать команду «noindex» в файле robot.txt, лучшим решением для предотвращения индексации является использование мета-тега robots на странице.

Заблокировано из-за неавторизованного запроса (401): Страница заблокирована для робота Googlebot кодом состояния 401, что означает, что для доступа к странице требуется авторизация аутентификации. Если эту страницу необходимо проиндексировать для целей SEO, веб-мастер или разработчик сайта должны сделать так, чтобы содержимое страницы было полностью доступно как для пользователей в браузере, так и для индексаторов поисковых систем.

Аномалия сканирования: Это сообщение в отчете о покрытии индекса Google означает, что при сканировании страницы произошла какая-то ошибка. Это может означать код ответа уровня 4xx или 5xx или возникновение другой проблемы при попытке загрузить страницу. Вы можете использовать инструмент проверки URL-адресов, чтобы проверить наличие проблем.

Просканировано — в настоящее время не проиндексировано: Это одно из наиболее частых сообщений, которые можно увидеть в отчете об индексировании. Важно помнить, что «просканировано» не означает, что страница была автоматически добавлена ​​в индекс результатов поиска Google — это просто означает, что робот Googlebot посетил и обработал страницу.

Одно из возможных объяснений состоит в том, что Google определил, что страница достаточно ценна для индексации — возможно, из-за нехватки контента или тонкого контента. Другая причина может заключаться в том, что Google считает, что это не часть основного содержания вашего сайта. Вы можете проверить свою страницу в инструменте проверки URL-адресов, чтобы увидеть, есть ли какие-либо проблемы с отрисовкой. Вы можете запросить индексацию или добавить страницу в карту сайта, чтобы указать поисковым системам, что эта страница представляет ценность для вашего сайта / бизнеса.

Вы также должны убедиться, что содержание вашей страницы доступно поисковым системам — например, Google не может прочитать какое-то содержание JavaScript или Flash.

Обнаружено — в настоящее время не проиндексировано: URL-адрес известен Google (либо из карты сайта, либо из других источников), но робот Googlebot еще не посещал и не сканировал URL-адрес. Обычно это означает, что он пытался просканировать URL, но сайт или сервер домена были перегружены, поэтому Google остановился, чтобы не снизить производительность сайта.При этом они дают вашему сайту «краулинговый бюджет».

В большинстве случаев здесь ничего не нужно делать, если вы проверяете статус своего сайта в индексе Google. Google перенесет сканирование и возврат позже.

Альтернативная страница с правильным каноническим тегом: В этом случае Google знает о странице, но этот конкретный URL не был проиндексирован, поскольку вместо этого был проиндексирован канонический URL страницы. Для целей SEO здесь не нужно ничего менять, а это значит, что Google правильно понимает сайт.

Дубликат без выбранного пользователем канонического: Это означает, что Google обнаружил несколько повторяющихся URL-адресов для страницы или несколько страниц с повторяющимся содержанием, ни одна из которых не была канонизирована. В большинстве случаев Google выберет свою собственную «каноническую» версию и проиндексирует ее — вы можете проверить URL-адрес в инструменте проверки URL-адресов, чтобы увидеть, как обрабатывается эта страница.

Как правило, здесь не требуется никаких исправлений, поскольку выбранный Google канонический файл работает так же, как пользователь, объявленный каноническим, но веб-мастера имеют возможность установить свой собственный канонический, если они хотят иметь больше контроля или если они хотят проиндексировать определенный URL.

Дубликат, Google выбрал каноническую версию, отличную от пользовательской: Здесь страница имеет каноническую версию, но вместо этого Google выбрал другой URL в качестве канонической версии. Если этот выбор Google кажется правильным, веб-мастера могут изменить канонизацию, чтобы она соответствовала (или позволить ей быть), в противном случае лучше всего оптимизировать структуру сайта, чтобы она была более понятной для поисковых систем или уменьшила количество повторяющихся URL-адресов.

Вы также должны убедиться, что содержимое «повторяющихся» страниц совпадает и что содержимое ваших канонических URL совпадает с исходной страницей.В противном случае Google может не счесть его хорошим каноническим.

Не найдено (404): Эта страница вернула ошибку 404 при запросе. Это сообщение появляется в отчете о покрытии индекса, поскольку робот Googlebot обнаружил ссылку на страницу без определенного запроса в Search Console или карте сайта, но ссылка вернула 404.

Это, вероятно, указывает на неработающую ссылку где-то в содержании вашего сайта или неработающую обратную ссылку с другого домена. Обычно лучшим решением здесь является переадресация 301 ссылки на ближайшую приблизительно соответствующую страницу.Это может помочь сохранить и передать любой ассоциированный рейтинг или авторитет страницы для исходной страницы

.

Google утверждает, что его индексирующий бот все еще может пытаться сканировать эту страницу в течение некоторого времени и что нет способа навсегда указать ему забыть или игнорировать URL-адрес, хотя в конечном итоге он будет сканироваться реже.

Страница удалена из-за юридической жалобы: В этом случае сторона 3 rd подала жалобу в Google, которая удалила контент из своего индекса, вероятно, из-за нарушения авторских прав или из-за одного из других заявленных нарушений юридических правил Google, таких как фишинг, насилие или откровенный контент.

Имейте в виду, что украденный, извлеченный или незаконный контент также подвергает маркетологов риску наложения штрафных санкций за тонкий контент. Всегда лучше создавать высококачественный оригинальный контент или указывать ссылку на оригинальные источники.

Страница с перенаправлением: Это сообщение означает, что URL, показанный в отчете о покрытии индекса Google, имеет перенаправление и не может быть добавлен в индекс. Разумеется, Google должен сканировать целевой URL без каких-либо дополнительных действий.

Soft 404: Мягкие 404 могут быть 404, где сайт предназначен для возврата настраиваемого кода, «удобная для пользователя» страница 404 — например, страница, которая автоматически предоставляет варианты того, куда перейти дальше. Программные 404 не возвращают соответствующий ответ 404 от сервера. Или программный 404 может быть страницей, у которой мало или совсем нет контента в уме Google, и ее ошибочно называют программным 404. В зависимости от случая, они могут быть хорошими или плохими — владельцы сайтов захотят проверить свои страницы на предмет соответствия Конечно.

Если вы видите эту запись в своем отчете о покрытии индекса, это означает, что Google интерпретировал страницу как программный код 404. Но если страница неправильно отображается как программный код 404, это может быть связано с тем, что страница отображается в основном пустой — убедитесь, что основное содержимое страницы и основные элементы отображаются на настольном / мобильном устройстве и что поисковым системам не мешает заблокированный контент, JavaScript или Flash.

Повторяющийся, отправленный URL-адрес не выбран как канонический: Это означает, что страница, отправленная в Google через карту сайта, не была проиндексирована, поскольку Google считает, что другой URL-адрес является более канонической версией.

Разница между этим статусом и «Google выбрал другой канонический, чем пользовательский» состоит в том, что в этом случае сообщение отображается, потому что кто-то специально запросил индексирование этого URL-адреса. В большинстве случаев для SEO это сообщение безвредно, потому что Google просто проиндексировал еще одну дублирующую версию.

Улучшение покрытия путем отправки карты сайта

Отчет об индексировании в Search Console не дает веб-мастерам возможности напрямую отправлять страницы в индекс или сообщать Google обо всех страницах, которые вы хотите проиндексировать.

Если веб-мастера хотят проиндексировать свой сайт, есть несколько способов сделать это. Чтобы ваша компания отображалась в результатах поиска Google, вы можете разрешить «паукам-индексаторам» посещать ваш сайт естественным образом и переходить от страницы к странице, собирая и отображая URL-адреса для индекса. В большинстве случаев это прекрасный способ сделать это, в противном случае вы можете использовать отчет «Карты сайта», доступный на той же платформе, чтобы добавить карту сайта в Search Console.

Перейдите к «Картам сайта» в разделе «Индекс» на левой панели навигации сайта.В разделе «Добавить новую карту сайта» вы можете добавить URL своей карты сайта и затем нажать «Отправить». Конечно, может пройти несколько дней или даже пара недель, прежде чем вы начнете видеть эти страницы в отчете об индексировании.

Узнайте, как улучшить индексный охват

Свяжитесь с нашей командой, чтобы получить дополнительную информацию об отчете об индексировании для поискового маркетинга Google. Наша команда может помочь вам оптимизировать ваш сайт для лучшего присутствия в поисковых системах и лучшего роста в Интернете — плюс наша технология RaddBOT SEO для анализа сайта может помочь вам проверить наличие проблем со сканированием, копируя реакцию поисковых систем на ваш сайт.

Правильно ли индексируется ваш веб-сайт Google?

Одна из наиболее распространенных проблем, возникающих при попытке ранжирования в Google, заключается в том, что ваш веб-сайт в настоящее время неправильно индексируется. Если это так, это означает, что Google не может получить доступ к вашим веб-страницам для эффективного индексирования содержания вашего сайта.

Чтобы проверить, эффективно ли просканирован и включен ли ваш сайт в список, вам нужно будет войти в свои инструменты Google для веб-мастеров и проверить вкладку «Индекс Google». Там вы найдете общее количество страниц, проиндексированных поисковой системой.Если вы видите уменьшение количества этих страниц, вы, вероятно, испытаете снижение уровня трафика.

Выявление причины проблем с индексированием

Если вы взглянули в Инструменты для веб-мастеров и ясно, что не все ваши страницы обнаруживаются сканерами Google, сейчас самое время более внимательно изучить возможные проблемы Google с вашим сайтом.

Реклама

Продолжите чтение ниже

Есть ли на вашем сайте ошибки сканера?

Чтобы узнать, полностью ли индексирует ваш сайт Google, для начала перейдите на панель инструментов Google для веб-мастеров и проверьте сообщения об ошибках сканера.Наиболее вероятное сообщение об ошибке, которое вы найдете, — это предупреждение с кодом состояния 404 HTTP. Это сигнализирует о том, что URL-адрес не может быть найден.

Другие ошибки сканирования:

  • Robots.txt — Файл Robots.txt с плохим сценарием может нанести ущерб вашей индексации Google. Этот текстовый файл похож на набор инструкций, указывающих роботу поисковой системы не индексировать части вашего веб-сайта. Если он включает такую ​​строку, как «User-agent: * Disallow: /», это в основном говорит каждому поисковому роботу, с которым он сталкивается, «заблудиться», включая Google.
  • .htaccess — Этот невидимый файл может делать неприятные вещи, если он неправильно настроен на вашем сайте. Большинство FTP-клиентов позволяют переключать скрытые / видимые файлы, чтобы при необходимости вы могли получить к ним доступ.
  • Мета-теги — Если у вас есть страницы, которые не индексируются, убедитесь, что у них нет следующих метатегов в исходном коде:
  • Карты сайта — Если вы получаете сообщение об ошибке сканирования файлов Sitemap, это означает, что карта сайта вашего веб-сайта не обновляется должным образом; вместо этого ваша старая карта сайта неоднократно отправляется в Google.Когда вы устранили какие-либо проблемы, обнаруженные в Инструментах для веб-мастеров, убедитесь, что вы запустили новую карту сайта и повторно отправили ее.
  • Параметры URL-адреса — Google позволяет настраивать параметры URL-адреса, когда речь идет о динамических ссылках. Однако их неправильная конфигурация может привести к тому, что страницы, которые вы действительно хотите забрать, будут отброшены.
  • Проблемы с DNS или подключением — Если пауки Google просто не могут добраться до вашего сервера, вы можете столкнуться с ошибкой сканера. Это может быть по разным причинам, например, ваш хост не работает на техническое обслуживание или у него возникла собственная ошибка.
  • Унаследованные проблемы — Если вы купили старый домен или переместили свой веб-сайт на старый веб-сайт, возможно, предыдущий сайт подвергся штрафу Google. Это запретит индексацию нового сайта. Вам нужно будет отправить запрос на повторную проверку в Google.

Если вы планируете использовать для своего сайта исторический домен, обязательно ознакомьтесь с его историей перед покупкой. Вы можете использовать Wayback Machine Интернет-архива для просмотра страниц, которые ранее размещались в вашем домене.

Есть ли на вашем сайте синтаксические ошибки или структурные сложности?

Google очень терпимо относится к ошибкам разметки HTML на веб-страницах, но возможно, что синтаксические ошибки могут помешать индексации (в крайних случаях). Проверьте HTML-код своего сайта с помощью валидатора HTML W3C, чтобы просмотреть отчет об ошибках, которые необходимо исправить.

Реклама

Продолжить чтение ниже

Google рекомендует сделать структуру вашего сайта как можно более логичной. Каждая страница должна быть доступна хотя бы по одной тестовой ссылке.Вы можете использовать текстовый браузер, например Lynx, чтобы смотреть на ваш сайт так же, как его видят пауки. Помните, что части вашего сайта, которые используют фреймы, JavaScript, Flash, идентификаторы сеанса, файлы cookie и DHTML, могут быть пропущены поисковыми роботами.

Есть ли на вашем сайте входящие ссылки?

Для индексации с помощью Google ваш веб-сайт должен иметь по крайней мере одну качественную входящую ссылку с другого веб-сайта, уже проиндексированного поисковой системой. Это распространенная причина, по которой для успешного индексирования большого количества новых веб-сайтов требуется время.

Одним из способов создания быстрых ссылок является обновление социальных сетей URL-адресом вашего веб-сайта или добавление ссылки на существующий связанный веб-сайт, которым вы владеете. Профили социальных сетей, которые имеют большой вес, включают: страницы Facebook, профили Twitter, профили / страницы Google+, профили LinkedIn, каналы YouTube и профили Pinterest.

Контент вне сайта — еще один отличный способ создания ссылок, которые помогут вашему сайту правильно проиндексироваться. Внешний контент — это контент, имеющий отношение к вашему сайту, который размещен в другом месте: гостевые посты в других блогах в вашей нише.Просто имейте в виду, что вам необходимо убедиться, что все эти внешние сайты имеют высокое качество, поскольку ссылки с сайтов, содержащих «спам», принесут вашему сайту вред, а не пользу. Лучший способ обеспечить высокое качество ваших ссылок — убедиться, что у них есть «естественные ссылки», ссылки, которые развиваются как часть динамического характера Интернета, когда другие сайты ссылаются на контент, который они считают ценным.

См. Руководство Google для веб-мастеров, чтобы лучше понять, что они собой представляют.

Гугл наказал вас?

Одно из самых сложных препятствий для правильной индексации Google — это штраф Google.Существует ряд причин, по которым вы можете столкнуться с штрафом от Google, но если вы не решите проблему, которую они поднимают, вы можете быть деиндексированы (удалены из их поисковых систем).

Реклама

Продолжить чтение ниже

Избегайте штрафов Google, избегая следующих методов:

  • Автоматическая генерация контента
  • Схемы ссылок
  • Плагиат или дублирование контента
  • Маскировка
  • Скрытые переадресации
  • 99 Скрытые ссылки 99 & Text
  • Дверные страницы
  • Парсинг контента
  • Партнерские программы с небольшой ценностью контента
  • Использование нерелевантных ключевых слов
  • Страницы, устанавливающие трояны, вирусы и другое рекламное ПО
  • Злоупотребление расширенными фрагментами кода
  • Автоматизация запросов в Google

Восстановление от Google штрафы требуют упорной работы и должной осмотрительности для удаления ссылок с вашей стороны; вам нужно будет отправить запрос на пересмотр, прежде чем ваш сайт будет снова эффективно проиндексирован и ранжирован.

Исправьте индексацию

Большинство этих проверок выполняется быстро и легко, поэтому не позволяйте вашим усилиям по поисковой оптимизации и созданию ссылок пропадать даром — убедитесь, что ваш сайт правильно проиндексирован Google. Удивительно, сколько веб-сайтов допускают малейшие ошибки, и это мешает их правильному индексированию. В конце концов, это ухудшает рейтинг их веб-сайтов, ухудшает их посещаемость и продажи.

Кредиты изображений

Рекомендуемое изображение: логотип Google через Википедию
Изображение № 1: домашняя страница Google через Википедию

Проверьте статус индексации вашей страницы WordPress

Мы в FirmCatalyst проверили это с помощью трех методов :

Проверьте настройки WordPress

Прежде всего, мы проверяем, доступна ли вообще наша установка WordPress для поисковых роботов.Для этого мы авторизуемся в интерфейсе администратора нашей страницы WordPress и переходим « Settings »> « Read ». Убедитесь, что в разделе « Видимость для поисковых систем » пункт « Остановить индексирование этого веб-сайта поисковыми системами » — это , а не .

Проанализируйте URL-адрес по вашему выбору в маске ввода. Инструмент показывает, имеет ли рассматриваемая страница тег NoIndex или Nofollow, что предотвратит индексацию URL-адреса.

С помощью Meta Robots Checker от ReviewTools вы можете проверить, можно ли проиндексировать ваш сайт с помощью SearchEngines.

Воспользуйтесь сайтом: domain.de поисковым запросом

Для этого вызовите поиск google.de. В маске ввода введите команду: « site: your-website. com ». Теперь вы должны увидеть список всех URL-адресов вашего веб-сайта, которые проиндексированы в поиске Google.

Проверьте сообщения об ошибках в Search Console

Search Console — это центр Google для информирования веб-мастеров о любых штрафах, ошибках или других уведомлениях, которые могут повлиять на ваш сайт.Новая версия Search Console (конец 2019 года) также покажет вам, как Google индексирует ваш сайт и как быстро загружаются страницы вашего сайта, при условии, что вы связали поисковую консоль со своим сайтом.

Статус индексации вашего веб-сайта в Search Console

Это возможно, если ваш домен был подтвержден с помощью Google Analytics или необходимого метатега.

Убедитесь, что зарегистрированная недвижимость точно соответствует вызываемой версии вашего сайта.Например, если основная версия вашего веб-сайта доступна по адресу https://your-website.com , свойство, которое вы ввели в Search Console, не должно быть https://www.your-website.com . . В таком случае результаты будут искажены, и вы не сможете получить доступ ко всем данным.

Подсказка: Если ваш веб-сайт еще не подтвержден для Google Search Console, следуйте соответствующему руководству на сайте growthwizard.de/yoast-seo-instellungen/.

Удалить 404 ошибки поиска

Ошибки 404 — это самая опасная вещь, с которой приходится иметь дело вашему сайту. Задача каждой поисковой системы — всегда предлагать пользователю наилучший ответ на его поисковый запрос. Поэтому поисковые системы всегда пытаются адаптировать свои собственные алгоритмы, чтобы найти наилучший результат для пользователя.

Если пользователь нажимает на результат поиска, и страница с соответствующей информацией больше не может быть найдена, это плохо не только для пользователя, но и для вас как оператора веб-сайта, а также ставит поисковую систему в плохое положение. В такой ситуации были бы только проигравшие.

С точки зрения поисковой оптимизации (SEO) нам приходится иметь дело с другой проблемой. Каждый веб-сайт со временем создает обратные ссылки. Эти обратные ссылки являются показателем качества и доверия поисковых систем. Вы можете представить это так: каждый URL-адрес вашего веб-сайта содержит оценку, оценивающую качество. Если вызываемый URL-адрес больше не доступен и не перенаправляется должным образом, нарастающее доверие терпит неудачу.

Таким образом, ваша задача — всегда правильно перенаправлять такие ошибки 404 в правильный источник.Для этого существуют различные коды состояния, которые сообщают поисковым системам, что произошло с соответствующим контентом.

  • 301: содержимое было перенаправлено навсегда: это означает, что содержимое теперь постоянно находится по другому URL-адресу.
  • 307: контент был временно перенаправлен: это означает, что контент временно расположен по другому URL-адресу.
  • 410: контент окончательно удален: это означает, что контент был окончательно удален с веб-сайта.
  • Есть еще много кодов состояния: их список можно найти в Ryte Wiki: https://de.ryte.com/wiki/HTTP_Status_Code

Мэтт Каттс ( бывший сотрудник Google ) описал эта проблема в видео на YouTube. Там он объясняет, почему так важно обращать внимание на правильные перенаправления и как с ними обращаться.

Загружая видео, вы соглашаетесь с политикой конфиденциальности YouTube.
Подробнее

Загрузить видео

Всегда разблокировать YouTube

Подсказка: Вы можете найти список 404 ошибок вашего веб-сайта в Search Console в разделе « Индекс > Покрытие > Исключено > Не найдено (404) ».

Для правильной пересылки URL-адресов в WordPress вы можете использовать плагины:

Проверить URL-адреса тега Noindex

Также в Search Console ( Индекс > Покрытие > Исключено > Исключено тегом «noindex» ) вы найдете список всех URL-адресов, содержащих так называемый тег NoIndex. Этот метатег сообщает поисковым системам, что соответствующий URL-адрес не должен включаться в результаты поиска.

Не помешает проверять все URL через регулярные промежутки времени, чтобы увидеть, действительно ли данная страница не должна индексироваться.Тег NoIndex может быть установлен по ошибке, особенно когда над веб-сайтом работают несколько человек или используются плагины.

Проверьте расположение вашего Sitemap.xml

sitemap.xml — это список всех ваших URL-адресов, изображений и содержимого, включая время последнего изменения. Карта сайта особенно выгодна для крупных веб-сайтов, поскольку поисковым системам легче понять структуру вашего веб-сайта. Для поисковых систем карта сайта — это путеводитель по каждому содержанию вашего сайта.

У вас есть возможность сохранить карту вашего сайта в файле robots.txt, а также в Search Console. Таким образом, поисковые системы точно знают, где найти карту сайта.

С помощью плагина «Yoast SEO» вы можете легко редактировать robots.txt:

  1. Вызовите серверную часть WordPress под «yourdomain.com/wp-admin/».
  2. Перейдите к « SEO > Инструменты > Редактор файлов ».
  3. Создайте « robots.txt “.
  4. Добавьте следующую запись: Карта сайта: https://your-website.com/sitemap_index.xml .
  5. Сохранить robots.txt .
Пример сохранения карты сайта в файле robots.txt

Если вы хотите добавить Sitemap.xml в Search Console, выполните следующие действия:

  1. Войдите в Search Console по адресу search.google.com/search-console/about?hl=de.
  2. Перейдите к: « Карты сайта > Добавить новую карту сайта ».
  3. Введите URL-адрес вашей карты сайта ( https://yourdomain.com/sitemap_index.xml ) в поле ввода и подтвердите свой ввод.

Примечание: Если вы не используете Yoast SEO для создания карты сайта, вы можете найти карту сайта по адресу « yourdomain.com/sitemap.xml ». Этот путь чаще всего используется для карт сайта.

Проверьте статус вашего robots.txt

robots.txt — это необязательный текстовый файл в папке FTP вашего веб-сайта, который обычно доступен в разделе «yourdomain.ru / robots.txt ». Этот файл актуален только для поисковых роботов и содержит инструкции о том, какие URL-пути вашего домена могут быть прочитаны и какие пути исключены из сканирования.

Примечание для опытных веб-мастеров: « NoIndex Tag » в robots.txt больше не поддерживается с 2019 года. Google рекомендует блокировать сканирование с помощью альтернативных инструкций, таких как « Disallow: yourdomain.de/path/ ». Также рекомендуется использовать метатеги, такие как « NoIndex, NoFollow, DoFollow ».

Любой профессиональный инструмент SEO для аудита SEO должен иметь возможность проверить robots.txt Checker von Ryte. Если нет доступа к профессиональным инструментам SEO, вы также можете использовать бесплатную программу проверки robots.txt от Ryte.

С помощью средства проверки robots.txt от Ryte страницу WordPress можно проверить на наличие ошибок.

В лучшем случае ваш robots.txt для WordPress должен быть как можно более минималистичным. В приложении вы найдете оптимальную структуру robots.txt для WordPress.

 Агент пользователя: *
Запретить: / wp-admin /
Разрешить: / wp-admin / admin-ajax.php
Карта сайта: https://ihredomain.de/sitemap_index.xml 

Заключение: упростите задачу для сканеров!

Находимость — одна из основ успешной поисковой оптимизации. Есть много тегов и проблем, которые могут затруднить сканирование веб-сайта. Мы постоянно работаем над сайтами новых клиентов, которые даже не знали, что определенные страницы исключены из индексации.

На этом мы завершаем второй этап нашего SEO-аудита. На третьем этапе нашего SEO-аудита мы проверим время загрузки нашего сайта.

Как я могу проверить, проиндексирован ли мой сайт или статья в Google?

Каждый владелец веб-сайта, веб-мастер или специалист по SEO хочет убедиться, проиндексировал ли Google его статьи / статьи в блоге или нет, поскольку это поможет им в получении органического трафика для своего сайта. Индексирование сайта, статей и страниц в Google очень важно для каждого оператора веб-сайта, поскольку именно от этого зависит рейтинг их веб-сайтов на страницах результатов поиска (SERP) в Google.

А теперь вы бы подумали, что происходит, когда Google не индексирует ваш сайт или статьи? Верно! Позвольте мне вам сказать.

Если Google не индексирует ваш сайт или статьи, тогда у вас меньше шансов появляется в Google. Ваш сайт будет невидимым, вы не увидите в поиске запросов и, таким образом, вы не получите никакого органического трафика.

Итак, давайте двигайтесь вперед и проверьте статус вашего сайта, проиндексирован ли он Гугл или нет.

Способы проверить, проиндексирован ли ваш сайт или контент.

Хотя вам может быть сложно проверить статус вашего веб-сайта или статей, проиндексированы ли они Google или нет, вы можете бесплатно использовать расширенный инструмент массовой проверки индекса Google, предлагаемый поисковой системой.

Может потребоваться много времени, чтобы проверить каждый URL, проиндексирован он или нет. Вот почему инструмент проверки URL-адресов Google для индексации позволяет проверять до 5 URL-адресов одновременно, чтобы уведомить вас о том, проиндексирован ли ваш веб-сайт или нет.

Чтобы использовать этот инструмент, вам необходимо выполнить несколько обязательных шагов. Эти шаги:

  • Прежде всего, перейдите к инструменту проверки индекса Google.
  • Введите 5 URL-адресов (которые вы хотите проверить в первую очередь)
  • Теперь нажмите кнопку «поиск» и введите капчу, как она отображается на экране
  • Один раз вы закончили с вышеуказанными шагами, остальная работа будет сделана инструментом проверки индекса Google.Он извлечет из Google всю информацию о вашем веб-сайте.
  • Наконец, вы готовы увидеть результаты всех введенных вами URL. Вы увидите URL-адрес, URL-адрес индекса (страницы) и его статус независимо от того, проиндексирован он или нет.

Выполнив указанные выше действия, вы можете увидеть статус своего веб-сайта и его страниц, независимо от того, проиндексированы ли они Google или нет.

Кроме того, вы также можете проверить, сколько страниц вашего веб-сайта было проиндексировано Google в поисковой консоли Google «Отчет о статусе индексации ».

Если вы получите чтобы увидеть какую-либо ошибку или ошибку или большое количество страниц за пределами индекса тогда это означает:

  • Ваши URL-адреса не индексируются в ваших картах сайта (эти URL-адреса могут быть заблокированы через robot.txt или требуют входа пользователя)
  • Ваш сайт может содержать большое количество «плохих» или повторяющихся страниц, которые Google считает недостойными.
  • Вашему сайту может не хватать «авторитета», чтобы оправдать все страницы вашего сайта.

Последние мысли!

Знание текущего статуса вашего веб-сайта очень важно для вас, чтобы получить более высокий рейтинг на странице результатов поисковой системы Google.Инструмент проверки индекса Google поможет вам узнать о статусе проиндексированных страниц или статей вашего сайта. Неважно, содержит ли ваш сайт всего несколько страниц или большое количество страниц.

Если эти страницы проиндексированы Google, в противном случае ваш сайт не будет виден. Поэтому убедитесь, что вы выполнили вышеупомянутые шаги, чтобы узнать, индексируются ли ваш сайт, страницы или статьи Google или нет.

До свяжись с нами и желаю удачи !!!

.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *