5 причин — почему не индексируется сайт

Содержание:

Не индексируется сайт? Узнай причину!

Бывают ситуации, когда полным ходом ведешь работу над своим веб-ресурсом – заполняешь неплохим контентом, развиваешь его всячески, а количество страниц в индексе все никак не увеличивается. Или даже хуже того – полностью не индексируется сайт, ни одной странички не отображается в поиске.

Что же можно предпринять в таком случае? Проверить индексацию сайта еще раз?
Повторные проверки ничего не дадут. Тут другой подход требуется.

Первым делом нужно узнать причину, по которой страницы сайта не индексируются.

Почему сайт не индексируется поисковиками

Итак, встречайте 5 основных причин отсутствия страниц Вашего веб-ресурса в индексе поисковых систем:

1. Необходимость правильно настроить robots.txt, в котором может быть запрещена индексация:
   – роботу конкретного поисковика или всем сразу;
   – отдельных страниц или полностью всего сайта.

    

2. Фильтры поисковых систем – еще одна часто встречающаяся причина, из-за которой страницы сайта не индексируются. Какую политику продвижения своего веб-ресурса Вы выбрали?

   Заспамленность ключами, некачественные ссылки, бесполезный контент – все это может быть причиной применения санкций со стороны поисковиков в виде блокирования индексации отдельных страниц или сайта в целом.
    

3. Молодой веб-ресурс. Не удивляйтесь почему сайт не индексируется, если он недавно создан и ему всего пару месяцев отроду. Возможно, поисковые системы о нем просто еще не знают. В этом случае нужно добавить сайт в индексацию поисковиков с помощью предоставленных ими сервисов.
    
4. Домен, который уже был в использовании до Вас, также может быть причиной, по которой не индексируется сайт. Если Вы разместили свой веб-ресурс на б/у адресе, есть вероятность, что предыдущий владелец успел «наследить» и теперь
   Вам приходится пожинать плоды его деятельности в виде санкций поисковиков, влияющих на индексацию. Покупка старых доменов – вещь довольно рискованная.
    
5. Низкая скорость сайта. Иногда страницы сайта не индексируются по причине слишком медленной загрузки страниц веб-ресурса вследствие плохой оптимизации кода или проблем со стабильностью работы хостинга. В итоге роботы поисковиков могут попросту не получать ответов на свои запросы и «проходить мимо».

Если не получается решить проблему самостоятельно

После того как будут обнаружены вышеуказанные проблемы, нужно максимально их устранить, немного подождать и снова проверить индексацию сайта. В большинстве случаев это должно помочь.

Но если подобные проверки и устранение возможных причин не дадут положительных результатов, следует

обратиться в тех. поддержку поисковых систем и задать им вопрос о том, почему сайт не индексируется. Поначалу они, конечно же, напишут Вам о тех 5 причинах, которые мы уже рассмотрели.

Но в итоге у Вас может оказаться частный случай, с решением которого самостоятельно (без тех. поддержки) разобраться будет невозможно.

В любом случае нужно добиться того, чтобы в следующий раз, когда Вы захотите проверить индексацию сайта, результаты показали желаемое количество продвигаемых страничек в индексе.

Ну как, наши советы помогли решить Вашу проблему? Расскажите об этом в комментариях!

 

8 причин, по которым сайт может не индексироваться

Как правильно зайти на территорию ваших активных подписчиков и узнать их мнение, которое повлияет на маркетинговые процессы? Попробуйте нативный инструмент — опросы в Instagram Stories!

Зачем собирать обратную связь через Истории в Instagram?

Мудрые компании знают, что лучше подружиться с клиентом  и создать долгосрочные отношения, чем тратить деньги на привлечение, затем клиентов терять. Удовлетворенные потребности клиентов = больше доходов, так называемый LTV. Это если говорить про долгосрочные отношения.

А что, если обратная связь нужна здесь и сейчас? Потребители не стесняются делиться положительным или отрицательным опытом в социальных сетях, особенно отрицательным в российских реалиях. Нужно соединить любовь к отзывам потребителей и вашу маркетинговую задачу через Истории в Instagram.

У пользователя есть всего 24 часа, это создает ощущение срочности, которое побуждает пользователей обращать большее внимание на временный контент. Далее мы расскажем несколько способов, как использовать Instagram Stories для сбора обратной связи.

Когда у вас есть конкретное предложение

Всю жизнь нас ставят перед выбором, но Instagram к нам более лояльный, поэтому представляет выбирать в опросе среди 2-х вариантов. Хотя по признанию Адама Моссери, генерального директора Instagram, они работают над возможностью добавления нескольких вариантов в таком голосовании, будет ли релиз — неизвестен.

Возвращаемся к стикеру опроса. Или вы не можете определиться или вы хотите создать иллюзию влияние подписчиков на ваш контент и продукт. Делаете такой опрос, люди голосуют, все видят результаты в реальном времени. Некоторые идут дальше и строят на таких стикерах целые сериалы, мол, ваш выбор влияет на развитие событий, блогеры и бренды идут по предсказанному пути, вызывая восторг у большинства голосовавших.

Что можно оценить с помощью этого вопроса:

• Ожидание новинки
• Сравнение характеристик товара (цвет, внешний вид, форма, наполнение)
• Сравнение аналогичных товаров
• Анонсы скидок мероприятий.

В продолжении последнего пункта. Если у вас есть анонс или скидка, то вы можете связаться с проголосовавшими и рандомно или всем выслать ввше предложение.

Стикер-слайдер как качественный метод исследования

Можно ли измерить эмоции через стикер? Вполне возможно, если это стикер-слайдер со своеобразной шкалой. Вы можете выбрать подходящий фон и эмодзи, который будет олицетворять вопрос.

В итоге пользователи выбрав на этой шкале результат могут увидеть средний ответ всех пользователей. Классическое применение: анонс в стиле “ждете?” и этот стикер. Если большинство проголосовало ближе к максимуму — все в порядке, если эмодзи ближе к началу, нужно что-то с этим делать.

Вы можете посмотреть как проголосовал каждый человек, некоторые приверженцы бренда могут ошибиться и не дотянуть до максимума, а потом быстро отвечают на историю, что они на самом деле относятся супер, но немного ошиблись.

И снова здесь можно подключить Instagram DM для обратной связи. Например, вы спрашивали у подписчиков насколько им было удобно оформить заказ и для каждого подозрительно низкого или среднего ответа отправить сообщение в Instagram Direct с просьбой рассказать подробнее про процесс. Как правило, если  пользователь среагировал на историю, с ним проще наладить коммуникацию и выяснить в чем проблема.

Открытые вопросы для дискуссий

Согласно исследованию Sprout Social , 78% людей хотят, чтобы бренды использовали социальные сети, чтобы стать ближе к людям. Отголоски клиентского сервиса в социальных сетях. Нужно копать глубже и оценить ситуацию — выбирайте стикер с открытым вопросом.

Пользователи отвечают на ваш вопрос в свободной форме, не ограничивая себя в рамках. Поэтому этот стикер стал жертвой злостных накрутчиков, который тоннами высылают спам на ваш вопрос.

Вы можете поделитесь ответом / вопросом пользователя у себя в Stories. Если вы еще отметите его, то пользователю будет приятно, что вы заметили и проявили заботу своим ответом. И, конечно, вы можете дать ответ в Direct. По статистике, конверсионность этого стикера несколько ниже, потому что пользователю нужно приложить немного больше усилий: подумать и ввести ответ.

Кстати, этот стикер отлично подойдет для анонса нового продукта. Накануне анонса запускайте этот стикер с подсказками, а тот, кто окажется ближе всех пусть получит новинку. Только будьте объективными.

Викторина для самых умных!

Этот стикер сразу покажет прав ли в своем ответе подписчик или нет. Пусть выбирает из нескольких вариантов, правильный всего один. Так можно оценить осведомленность о бренде, можно сделать анонс (только не скидок, а то будет обидно: вы предлагаете 5%, а в вариантах есть 25%).

Хороший пример Booking.com в виде викторины в историях для эрудированных путешественников. Перед викториной компания публикует несколько подсказок, чтобы вызвать интерес и навести людей на правильный ответ. Если у вас широкая тематика, тоже можете воспользоваться этой возможностью, а всем угадавшим прислать что-то приятное через DM. Вы будете точно знать список этих людей, сколько голосов получил каждый вариант и как проголосовал каждый человек.

Для более продуманных и широких вопросов вы можете воспользоваться возможностью размещения активной ссылки на сайт, если у вас есть эта возможность. И перенаправлять пользователей пройти опрос, а прошедшим по ссылке выдать уникальный бонус.

Если комбинировать эти опросы, то можно и аудиторию изучить и мнения получить и просто развлечь людей с выгодой для всех сторон. В наших Stories мы раз в неделю проводим викторины с комбинацией всех стикеров, присоединяйтесь!

Почему не индексируется сайт? Причины и их устранение

Часто встречаются ситуации, когда сайты с хорошим наполнением не отображаются в поисковых запросах. Проведение повторных проверок не помогает. Что делать в подобных случаях? Естественно, нужно выявить причину, которая мешает индексации сайта, и устранить ее. Главные причины, отсутствия страниц в индексе поисковых систем

Самых распространенных проблем 5:

1. Некорректная настройка robots.txt.
В настройках стоит запрет индексации на работу поисковиков, причем, как определенных поисковых систем, так и всех сразу. Также запрет может распространяться на отдельные страницы веб-ресурса или всего сайта.

2. Работа фильтров.
Переспам, переизбыток ключей, неинформативный контент сайта — частая причина наложения санкций. Специальные фильтры выявляют эти элементы и накладывают блокировку на отдельные страницы или весь сайт.

3. Недавно созданный ресурс.
Нет ничего удивительного в том, что поисковые системы не обнаруживают новые сайты. Чтобы поставить их в известность о новом ресурсе, сайт просто добавляют в индексацию с помощью сервисов, предоставляемых поисковыми системами.

4. Применение неоригинального домена.
Приобретение доменов, уже бывших в использовании, может также затруднять видимость ресурса для поисковиков. Это связано с тем, что на сайт, ранее размещенный по данному адресу, были наложены санкции. Даже использование нового веб-ресурса по старому домену не отменяет санкций поисковых систем.

5. Низкая скорость сайта.
Индексацию часто осложняет медленная загрузка страниц. Как правило, недостаточная скорость вызвана плохим кодом или нестабильным функционированием хостинга. Это приводит к тому, что поисковые запросы обходят Ваш сайт.

Проблема не решается после устранения вышеуказанных ошибок. Как быть? После устранения выявленной проблемы, следует спустя некоторое время проверить индексацию веб-ресурса. Как правило, после коррекции поисковики видят ресурс.

Если после приложенных усилий, ситуация не изменилась, необходимо направить запрос в службу технической поддержки. Как правило, в первом ответном сообщении вам направят последовательность действий для устранения 5 распространенных причин, рассмотренных ранее. После уведомления техподдержки, что устранить проблему не удалось, служба займется рассмотрением вашего частного случая.

Похожие записи

Почему сайт не в поиске: причины и способы проверки

Проверка индексации сайта через Яндекс Вебмастер и Google Search Console

Для того, чтобы проверить качество индексации страниц сайта, достаточно воспользоваться сервисами от двух поисковиков: Яндекс Вебмастер и Google Search Console. Каждая из этих панелей показывает количество находящихся в индексе страниц для своего поисковика (Яндекс и Google, соответственно).

Google Search Console

Зайдя в этот инструмент, на главной странице находим блок «Покрытие». В нем показывается график с количеством страниц сайта в индексе Гугла (зеленый график), и количество страниц, которые содержат ошибки (красный график). В таком виде удобно смотреть как добавлялись/удалялись страницы из индекса в определенный отрезок времени.

Из блока «Покрытие» есть возможность перехода в полный отчет. На отдельной странице будет показан график, количество ошибок, загруженных страниц без ошибок и исключенные страницы. Кликая по каждому из показателей, получаем графические данные по нему, а также списки самих URL-адресов.

Заходим в блок «Покрытие»

Просматриваем нужный отчет

Яндекс Вебмастер

Аналогичные возможность есть у Яндекс Вебмастера. Чтобы посмотреть проиндексированные страницы Яндексом, заходим в пункт «Индексирование – Страницы в поиске». Пролистав ниже, находим все страницы сайта, которые на текущий момент находятся в индексе.

Выбираем раздел «Индексирование – Страницы в поиске»

Список проиндексированных страниц

Инструмент позволяет просматривать исторические данные о том, как менялось количество проиндексированных страниц. Для этого вверху графика нажимаем «История», а внизу слева выставляем необходимый временной диапазон.

Анализируем историю индексации

Как видно из примера, сайт выпадал из индекса полностью, но через какое-то время вернулся вновь.

Почему сайт может выпасть из индекса? Причины и их решения

Причин, по которым сайта нет в поиске, может быть множество, рассмотрим основные.

Новый сайт или страница

Процесс индексации представляет собой сканирование поисковым краулером документов сайта. После чего данные обрабатываются, а уже после появляются (или не появляются) в поисковой выдаче. Обновление поисковой базы называется Update, и у каждого поисковика он происходит с разной скоростью. Поэтому если страницы недавно созданного сайта не отображаются в поиске, то чаще всего они еще просто не были проиндексированы.

Отсутствие запрета на индексацию сайта

Закрыть от индексации можно весь сайт, либо отдельные его документы. Поэтому вторым шагом по поиску причины отсутствия сайта в индексе, будет проверка файла robots.txt, находящегося в корне файловой системы.

Данный файл открывается с помощью любого текстового редактора, в нем должны отсутствовать следующие строки:

Блок на весь сайт
User -agent: *
Disallow: /
Или для отдельных страниц:
User-agent: *
Disallow: /page.html

Страницы могут быть закрыты от индексации посредством метатегов. Если известно, каких именно нет страниц в индексе, проверьте их вручную (либо с помощью автоматизированных инструментов, например, Screaming Frog SEO Spider) на наличие следующего метатега (он доступен только для Яндекса, Google его игнорирует):

<meta name="robots" content="noindex" />

Кроме этого, любой документ можно проверить на доступность поисковыми роботами в инструменте Яндекс Вебмастера: Индексирование – Анализ robots.txt. Вставляем в блоке «Разрешены ли URL?» адрес страницы и смотрим результат.

Проверяем отдельные URL на индексацию

Дублированный контент

Поисковые системы заинтересованы в том, чтобы их выдача была как можно более качественной, максимально отвечающей запросам пользователей. Нет смысла добавлять в поиск страницы, если их дубли уже есть в интернете.

Поэтому перед публикацией контента, особенно текстового, обязательно проверяйте его на уникальность, это можно сделать в следующих сервисах:

• Text.ru.
• Etxt.ru.
• Advego.ru.

Уникальность не должна быть ниже 75%, но для технических или юридических текстов этот порог может быть ниже в силу специфики контента.

Если сайт наполняется текстами на основе рерайтинга, то обращайте внимание на его качество. На сегодняшний день поисковики хорошо «понимают» структуру текстов, грамматику и прочие его характеристики.Googlebot» search_bot

Запрет в самой CMS

Это больше всего касается сайтов созданных на платформе WordPress, дело в том, что в админке этого движка есть настройка запрета индексации сайта, и даже если в Robots.txt индексация открыта, то сайт индексироваться не будет. Важно проверить что галочка в данном разделе снята и индексация разрешена.

WordPress — проверка запрета индексации

Отсутствие четкой структуры сайта

Весь контент на сайте должен находиться в структурированном виде, на различных уровнях вложенности (Главная – Категория – Подкатегория – и т.д.). Причем не рекомендуется создавать уровни вложенности более 5. Если эти два правила не соблюдаются, то процесс индексации может затянуться по времени, особенно, если страниц на сайте много.

Страница или сайт недоступны

Сайт и его страницы должны быть доступны как посетителям, так и поисковым краулерам, и отдавать код 200. По разным причинам, этот код может отличаться:

• 4xx – документ недоступен по текущему адресу. Не рекомендуется удалять страницы, находящиеся в индексе поисковика, т.к. это может негативно сказать на ранжировании сайта. Лучше сделать 301-редирект (перенаправление) с удаленной страницы на другую релевантную.
• 5xx – сервер не в состоянии выполнить запрос.

Чтобы проверить код ответа сервера, заходим в одноименный инструмент в Яндекс Вебмастере.

Инструмент для просмотра кода ответов сервера

Пример отчета

На сайт наложены фильтры

Если сайт или его страницы резко выпали из индекса, скорее всего, был наложен фильтр со стороны поисковой системы. Проверить на наличие некоторых фильтров можно в панелях вебмастеров.

В Google Search Console заходим в пункт «Меры, принятые вручную». Если на сайт применена какая-либо санкция со стороны сотрудников Google, то эта информация будет доступна здесь.

Google Search Console

Автоматически наложенные санкции не отображаются в панели, но их можно обнаружить по косвенным признакам.

Проблемы с Яндексом также частично отображаются в Вебмастере на странице «Сводка».

Проблемы сайта в Яндекс.Вебмастере

Вот список некоторых действий, которые могут привести к санкциям со стороны поисковиков:

• Неадекватное наращивание внешней ссылочной массы. Поисковики не любят манипулирование факторами ранжирования, поэтому при обнаружении накладывают фильтры, понижая сайт в результатах выдачи, либо вовсе удаляют его (или отдельно взятые страницы) из индекса. Фильтры: Минусинск и Пингвин.
• Низкокачественный или неуникальный контент. Фильтры: АГС, Panda, Баден-Баден.
• Переоптимизация контента. Недопустимо превышать порог 3-5% плотности ключевых слов, а также использовать вхождения в неестественном виде (например, «купить квартира Москва»).
• Накрутка поведенческих факторов, например, фейковые посещения сайта.

Сайт заблокирован государственными органами

В РФ действует закон, запрещающий распространение определенного типа контента в интернете. За это (кроме уголовного преследования), возможна блокировка сайта по решению ряда государственных органов: Роскомнадзора, Ген. Прокуратуры, МВД, Роспотребнадзора и т.д.

Эта причина блокировки одна из самых явных, т.к. при посещении сайта пользователь получает всю информацию со ссылками на федеральный закон.

Блокировка сайта

Небольшой список материалов, которые подлежат такой блокировке:

• Информация о способах изготовления и т.д. наркотических веществ.
• Антиправительственная информация, по типу организации митингов, призывы к массовым беспорядкам и т.д.
• Описание способов совершения самоубийств.
• И прочее.

Дублированный контент внутри сайта

Если на сайте появляются страницы-дубли, то часть из них выпадет из индекса. Причем может случиться так, что выпадет именно целевая страница.

Дубли чаще всего появляются в силу специфики работы CMS, когда одна и та же страница доступна по разным адресам, но для поисковика это разные документы. Чтобы этого избежать, рекомендуется изучить подобные нюансы используемой CMS и настроить ее таким образом, чтобы дубли не появлялись (например, установив плагин), либо с них было перенаправление (301-редирект) на основную страницу.

В рамках данной статьи мы рассмотрели основные причины, по которым сайт может выпасть из поиска. Определив и решив их, после одного или нескольких Update поисковой базы, страницы сайта вернутся в органическую выдачу. 

Почему сайт не индексируется и что делать SEO специалисту

Поговорим о нескольких типах проблем с индексацией и том, как их определить.

Грустная статистика — в среднем 15–20% URL адресов сайта не попадают в индекс. И это не технические страницы. Речь про URL страниц, которые вполне могут приносить трафик, генерировать лидов и продажи.

К этому можно добавить проблемы с частичной индексацией страниц.

Частичное индексирование — это ситуация, когда ваш URL-адрес проиндексирован Google, но часть содержания страницы не индексируется по многим причинам.

В этой части страницы может быть видео, онлайн калькулятор или другой сервис, который должен создавать дополнительную ценность для пользователя.

Большие сайты — больше проблем

С проблемами индексации сталкиваются в основном владельцы крупных сайтов. Чем больше URL, тем выше вероятность проблем с индексацией. Два ярких примера:

• на сайте Walmart только 61% страниц проиндексированы Google;
• на Yoox.com (маркетплейс стильной одежды) только 19% страниц.

С проблемой сталкиваются магазины, блоги, отраслевые порталы.

Примерно 20% страниц сайта Medium.com не попадают в индекс Google. Это огромный список URL адресов.

Немного истории. Проблемы с индексацией не только из-за JavaScript

Частичная индексация контента — проблема, которая появилась не сегодня. В 2017 году все было очевидно: Google индексировал ту часть страницы, что написана в html, и пропускал элементы с JavaScript.

Но со временем оказалось, что это не единственная причина проблем с индексацией.

Все больше сайтов без JavaScript сталкиваются с проблемами частичной индексации. Чтобы обнаружить причины, нужно для начала оценить масштаб проблемы.

Индексирование URL

Эта проблема, пожалуй, самая простая. Если ваш URL-адрес не индексируется Google целиком, нужно срочно что-то менять.

Почему это называют индексированием URL? Раньше вместо этого использовали термин «HTML-индексирование», но поняли, что он не совсем отражает суть проблемы.

Таких примеров очень много на сайте Yoox.

Как проверить, что URL не индексируется? Сначала используем поисковые операторы. Есть несколько вариантов:

1. Используем оператор site: и проверяем, есть ли в выдаче определенные URL, с которыми возникли проблемы;
2. Сочетание названия бренда и оператора site. В строке поиска напишите название бренда и оператор site. В результатах вы увидите, проиндексировались ли страницы сайта с товарами определенного бренда.
3. Комбинация конкретного запроса и оператора сайт. Принцип работы тот же. С таким сочетанием мы определяем, проиндексировались ли страницы по конкретному запросу.

Частичное индексирование mobile-first

Индексирование (и сканирование) в мобильной выдаче связано с некоторыми новыми интересными проблемами. Многие веб-сайты представили две отдельные версии контента, предоставляемого пользователям в зависимости от устройства, которое они используют.

Это может вызвать проблемы с индексацией на вашем сайте. URL на скриншоте индексируется.

Но полная ли индексация? С этого вопроса начинается самое интересное. Поговорим о том, как диагностировать проблемы с индексацией. Для начала сравниваем мобильную и десктопную версию страницы.

Самый простой способ — визуальное сравнение двух версий одной и той же страницы. Например, на скрине ниже вы увидите, что фрагмент текста отсутствует в одной из версий.

Второй вариант — используйте сервис Difchecker. Конечно, он требует умения читать HTML код, но когда вы освоитесь, окажется, что не всё так трудно.

Совет из опыта: мобильную версию желательно размещать в окне слева. Так будет виднее разница во фрагментах кода.

Через несколько минут вы увидите фрагменты контента, которые видны только в десктопной версии.

Чтобы окончательно убедиться, что страница проиндексирована частично, используйте поисковые операторы. Найдите фрагмент, который не проиндексировался, и вставьте его в поисковую строку. Затем, возьмите его в кавычки и добавьте после оператор site с указанием сайта, который анализируете.

Если поисковая система не покажет ничего, у сайта действительно проблемы с частичной индексацией.

Частичное индексирование и JavaScript (самая популярная проблема частичного индексирования)

Вы удивитесь, увидев, на скольких веб-сайтах значительная часть контента не индексируется Google.

Частичное индексирование JavaScript — самая популярная и, к сожалению, самая серьезная проблема индексирования, поскольку она часто влияет на основной контент страницы. В итоге URL не может подняться на высокие позиции.

Чаще всего сложности с индексацией возникают из-за динамического контента. Посмотрим на пример с Walmart:

Одна из причин, почему мы выбрали этот URL: контент JavaScript загружается над основным продуктом (вероятно, из-за того, что этот продукт сейчас отсутствует в наличии).

JavaScript контент отображается в обеих версиях URL, но в мобильной, он расположен под описанием.

Как выявить частичную индексацию из-за JavaScript

Сначала отключите отображение JavaScript в браузере и посмотрите, какие элементы страницы не отображаются.

Теперь нам остается только посмотреть, решил ли Google отображать и индексировать зависимый от JavaScript контент. Для этого просто используйте комбинацию оператора site: и заголовка в блоке JavaScript. В примере, который мы рассматриваем, это Consider this popular products.

Как это исправить?

Решение этой проблемы — тема для отдельной статьи, здесь мы расскажем про несколько вариантов:

• Настроить отрисовку на стороне сервера (предпочтительное решение) или предварительную отрисовку (часто не лучшее решение) содержимого JavaScript для поисковых систем.
• Рассмотрите возможность оптимизации кода JavaScript, ответственного за создание раздела с динамическим контентом. В случае Walmart, это обязательно из-за всех проблем с производительностью и UX (сдвиг макета), которые создает этот раздел.
• Подумайте об удалении этого раздела полностью. Это может показаться чрезмерным, но в некоторых случаях, если ваша команда веб-разработчиков не может быстро оптимизировать этот раздел, удаление его до тех пор, пока они не сделают этого, может быть лучшим решением для ваших пользователей и для поисковых систем.

Частичное индексирование из-за дизайна

Это одно из последних открытий в области SEO, индексации и того, как Google понимает макет вашей страницы. Сотрудники Google фактически подтвердили проблемы индексации из-за макета.

Посмотрим, как возникает проблема частичного индексирования из-за макета.

У Google ограниченные ресурсы.

Всемирная паутина ежедневно наводняется контентом. Эта проблема стала настолько серьезной, что Google необходимо экономить ресурсы, чтобы продолжать индексировать и ранжировать ценный контент.

Google может пропустить часть индексации вашей страницы, если она не связана напрямую с основным содержанием вашей страницы.

Если ваша страница посвящена собакам, с точки зрения поисковой системы крайне важно убедиться, что весь ценный контент о собаках проиндексирован. Это означает, что все ваши разделы «похожие продукты», «вас также могут заинтересовать» и т. Д. Могут быть полностью исключены из индексации, поскольку они не представляют ценности для поисковых систем.

Вы как технический специалист по поисковой оптимизации обязаны отслеживать, диагностировать и понимать все проблемы индексации на основе макета.

Частичное индексирование не всегда может быть плохим. Но часто элементы вашей страницы, которые Google решил не индексировать созданы «из соображений SEO». Это могут быть:

• Разделы со ссылками на новые продукты для лучшей индексации.
• Все другие формы внутренних ссылок для «ускорения индексации и сканирования».

Данные показывают, что во многих случаях эти решения часто приносят больше вреда, чем пользы, поскольку они не индексируются и очень затрудняют получение данных сканирования, которые действительно отражают структуру вашего веб-сайта, как ее видит Google.

Выводы

SEO с учетом фактора JavaScript все еще остается чем-то новым и не до конца понятным.

Надеемся, что эта статья по связи рендеринга и SEO поможет вам глубже понять техническую сторону поисковой оптимизации, создавать более удобные и быстрее веб-сайты, которые легко воспринимают пользователи и поисковые роботы.

Используйте особенности сканирования и рендеринга в своих интересах. Применяйте JavaScript правильно и используйте надежный хостинг от Host4Biz.

Почему не индексируется сайт — 11 причин и способы улучшения индексации

Индексация сайта поисковыми системами — один из самых животрепещущих вопросов в работе каждого SEO-специалиста. И это абсолютно не удивительно: ведь какой толк в постоянной технической оптимизации, если для поисковых роботов страница не существует как таковая?

Сталкивались ли Вы с проблемой индексации?

ДаНет

В рамках данной статьи мы приведём 11 основных причин, по которым ваш сайт может не индексироваться поисковыми роботами, а также покажем, как с помощью Netpeak Spider выяснить, какая из них тормозит продвижение вашего сайта.

Темы материала

1. Сайт закрыт от индексации в Robots.txt

Первая и основная причина, по которой многие сайты оказываются вне поля зрения роботов поисковых систем, — это неправильные инструкции файла robots.txt. Как ни странно, это происходит либо по незнанию самих инструкций или синтаксиса, либо по забывчивости: после сдачи сайта в эксплуатацию многие вебмастера и SEO-специалисты просто забывают «открыть» его и убрать лишний disallow.

В подобных случаях Netpeak Spider покажет по итогу сканирования ошибку «Заблокировано в robots.txt».

2. Неправильно выставлены директивы Meta Robots или X-Robots-Tag

Инструкции, задаваемые для поисковых роботов при помощи Meta Robots или X-Robots-Tag, относятся только к определённым URL и потому могут скрывать от поисковых систем лишь отдельные страницы. Случайно выставленные noindex или nofollow могут существенно испортить вам жизнь и при этом никак не выдавать себя вплоть до детального SEO-аудита сайта.

Если Netpeak Spider обнаружит инструкцию noindex в метаданных страницы или HTTP-заголовке, то страница будет отмечена ошибкой «Заблокировано в Meta Robots» или «Заблокировано в X-Robots-Tag». Для страниц, у которых в заголовках ответа сервера или блоке <head> будет найдена инструкция nofollow, программа покажет ошибки «Nofollow в X-Robots-Tag» и «Nofollow в Meta Robots» соответственно.

3. Сайт получил бан от поисковых систем

Эта проблема наиболее актуальна для сайтов, купленных «с рук». Если в процессе покупки вы не проявите достаточной осторожности и на слово поверите продавцу, то шанс приобрести сайт с «тёмным прошлым» будет весьма велик. В этом случае объём усилий, потраченных на восстановление репутации в глазах поисковых систем, будет намного значительнее всех выгод, на которые вы рассчитывали изначально.

Если вы покупаете сайт с историей, настоятельно рекомендуется:

• запросить у владельца доступ к GA или Яндекс.Метрике, чтобы проанализировать динамику трафика из поисковых систем за большой период и выявить возможные аномалии,
• проверить данные в Яндекс.Вебмастере и Google Search Console,
• ознакомиться с архивными версиями сайта посредством Wayback Machine,
• проверить ссылочный профиль сайта (например, при помощи Serpstat или Ahrefs),
• проверить на сайте Sucuri SiteCheck, не состоит ли сайт в чёрных списках поисковых систем.

4. Поисковым роботам ограничен доступ к файлам .js

Если часть сценариев на вашем сайте осуществляется через JS, поисковые роботы должны иметь беспрепятственный доступ к .js файлам. В противном случае они не смогут прорендерить сайт и найти все ссылки, скрытые в JavaScript.

Вы можете проверить, нет ли на вашем сайте закрытых от индексации JavaScript-файлов, запустив в Netpeak Spider краулинг в со включённой опцией «Проверять JavaScript». Её можно включить в общих настройках программы.

Отдельно хотели бы отметить: согласно официальным заявлениям Google, данная поисковая система без проблем рендерит и индексирует страницы с JavaScript, однако, нельзя с уверенностью сказать то же об остальных поисковиках. Если вас интересует оптимизация под Яндекс, Bing, Yahoo и другие поисковые системы, мы настоятельно рекомендуем ознакомиться с их официальной документацией на тему краулинга JS, а также последними исследованиями на этот счёт.

5. Низкая скорость загрузки сайта

Многие особенности поведения поисковых систем продолжают относиться к категории разнородных домыслов SEO-специалистов, но есть кое в чём их мнения едины: поисковые системы крайне негативно настроены по отношению к медленно работающим сайтам. Настолько негативно, что низкая скорость загрузки может стать причиной, по которой нетерпеливые поисковики не включат ваш сайт в индекс.

Чтобы выяснить, какие из страниц вашего сайта имеют критически низкую скорость загрузки, просканируйте сайт с Netpeak Spider: в числе возможных ошибок вы можете найти «Большое время ответа сервера». К тому же, каждую страницу в отдельности можно будет проверить через сервис Google PageSpeed, не покидая окна программы. Для этого будет достаточно кликнуть правой кнопкой мыши по выбранному URL, выбрать «Открыть URL в сервисе» → «Google PageSpeed».

6. На странице выставлен атрибут rel=»canonical» на страницу с редиректом

Размещая на странице ссылку на канонический URL, вы указываете поисковым роботам предпочтительную для индексации страницу. Если же на этой странице стоит редирект на какой-то другой URL, то именно он попадёт в индекс вместо страницы, которую вы указывали в качестве канонической. Это произойдет потому, что её код ответа будет 3хх, а не 200, как требуется для индексации.

7. Нет внутренних ссылок на новые страницы

В том случае, если вы создали новые страницы, но на них не ведёт ни одна ссылка внутри сайта, то в рамках своего следующего обхода сайта краулер может попросту не найти их.

В Netpeak Spider страницы, на которые не было найдено ни одной входящей ссылки, отмечаются ошибкой «Page Rank: отсутствуют связи».

8. В настройках CMS выставлен запрет на индексацию

В общих настройках CMS WordPress есть опция запрета индексации. Доподлинно не известно, какие системы учитывают эту инструкцию, а какие нет, но вполне может оказаться, что одна неосторожная галочка лишит вас места в индексе.

Проверяйте аналогичные настройки и в других CMS.

9. Сайт доступен только авторизованным пользователям

Если в процессе тестирования и отладки сайта вы закрыли его от всех неавторизованных посетителей, не забывайте о том, что теперь он закрыт и для поисковых систем.

Кстати, запрос авторизации не помешает вам проводить SEO-аудит на этапе разработки сайта или его финальной подготовки к запуску: достаточно указать данные для доступа на вкладке «Аутентификация» в настройках Netpeak Spider, чтобы беспрепятственно сканировать сайт.

10. Сайт закрыт от поисковых роботов в файле .htaccess

В большинстве случаев файл .htaccess используется для настройки переадресации, однако, при помощи функции RewriteEngine вы можете ограничить доступ к сайту для тех или иных поисковых роботов. В случае с блокировкой бота Google, она может иметь следующий вид:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteRule . — [F,L]

Если вдруг вы случайно (или специально) использовали её для своего сайта, советуем вам удалить строки с функцией или заменить файл .htaccess на его более раннюю версию.

11. Неправильный код ответа сервера

В индекс в итоге попадают страницы исключительно с 200 кодом ответа сервера. Если с виду страница выглядит абсолютно нормально, но по каким-то причинам выдаёт код ответа, отличный от 200 (например, 404 или 503), страница не проиндексируется поисковыми роботами. В случае обнаружения подобной ошибки обратитесь за помощью к веб-разработчику.

Коротко о главном

Несмотря на то, что некоторые механизмы работы поисковых систем окутаны завесой тайны, можно с уверенностью назвать несколько основных причин, по которым ваш сайт или некоторая часть его страниц может не индексироваться поисковыми системами:

• Сайт закрыт от индексации в Robots.txt.
• Неправильно выставлены директивы Meta Robots или X-Robots-Tag.
• Сайт получил бан от поисковых систем.
• Поисковым роботам ограничен доступ к файлам .js.
• На странице выставлен атрибут rel=»canonical» на страницу с редиректом.
• Нет внутренних ссылок на новые страницы.
• В настройках CMS выставлен запрет на индексацию.
• Сайт доступен только авторизованным пользователям.
• Сайт закрыт от поисковых роботов в файле .htaccess.
• Неправильный код ответа сервера.

P.S. Для всех читателей блога действует 10% скидка на покупку лицензий Netpeak Spider, которую можно получить на сайте netpeaksoftware.com/ru/buy при использовании промокода 835f52b3.

Яндекс не индексирует сайт | Хостинг сайтов AvaHost.Ru.

Некоторые пользователи сталкиваются с проблемами, возникающими в результате того, что Яндекс не индексирует сайт. Причины отсутствия индексации могут быть самыми разными. Чаще всего, это технические ошибки и наличие плохого контента. Но могут быть и другие причины. Поговорим о них подробнее.

Причины, почему не индексируется сайт

Есть несколько основных причин, по которым ваш сайт может плохо индексироваться или не индексироваться вовсе.

1. Стоит запрет индексации.

Если после создания нового сайта вы в течение нескольких месяцев не можете дождаться индексации Яндексом, причиной может быть установленный запрет. Чтобы это проверить, зайдите в корневую папку сайта и откройте robots.txt. Проверьте, не прописана ли там директива Disallow. Кроме этого, индексация может быть запрещена путем простановки тегов noindex и nofollow в исходном коде.

2. Отсутствие контента.

Роботы Яндекса не станут заходить на сайт, если там нет информации. Пустые страницы не привлекут поисковую систему. Малозаполненные страницы также могут стать причиной отсутствия роботов. Такое бывает с сайтами интернет-магазинов, где размещается скудное описание товара. Чтобы привлечь роботов, надо наполнять страницы хорошим контентом в достаточном объеме. Чем чаще сайт будет обновляться, тем интереснее он станет для поисковиков.

3. Неуникальный контент.

Хотите, чтобы роботы забыли о вашем сайте, и он покинул ТОП-100 Яндекса? Тогда размещайте неуникальные тексты, которые уже проиндексированы на других площадках. Такой контент часто становится причиной отсутствия индексации и наложения санкций Яндексом.

4. Плохая навигация.

Крупные сайты часто сталкиваются с проблемами индексации, связанными с плохой навигацией. Роботы не видят некоторые страницы из-за того, что они имеют высокий уровень вложенности. Чтобы устранить проблему, потребуется провести качественную перелинковку. Сделайте так, чтобы на непроиндексированные страницы ссылались страницы, которые уже находятся в индексе.

5. Долгая загрузка.

Если страницы грузятся слишком медленно, роботы не станут их индексировать. Проверьте скорость через Яндекс Метрику или другие специализированные сервисы. Если она окажется низкой, займитесь оптимизацией сайта.

6. Ссылочный спам.

Сайты, переполненные рекламными ссылками, часто попадают под фильтры Яндекса. Оцените качество ссылочной массы и постарайтесь убрать все лишние ссылки.

7. Переоптимизация.

Для более быстрой индексации и продвижения в ТОП некоторые владельцы сайтов используют большое количество запросов в текстах. Такие попытки приводят к обратному результату – роботы перестают индексировать страницы. Более того, переоптимизация становится причиной фильтрации сайта. О возможности попадания в выдачу Яндекса можно будет забыть до тех пор, пока система не снимет с сайта фильтр. А на это требуется достаточно много времени.

Яндекс не индексирует сайт, индексирует его плохо или неправильно по перечисленным причинам. Устранив их, вы избавите себя от ряда проблем, связанных с продвижением сайта в крупнейшей поисковой системе.

Почему мой сайт не индексируется Google?

Последнее изменение: 14.10.2020

Время чтения:

Intro

Тратить время и деньги на свой веб-сайт может быть очень неприятно, и, в конце концов, он не получает рейтинга в Google. Вы, наверное, думаете, что все сделали правильно. Однако, если он не проиндексирован, ваши клиенты не смогут найти ваш сайт в Google.

Согласно Google «Индексирование»:

«Страница индексируется Google, если она была посещена поисковым роботом Google (« Googlebot »), проанализирована на предмет содержания и смысла и сохранена в индексе Google.Проиндексированные страницы могут отображаться в результатах поиска Google (если они соответствуют рекомендациям Google для веб-мастеров). Хотя большинство страниц сканируется перед индексированием, Google также может индексировать страницы без доступа к их содержанию (например, если страница заблокирована директивой robots.txt) ».

Согласно определению, вам необходимо следовать определенным правилам, которые называются рекомендациями Google для веб-мастеров, чтобы ваш веб-сайт был «сохранен» в базе данных или индексе Google. Как только ваш сайт будет проиндексирован, Google покажет вашу страницу любому пользователю, который выполняет запрос, используя ключевые слова, релевантные вашему сайту.

Однако иногда, даже если вы следуете рекомендациям Google, ваш сайт может некорректно проиндексироваться и, следовательно, не отображаться в результатах поиска Google. Это может происходить по нескольким причинам. Хорошие новости, их все можно исправить.

В этой статье мы обсудим наиболее частые причины, по которым веб-сайты не индексируются в Google.

Ваш веб-сайт новый

Если вы только что создали и запустили свой веб-сайт, ему нужно время, чтобы появиться в результатах поиска.На самом деле новые веб-сайты часто не индексируются. Фактически, Google может проиндексировать ваш сайт в течение нескольких недель. Вы не сделали ничего плохого, просто Google нужно время, чтобы просканировать ваш новый сайт и включить его в свой индекс.

Здесь играют роль разные факторы. Поскольку ваш веб-сайт новый, у вас, вероятно, недостаточно качественных входящих ссылок. Вам нужно время, чтобы получить больше качественных ссылок, которые повысят авторитет вашего сайта, поэтому не ожидайте, что ваш сайт сразу появится на первой странице результатов.

Есть один простой способ проверить, знает ли Google о существовании вашего веб-сайта. Вы можете выполнить поиск по:

Сайт: typeyourwebsitehere.com

Это пример с веб-сайтом DevriX:

DevriX.com не новый веб-сайт и, как вы можете видеть, есть около 985 результатов. Попробуйте прямо сейчас на своем веб-сайте и посмотрите результаты. Имейте в виду, что если есть хотя бы один результат, это означает, что Google обнаружил ваш сайт. Если результатов нет — просто Google нужно больше времени, чтобы просканировать вашу страницу.

Тем не менее, есть кое-что, что вы можете сделать, чтобы повысить свой рейтинг, «ожидая», пока Google обнаружит ваш веб-сайт. Вы можете создать карту сайта и отправить ее через Google Search Console. Это то, что вам нужно сделать в любом случае, поскольку карта сайта представляет собой список страниц вашего веб-сайта, и это помогает поисковым системам легко сканировать ваши страницы. Он также является обязательным для вашего SEO, поскольку сообщает Google, какие страницы важны на вашем сайте и где их найти. Кроме того, это поможет ускорить процесс обнаружения.

Проверьте свой файл robots.txt

На большинстве веб-сайтов должен быть файл robots.txt, который указывает поисковым системам, где им можно или нельзя переходить на ваш веб-сайт. Если вы заблокировали свой веб-сайт и сказали Google не сканировать определенные URL-адреса, Google не будет посещать их страницы, и это обычно приводит к тому, что они не отображаются в результатах поиска.

Если вы отправили карту сайта через Google Search Console, она должна предупредить вас о проблемах, связанных с этим. Имейте в виду, что вы будете получать предупреждения, если роботы Google попытались просканировать ваши URL-адреса.Если Google все еще не обнаружил ваш веб-сайт, то это не так.

Другой способ проверить, не блокирует ли ваш файл robots.txt ваши страницы, — это ввести в браузере: yourwebsite.com/robots.txt:

DIsallow показывает страницы, сканирование которых запрещено Google. Проверьте, есть ли в вашем файле следующая команда:

Disallow: /
User-agent: *
User-agent: Googlebot

Это блокирует сканирование вашего веб-сайта Google.Кроме того, вы не хотите, чтобы параметр «Запрещал» отображался на каких-либо важных страницах, таких как блог, страницы продуктов или страницы часто задаваемых вопросов. Это предотвратит их обнаружение Google. Если они не будут обнаружены, они не будут ранжироваться в Google, когда пользователь будет искать ключевые слова, относящиеся к вашему сайту, и в результате пользователи никогда не обнаружат ваш сайт и не совершат у вас покупок.

У вас недостаточно качественных обратных ссылок

Мы уже обсуждали ранее в этой статье, что отсутствие качественных обратных ссылок может быть одной из причин, по которой ваш веб-сайт не индексируется в Google.Это правда, что в алгоритме Google действуют сотни факторов, и никто не знает наверняка всех деталей рейтинговой системы Google. Однако количество качественных обратных ссылок является довольно сильным фактором и серьезно влияет на ваш рейтинг.

Есть простой способ проверить количество уникальных веб-сайтов, ссылающихся на ваши страницы. Существуют различные бесплатные или платные инструменты SEO, которые предоставляют вам эту информацию. Самый простой способ — использовать средство проверки обратных ссылок Ahrefs или обозреватель ссылок от Moz.

В этом примере мы собираемся использовать Ahrefs. После того, как вы введете свой домен или URL-адрес в строку поиска, вы увидите, сколько существует уникальных ссылающихся доменов, ссылающихся на ваш веб-сайт. См. Столбец «Ссылающиеся домены» на снимке экрана ниже.

В столбце показано, сколько уникальных ссылающихся доменов ссылаются на ваш веб-сайт. Если ваш сайт новый, у вас будет очень небольшое число. Чтобы иметь лучшее представление о том, сколько у вас должно быть ссылающихся доменов, вы можете сравнить их с вашими конкурентами.Анализ их веб-сайтов даст вам представление о том, с чего начать, когда вы начинаете свои кампании по построению ссылок.

Вашему сайту не хватает авторитета

Создание качественных ссылок зависит от авторитета вашего домена или рейтинга домена. Применяется правило: чем больше качественных ссылок, тем больше авторитет.

Имейте в виду, что существуют разные инструменты для измерения рейтинга домена, и количество может варьироваться в зависимости от их данных. Например, если вы хотите использовать средство проверки обратных ссылок Ahrefs, вы можете измерить рейтинг своего домена.Инструмент показывает силу профиля обратных ссылок целевого веб-сайта по сравнению с другими в их базе данных по 100-балльной шкале.

На скриншоте ниже мы можем видеть, что Институт контент-маркетинга имеет рейтинг домена 88, что является довольно хорошим числом, которое говорит о его авторитете.

Если вы предпочитаете использовать бесплатный инструмент SEO-анализа домена Moz, вы можете измерить рейтинг авторитета вашего домена. Инструмент предоставляет информацию о том, какой веб-сайт будет занимать более высокое место в поисковой выдаче по
, измеряя связь корневых доменов и количество качественных входящих и исходящих ссылок.Он также предсказывает, насколько хорошо сайт будет ранжироваться в результатах поиска.

Если мы проанализируем веб-сайт Content Marketing Institute с использованием Moz, мы увидим, что авторитетность домена составляет 76.

Это не означает, что инструмент Moz показывает более низкий балл. Просто Moz использует другие данные и измеряет несколько иные вещи, чем Ahrefs. Вам решать, какой инструмент вы собираетесь использовать.

Вы можете сравнить свой рейтинг с результатами конкурентов, чтобы лучше понять, сколько качественных обратных ссылок у них есть и насколько выше авторитет вашего домена должен «расти».

Какая связь между авторитетностью вашего веб-сайта и индексом Google? Если у вашей страницы низкий авторитет домена, это может помешать вам подняться в рейтинге Google. Опять же, если ваш веб-сайт новый, невозможно сразу получить авторитет домена, но вы можете немного повысить его с помощью двух простых стратегий:

Ваша веб-страница не соответствует «поисковому намерению»

Миссия Google состоит в том, чтобы предоставить пользователю наиболее полезные и актуальные результаты. Вот почему так важно согласовать ваш контент и стратегию ключевых слов с тем, что хочет видеть ваша целевая аудитория.

Вам необходимо предоставить выдающийся и ценный контент, который заинтересует вашу аудиторию и / или решит их проблемы. Google не будет ранжировать на первых страницах контент, который не является выдающимся и не помогает пользователям найти информацию, которую они ищут.

Чтобы решить все проблемы, связанные с контентом, вам необходимо создать стратегию контент-маркетинга и согласовать ее с потребностями ваших клиентов. Вы можете запустить блог, в котором будете публиковать статьи на темы, которые интересны вашей целевой аудитории и отвечают их потребностям.Или вы можете предоставить учебные пособия или ответы на разные вопросы. Вам необходимо поддерживать интерес целевой аудитории к вашему сайту. Таким образом вы улучшите свои позиции в поисковой выдаче.

Статья по теме: Подготовка к тенденциям контент-маркетинга в 2020 году

У вас есть дублированный контент на вашем веб-сайте

Дублированный контент — это когда одна и та же или похожая веб-страница доступна по разным URL-адресам. Представьте, что у вас есть две копии одной и той же книги. Вам они оба не нужны, верно? Обычно Google не индексирует дублированный контент, потому что он занимает ненужное место в их индексе.

В этом случае Google обычно индексирует версию страницы, установленную как каноническую. Канонический тег не позволяет поисковым системам определять определенные страницы как дублированный контент. Когда вы устанавливаете канонический тег, вы сообщаете поисковым системам, какую версию URL вы хотите отображать во время поиска.

Если вы не отметили, какая страница является канонической, Google попытается определить ее за вас. Что нехорошо, поскольку у Google нет возможности определять повторяющиеся страницы, если каноническая не установлена ​​правильно.

Чтобы проверить, есть ли на вашем веб-сайте повторяющаяся страница, вы можете использовать некоторые из перечисленных здесь инструментов SEO.

У вас есть штраф Google

Наказания также могут помешать вашему сайту ранжироваться в результатах поиска Google. Существует два типа штрафов Google:

• Вручную: это когда Google удаляет или понижает ваш сайт в результатах поиска. Это происходит, когда сотрудник Google вручную просматривает ваш веб-сайт и обнаруживает, что он не соответствует их рекомендациям для веб-мастеров.
• Алгоритмический: это когда алгоритм Google налагает санкции на веб-сайт или веб-страницу из-за проблем с качеством.

Что включают штрафы Google?

• Деиндексировано, что означает, что Google полностью удаляет ваш домен из результатов поиска.
• Пенальтизация, означающая, что ваш домен все еще существует, но вы не сможете найти свою страницу при прямом поиске.

Как исправить штраф Google? Если у вас есть штраф, вы получите сообщение в Google Search Console.В этом случае вам необходимо следовать рекомендациям Google и отправить свой веб-сайт на повторную проверку, чтобы вернуться в Google.

Завершение

Наличие дублированного контента на вашем веб-сайте — серьезная проблема, с которой может столкнуться любой веб-сайт. Вот почему так важно отслеживать все важные детали, которые мы перечислили в этой статье.

Если вы заметили, что ваш сайт не ранжируется в результатах поиска, просмотрите список, который мы предоставили, и попытайтесь выяснить, в чем проблема.Надеюсь, это поможет вам повысить рейтинг вашего сайта.

Team DevriX

Написание блога и создание контента
Наша маркетинговая команда отвечает за создание контента на веб-сайте DevriX и профилях в социальных сетях. Мы также можем предоставить вам услуги по производству контента и маркетингу: ссылка. Свяжитесь с нами, чтобы начать работу с ретейнером по входящему маркетингу.

в настоящее время не индексируется в консоли поиска Google: как исправить

Статус «Обнаружено — в настоящее время не проиндексирован» означает, что Google знает об этих URL-адресах, но еще не просканировал их (и, следовательно, не проиндексировал).

Если у вас небольшой веб-сайт (менее 10 000 страниц) с содержанием хорошего качества, это состояние URL будет автоматически разрешено после того, как Google просканирует URL-адреса.

Если у вас небольшой веб-сайт и вы продолжаете получать этот статус для новых страниц, оцените качество вашего контента — возможно, Google не считает, что он не стоит их времени. Непонятным в этом статусе является то, что любые проблемы с качеством контента не ограничиваются перечисленными URL-адресами, это может быть проблемой всего сайта.

Что-нибудь мешает Google индексировать?

Надежда — это не стратегия. Узнайте прямо сейчас, не сдерживает ли Google что-нибудь!

Посмотрите, что сказал Джон Мюллер в рабочее время Google SEO на английском языке 13 августа 2021 г .:

Для иллюстрации: когда вы видите статус «Обнаружено — в настоящее время не проиндексировано», это означает, что URL-адреса находятся в процессе индексации Google:

Что вызывает этот статус

Если вы столкнулись с этой проблемой на крупных веб-сайтах ( 10.000+ стр.), Это может быть вызвано:

1. Перегруженный сервер : у Google возникли проблемы при сканировании вашего сайта, поскольку он выглядел перегруженным. Если это так, обратитесь к своему хостинг-провайдеру.
2. Перегрузка контента : Ваш веб-сайт содержит гораздо больше контента, чем Google готов сканировать в настоящий момент. Они думают, что это не стоит их времени. Примеры контента, соответствующего этому счету: отфильтрованные страницы категорий продуктов, автоматически сгенерированный контент и контент, созданный пользователями.Вы можете исправить это, либо обрезав контент, сделав его более уникальным, если вы хотите, чтобы Google сканировал и проиндексировал его, либо удалив ссылки на него и обновив файл robots.txt, чтобы предотвратить доступ Google к этим URls, если вы находите Google. обнаруживает контент, которого им не следует.
3. Некачественная структура внутренних ссылок : Google не находит достаточно путей для доступа к контенту, который еще предстоит просканировать. Это можно исправить, улучшив структуру внутренних ссылок.
4. Низкое качество контента : Повысьте качество вашего контента.Создавайте уникальный контент, который повышает ценность для ваших посетителей. Удовлетворяйте их пользовательские намерения. Дай им то, что ты хочешь. Помогите им решить проблемы.

Обратите внимание, что проблемы 1 и 2 являются классическими примерами проблем с обходным бюджетом. Это вызывает беспокойство, особенно для крупных веб-сайтов.

Полезные ресурсы

ContentKing Academy

Прочтите всю статью Академии, чтобы узнать все об отчете о покрытии индекса Google Search Console

Почему мой веб-сайт не отображается в поиске Google? • SEO-механик

Почему ваш сайт не отображается в поиске Google

Ваш сайт не отображается в результатах поиска Google?

Проверьте, проиндексирован ли ваш сайт, выполнив поиск по его точному URL-адресу или имени домена без других слов (например, http: // www.yourdomain.com).

Если ваш сайт не отображается в результатах поиска Google или его эффективность ниже, чем когда-либо, проверьте его эффективность поиска. в Google.

Как проверить поисковый индекс в Google

Почему так важен поисковый рейтинг

Подавляющее большинство людей не переходят на первую страницу результатов поиска. Согласно этому исследованию, верхний лист в органических результатах поиска Google получает 33 процента трафика по сравнению с 18 процентами для второго места, и оттуда трафик только ухудшается.

Итак, недостаточно, чтобы ваш сайт был проиндексирован Google, Bing и Yahoo.

Почему сайты не занимают места в результатах поиска

Гугл хитрый. Вот что может мешать вашему сайту появляться в результатах поиска:

1. Google еще не проиндексировал ваш сайт (слишком новый)
2. Ваш веб-сайт не оптимизирован для сканирования поисковыми системами
3. Ваш рынок ключевых слов очень конкурентный
4. На вашем веб-сайте нет тегов «без индекса»
5. Ваш сайт оштрафован и удален из Google

Ниже приведены общие причины (подробно), по которым ваш сайт (WordPress, Wix и Squarespace) не ранжируется, а — как отображается в поиске Google:

1.Google еще не проиндексировал ваш сайт

Иногда поисковой системе может потребоваться неделя или больше, чтобы обновить результаты поиска. Это потому, что ваш веб-сайт новый и на нем нет входящих ссылок.

Сначала создайте учетную запись в Центре поиска Google. Центр поиска Google, ранее называвшийся веб-мастерами Google, находится здесь, чтобы помочь нужным людям просматривать ваш контент с помощью ресурсов, которые сделают ваш веб-сайт доступным для поиска Google.

Когда вы регистрируетесь и указываете Google на карту сайта .xml URL, вы можете запросить у них повторное сканирование ваших URL. Однако запросов так много, что функция не всегда работает сразу (особенно если у вас новый или большой сайт).

Если вы не хотите создавать учетную запись в Центре поиска Google, попробуйте эту ссылку, чтобы добавить свой URL в Google: http://www.google.com/addurl/

Google не добавляет все отправленные URL-адреса в свой индекс и не может делать прогнозов или гарантировать, когда или будут ли отправленные URL-адреса появиться в их индексе.Но если ваш новый веб-сайт просканируется, его включение в индекс может занять до одной или двух недель.

2. Ваш сайт слишком новый

Вы только что создали и запустили свой новый веб-сайт? Обычно, прежде чем он появится в результатах поиска, может пройти до четырех недель. Хотя мы, возможно, привыкли быстро выводить информацию в Интернет, индексы поисковых систем могут быть довольно медленными. Так что сидите спокойно, подождите и узнайте больше об алгоритмах поисковых систем, прежде чем вы слишком нервничаете.

3. На вашем веб-сайте нет тегов «без индекса»

Вы можете использовать собственный код, чтобы запретить поисковым системам индексировать ваш сайт или определенные страницы. Если вы или кто-то из разработчиков вашего сайта добавили этот код, это объяснило бы, почему он не отображается в результатах поиска.

4. Ваш веб-сайт не оптимизирован для сканирования поисковыми системами

Когда вы отправляете свой веб-сайт в поисковую систему, на ваш сайт отправляется паук, чтобы сканировать его на предмет содержания. Эти пауки не смотрят на ваш сайт, как посетители.

Они сканируют ваш сайт на наличие метаконтента, насыщенности ключевыми словами, релевантного контента и многих других факторов.

Следовательно, вам необходимо учитывать, какой контент поисковые системы действительно видят на ваших веб-страницах.

5. Ваш рынок ключевых слов очень конкурентный

Поисковые системы помогают миллионам пользователей по всему миру перемещаться по Интернету и находить конкретный контент среди миллиардов веб-сайтов.

Убедитесь, что вы ориентируетесь на менее конкурентный рынок ключевых слов, чтобы привлечь внимание вашего потребителя.

6. Не все ключевые слова равны

Легко ранжироваться по нерелевантным ключевым словам в поисковых системах. Трудно ранжироваться по ключевым словам, которые приносят прибыль вашему бизнесу.

Сложность двоякая: одна — определение наиболее прибыльного ключевого слова для вашего бизнеса, а вторая — получить знания, чтобы поднять вас на страницу 1.

7. Ваш веб-сайт удален из Google

Google может временно или навсегда удалить сайты из своего индекса и результатов поиска, если считает, что обязан сделать это по закону, если сайты не соответствуют рекомендациям Google по обеспечению качества, или по другим причинам, например, если сайты ограничивают возможности пользователей. чтобы найти соответствующую информацию.

Вот различные способы, которыми Google может удалить ваш сайт из результатов поиска:

• Деиндексировано — Когда ваш домен полностью удален из Google. Также известен как Banned.
• Penalized — Когда ваш домен или страница все еще существует, но ни одна из ваших страниц не может быть найдена с помощью очень прямых поисковых запросов. Это наказание может быть автоматически применено алгоритмом Google или вручную инженером по качеству Google.
• Изолированная среда — Ваш домен или страница не были деиндексированы или подвергнуты наказанию, но трафик, который вы получали от Google, внезапно резко падает.

Если ваш сайт заблокирован в нашем индексе из-за нарушения наших рекомендаций по обеспечению качества, Google может предупредить вас об этом с помощью Search Console.

Если вы получили уведомление о том, что ваш сайт нарушает наши рекомендации по обеспечению качества, вы можете изменить свой сайт, чтобы он соответствовал этим правилам, а затем отправьте свой сайт на повторную проверку.

Вы блокируете сканирование вашего сайта поисковыми системами

WordPress имеет встроенную функцию, которая позволяет вам указать поисковым системам не индексировать ваш сайт.Эта функция автоматически включается при запуске нового веб-сайта WordPress. Поэтому вы должны вручную отключить его. Все, что вам нужно сделать, это зайти в «Настройки » »Читать и установить флажок рядом с опцией« Видимость в поисковых системах ».

Как сделать так, чтобы ваш сайт отображался в Google

Вы хотите, чтобы ваш веб-сайт находился на первой странице (на которой обычно имеется 10 списков веб-сайтов). В зависимости от вашего бизнеса вам нужно будет использовать стратегии поисковой оптимизации и SEO, чтобы улучшить свой рейтинг.

1. Проведите тщательный SEO-аудит

Чтобы обеспечить больший успех в будущем, сейчас самое время провести SEO-аудит вашего сайта. Это даст вам четкое представление о том, где вы находитесь в отношении:

• Оптимизация на месте
• Оптимизация вне сайта
• Выбор ключевого слова

И это только начало. Узнайте, как провести аудит вручную здесь: https://www.seomechanic.com/how-to-perform-seo-audit/

2. Добавьте ключевые слова в контент своего веб-сайта

Ключевые слова могут состоять из одного слова или короткой фразы, состоящей из четырех или пяти слов.Это должны быть термины, которые имеют отношение к вашему сайту и которые люди могут использовать при поиске в Google.

Очевидно, они должны иметь отношение к тому, чему посвящен ваш сайт.

3. Используйте метатеги, чтобы добавить больше ключевых слов

Мета-теги — это скрытый код — посетители вашего веб-сайта их не видят, но «боты» поисковой системы Google, которые сканируют ваш сайт, их обнаружат.

Вы можете добавить эти мета-теги на свой сайт самостоятельно, если у вас есть программа для веб-дизайна или если вы знаете, как кодировать HTML.

4. Найдите ключевые слова, которые не являются слишком конкурентоспособными

Мы предлагаем вам использовать бесплатный Планировщик ключевых слов Google, чтобы в этом разобраться.

Этот инструмент исследования ключевых слов позволяет оценить популярность определенных поисковых запросов, а также уровень конкуренции, с которым вы сталкиваетесь, используя их.

За высококонкурентные ключевые слова могут бороться десятки тысяч веб-сайтов, так что вы вряд ли попадете на первую страницу Google, если выберете их.

5. Ищите обратные ссылки

веб-страниц, содержащих обратные ссылки на ваш сайт. Важным фактором для поисковых систем являются качественные органические обратные ссылки.Это то, что ищут поисковые системы.

Если у вас есть несколько веб-сайтов, которые ссылаются на ваш веб-сайт, Google повысит доверие к вашей странице и повысит рейтинг в поисковых системах.

6. Создайте объявление для своего сайта в Google Мой бизнес

Этот совет предназначен для обычных предприятий с физическим местонахождением.

Google Мой бизнес связывает ваш сайт со списком на карте, поэтому, когда люди будут искать вашу компанию или искать по ключевым словам, связанным с вашей компанией, они найдут список на карте Google и смогут перейти на ваш веб-сайт для получения дополнительной информации.

7. Размещайте контент, имеющий отношение к вашему бизнесу

Используйте статьи или другие материалы, относящиеся к предоставляемым вами продуктам и услугам. Не используйте наполнитель, который имеет лишь слабое родство.

Алгоритм Google ранжирует сайты с оригинальным релевантным содержанием выше, чем сайты с содержанием, повторяющимся в других местах.

8. Проанализируйте свое техническое SEO

Мой бесплатный отчет о поисковой оптимизации — отличный ресурс для определения производительности конкретной поисковой системы URL.Мы также предлагаем вам длинный контрольный список способов, которыми вы можете улучшить SEO своего сайта самостоятельно.

Бонусный совет: SEO обслуживание

После того, как вы оптимизировали свой веб-сайт, чтобы попасть на эту важную первую страницу Google, вы не можете останавливаться, всегда нужно управлять поисковой оптимизацией.

Как только вы подниметесь на первую страницу рейтинга, ваши конкуренты будут преследовать вас со своими собственными стратегиями SEO, стремясь сбить вас с вершины.

Или клиенты могут начать поиск по другим ключевым словам.

Итог: Ваш веб-сайт будет нуждаться в постоянном SEO-обзоре для поддержания рейтинга в поисковых системах.

Заключение

Для владельцев бизнеса с сайтами WordPress, Squarespace и Wix очень важно узнать о SEO и улучшить свое присутствие в Интернете. Фактически, 63% американцев получают доступ к мобильной сети каждый день , и это число постоянно растет.

О Чарли Роуз

Для меня нет ничего важнее, чем работоспособность и эффективность поиска на вашем веб-сайте.Хотите узнать больше? Давай поговорим.

Посмотреть все сообщения Charlie Rose

5 причин, по которым ваша страница не отображается в поиске Google (+ исправление)

После нескольких часов кодирования, написания, проектирования и оптимизации , наконец, вы готовы к созданию своей новой веб-страницы. Но послушайте, почему мой пост в блоге не отображается в Google?

Что я сделал не так?
Почему Google меня ненавидит?

Итак, мы все были там, и я научился давать как минимум в день или два , прежде чем пытаться искать мое новое сообщение в блоге в Google.

Поскольку я давно согласен с тем, что именно столько времени нужно Google, чтобы включать новорожденных, я имею в виду новую запись в блоге в поиске Google. Иногда для новых веб-сайтов требуется еще больше времени.

Хотя процесс получения новой страницы или веб-сайта в поиске Google — это долгий и утомительный процесс, но о нем стоит узнать.

Начнем с основ.

Что такое поиск? Как это работает?

Никто не может объяснить это лучше, чем сами Google .Итак, вот видео от Google с Мэттом Каттсом, объясняющее, как работает поиск.

Вы это смотрели? Если да, давайте подведем итоги.

Чтобы контент отображался в поиске Google, он должен пройти пауков . Нет, не настоящие пауки, а программа под названием паук.

Паук начнет со ссылки, которую затем будет сканировать по содержимому. Если они увидят другую ссылку, встроенную в контент, они тоже будут сканировать ее, и процесс повторится.

Просканированное содержание или веб-страницы затем сохраняются в индексе Google. Когда пользователь сделал запрос, ответы извлекаются из индекса.

Итак, чтобы ваш контент отображался в поиске Google, вы должны сначала убедиться, что ваш веб-сайт доступен для сканирования поисковому роботу Google под названием Googlebot.

Затем вы должны убедиться, что он правильно проиндексирован индексатором, который называется C ffeine . Только тогда вы увидите, что ваш контент или веб-сайт появляются в поиске Google.

Вот в чем дело, как вы проверяете в Google, проиндексировали ли они ваш контент? Ну, ты не можешь. Как и все в SEO, следующая лучшая стратегия, которую вы можете сделать, — это проанализировать и дать лучшее предположение.

Попробуйте ввести в строку поиска Google site: inserttyourdomainhere.com и введите, Google Search выдаст вам список всех проиндексированных веб-страниц из вашего домена. Или, что еще лучше, ищите свой URL прямо в Google.

Но, как сказал Мэтт Каттс, веб-страницы, которые не сканируются, МОГУТ также появляться в поиске Google.Что ж, это другая тема на другой день.

Все еще заинтересованы? Видео длится всего 4 минуты. Взгляните, чтобы понять больше.

В любом случае, вернемся к теме. Итак, когда вы начнете спрашивать:

Почему мой веб-сайт не отображается в поиске Google?

Что касается меня, я дам ему хотя бы пару дней, максимум неделю, пока я не начну волноваться, почему мой контент все еще не отображается в поиске Google.

Если прошло больше недели или даже месяца, а вашего сайта все еще нет.

Вот список, который вам нужно, чтобы начать проверку, чтобы увидеть, что мешает Google индексировать ваш контент или веб-сайт:

1. Вы проверили своих роботов?

Иногда малоизученная деталь может иметь большое значение.

Robots.txt — это первое место, которое робот Googlebot посещает на веб-сайте, чтобы узнать, какие веб-страницы являются nofollow, не индексируемыми и т. Д.

У вас есть это в разделе заголовков HTML?

Тег noindex для роботов удобен, чтобы гарантировать, что определенная страница не будет проиндексирована и, следовательно, не указана в поиске Google.

Обычно используется, когда страница все еще находится в стадии разработки, тег должен быть удален, когда веб-страница готова к запуску.

Однако, из-за того, что этот тег зависит от страницы, неудивительно, что этот тег может быть удален на одной странице, но не на другой. Если тег все еще применяется, ваша страница не будет проиндексирована и, следовательно, не будет отображаться в результатах поиска.

Аналогичным образом, HTTP-заголовок X-Robots-Tag может быть запрограммирован в HTTP-ответ. Затем его можно использовать в качестве альтернативы метатегу robots для всего сайта.

Опять же, с примененным тегом ваша страница не будет отображаться в поиске. Обязательно исправьте их.

Подробнее о метатегах читайте здесь: Как управлять поисковыми роботами с помощью файла robots.txt, мета-тегов роботов и SEOPressor

2. Указываете ли вы робот Googlebot на цепочку переадресации?

Робот Googlebot, как правило, терпеливый бот, он просматривает каждую ссылку, с которой сталкивается, и делает все возможное, чтобы прочитать HTML, а затем передать его кофеину для индексации.

Однако, если вы настроите долгое перенаправление или страница просто недоступна, робот Googlebot перестанет искать. Они буквально перестанут сканировать, тем самым подорвав любую возможность индексации вашей страницы.

Отсутствие индексации означает отсутствие в результатах поиска Google.

Я прекрасно понимаю, что 30x полезно и важно для реализации. Однако при неправильной реализации это может испортить не только ваш SEO, но и пользовательский опыт.

Другое дело, не смешивать 301 и 302. Он перемещается постоянно или перемещается временно? Запутанный робот Googlebot не является эффективным роботом Googlebot.

Услышьте это от самих Google.

Поэтому убедитесь, что все ваши страницы исправны и доступны. Исправьте все неэффективные цепочки переадресации, чтобы они были доступны как сканерам, так и пользователям.

3. Правильно ли вы реализовали каноническую ссылку?

Канонический тег используется в заголовке HTML, чтобы сообщить роботу Googlebot, какая страница является предпочтительной и канонической в ​​случае дублирования контента.

Например, у вас есть страница, переведенная на немецкий язык. В этом случае вы захотите вернуть страницу в каноническую версию на английском языке по умолчанию.

Каждая страница должна иметь канонический тег.

Либо связать его с собой в случае, если это уникальный контент. Или свяжите его с предпочтительной страницей, если она дублируется.

Возникает вопрос, правильна ли ссылка каноническая?

В случае канонической страницы и ее дубликатов в поиске Google будет отображаться только каноническая страница.Google использует канонический тег в качестве выходного фильтра для поиска.

Это означает, что каноническая версия будет иметь приоритет в рейтинге.

Если это не ваша цель, исправьте свой канонический файл и свяжите его с самим собой. Это поможет.

SEOPressor Connect позволяет пропустить этап ручного ввода канонического тега.

4. Возможно, вы превысили свой краулинговый бюджет

У Google есть тысячи машин для запуска пауков, но есть еще миллион веб-сайтов, ожидающих сканирования.

Следовательно, каждый паук заходит на ваш сайт с ограниченным бюджетом с ограничением количества ресурсов, которые они могут потратить на вас . Это обходной бюджет.

У меня ограниченный бюджет.

Вот что, как упоминалось ранее, если на ваших веб-сайтах много цепочек перенаправления, это будет излишне съедать ваш краулинговый бюджет. Обратите внимание, что наш краулинговый бюджет может составить , израсходованных , прежде чем поисковый робот даже достигнет вашей новой страницы.

Как узнать, сколько у вас краулингового бюджета? В вашем аккаунте Search Console будет раздел сканирования, где вы можете проверить свою статистику сканирования.

Допустим, на вашем веб-сайте 500 страниц, а робот Googlebot сканирует только 10 страниц на вашем сайте в день. Этот бюджет сканирования будет недостаточно эффективным для новых страниц, которые вы качаете.

В этом случае есть несколько способов оптимизировать краулинговый бюджет.

Во-первых, авторитетных сайтов, как правило, получают больший и более частый бюджет сканирования . Так что получите эти обратные ссылки. Более качественные и релевантные ссылки, указывающие на ваш сайт, означают, что ваш сайт ЯВЛЯЕТСЯ качественным и высоко релевантным для вашей ниши.

Все мы знаем, что укрепление власти не происходит за один день. Итак, еще одна вещь, которую вы можете сделать, — это убедиться, что ваш сайт может сканироваться эффективно .

Вам необходимо эффективно использовать файл robots.txt. У всех нас есть некоторые страницы на нашем веб-сайте, которые не обязательно должны отображаться в результатах поиска, например дублированный контент, находящиеся в стадии разработки страницы, динамические URL-адреса и т. Д.

Вы можете указать, к какому искателю применяется инструкция и какие строки URL не должны сканироваться .Например:

Таким образом, сканеры не будут тратить лишний бюджет на страницы, которые не нужно сканировать.

Список наиболее распространенных пользовательских агентов включает:

• Googlebot (Google)
• Bingbot (Бинг)
• Slurp (Yahoo)
• DuckDuckBot (DuckDuckGo)
• Baiduspider (Байду)
• ЯндексБот (Яндекс)
• facebot (Facebook)
• Ia_archiver (Алекса)

Одна важная вещь, о которой я уже упоминал выше, которая также применяется при оптимизации вашего краулингового бюджета, — это исправить эту цепочку перенаправления .Они не только неэффективны, но и съедают ваш краулинговый бюджет.

Если какие-либо страницы возвращаются с 40-кратными ошибками, исправьте и их.

5. Действительно ли ваша страница сирота?

Сиротская страница — это страница без внутренних ссылок . Возможно, ссылка ошибочна, из-за чего страница недоступна, или во время миграции веб-сайта ссылка была случайно удалена.

Помните, как работают пауки? Они начинают с одного URL-адреса, а оттуда переходят на другие связанные URL-адреса.

Невозможно сканировать бесхозную страницу, потому что она не может быть просканирована. На него нет ссылок с вашего веб-сайта, отсюда и термин «сирота». Вот почему , связывающий , так важен, потому что он действует как мост для поисковых роботов с одной страницы вашего содержания на другую.

Подробнее о связывании можно здесь: Почему внутренние ссылки имеют значение для ваших усилий по поисковой оптимизации?

Как определить потерянные страницы?

Если вы похожи на нас и , то вы используете WordPress CMS, вы можете экспортировать полный список URL-адресов всех страниц и контента на своем веб-сайте .Используйте это для сравнения с уникальными URL-адресами, обнаруженными при сканировании сайта.

Или вы можете найти в файле журнала вашего сервера список уникальных URL-адресов, загруженных, скажем, за последние 3 месяца . Опять же, сравните это со списком, полученным при сканировании сайта.

Чтобы облегчить себе жизнь, вы можете загрузить эти данные в файл Excel и сравнить их. URL-адреса, которые не дублируются, являются потерянными.

После того, как вы узнаете, что такое потерянные страницы, исправить их будет намного проще.

Теперь вам нужно правильно связать эти страницы-сироты. Сделайте так, чтобы их могли легко обнаружить как пользователи, так и поисковые роботы. Кроме того, не забудьте обновить карту сайта XML.

Все в порядке?

Если все работает нормально, коды ошибок не возвращаются, теги роботов в порядке, но ваша страница по-прежнему не отображается. Почему?

Что ж, проблема вполне может быть со стороны Google.
Может быть, вы просто не в приоритете для сканера.

Спайди, не спи сейчас на работе.

У Google столько ресурсов. И более крупным и авторитетным веб-сайтам будет выделяться больший и более частый бюджет сканирования. Итак, как вы можете это изменить?

Вот 5 шагов, которые вы можете предпринять, чтобы убедить Google быстрее индексировать ваши новые страницы

1. Обновите карту сайта в Google Search Console

Отправить карту сайта в Google — все равно что сказать им: «Эй, здесь! Просмотрите эти важные URL-адреса на моем веб-сайте и просканируйте их! »

Возможно, они не начнут сканировать эти URL-адреса сразу, но, по крайней мере, вы предупредили их.

Если у вас огромный сайт, который постоянно обновляется, отслеживание ваших роботов и использование нескольких карт сайта, вероятно, сведут вас с ума.

Делайте это умеренно, и имейте в виду, что вы не можете использовать no-index, nofollow для своих роботов, а затем добавлять их в карту сайта. Потому что вы хотите его проиндексировать или нет?

Чтобы избежать неприятностей, поддержание динамической карты сайта ASPX , вероятно, будет вашим лучшим выбором.

2. Отправьте свой URL напрямую в Google для индексации

Обновление: отправка URL-адреса в поисковую систему Google больше не работает, поскольку Google удалил свой общедоступный инструмент отправки URL-адресов.

Точно так же Google позволяет вам вручную отправить им новую страницу.

Это действительно просто. Просто найдите отправить URL в Google , и результат поиска вернет вам строку ввода. Теперь скопируйте и вставьте URL-адрес вашей новой страницы и нажмите кнопку отправки.

Вуаля, вы завершили отправку нового URL-адреса в Google для сканирования и индексации.

Однако, как и карта сайта, это только предупреждает Google о существовании вашей новой страницы.

Просто сделайте это в любом случае, когда ваша веб-страница находится там в течение месяца и все еще не индексируется. Делать что-то лучше, чем ничего, правильно?

3. Используйте инструмент «Получить и отправить» в Search Console

Вы можете запросить непосредственно в Google повторное сканирование и индексирование вашей страницы.

Это можно сделать, если войдет в вашу Search Console, а затем выполнит запрос на выборку через выборку от имени Google .

Убедившись, что загруженная страница отображается правильно: все картинки загружены, нет битых скриптов и т. Д.Вы можете запросить индексирование, а затем выбрать вариант сканирования только этого единственного URL-адреса или любых других URL-адресов, на которые есть прямые ссылки.

Опять же, Google предупредил, что запрос не будет выполнен сразу. Выполнение запроса может занять от нескольких дней до недели.

Но, эй, лучше проявить инициативу, чем сидеть и ждать, верно?

4. Получите высокий авторитет домена (DA)

Еще раз, авторитет домена влияет на то, как часто и каков будет ваш краулинговый бюджет.

Если вы хотите, чтобы ваши новые страницы и изменения веб-сайта индексировались быстро, у вас будет больше шансов, если рейтинг вашей страницы будет достаточно высоким.

Сайты с высоким авторитетом, такие как Reuters, индексируются быстрее

Это вопрос медленной и стабильной победы в гонке. Если вы можете получить миллион обратных ссылок на основе одного контента за один день, это прекрасно.

Но одного отличного контента недостаточно. Ваш веб-сайт необходимо часто и постоянно обновлять качественным контентом, одновременно получая качественные обратные ссылки для повышения авторитета вашей страницы.

Начните обновлять свой веб-сайт не реже двух раз в неделю, обратитесь к сообществу, чтобы повысить узнаваемость бренда и связи.

Продолжайте прилагать усилия, медленно и неуклонно ваш авторитет будет расти, и ваш веб-сайт будет сканироваться и индексироваться намного быстрее.

Вот несколько дополнительных советов по увеличению DA.

5. Быстрая скорость загрузки страницы

Дело вот в чем: , когда у вас есть веб-сайт, который загружается быстро, робот Googlebot может сканировать его быстрее .

В том неудачном случае, когда скорость загрузки вашего веб-сайта неудовлетворительна, а запросы часто истекают по таймауту, вы на самом деле просто тратите свой краулинговый бюджет.

Если проблема связана с вашим хостингом, вам, вероятно, следует перейти на более качественный. С другой стороны, если проблема связана с самой структурой вашего веб-сайта, вам может потребоваться очистить некоторые коды. Или еще лучше, убедитесь, что он хорошо оптимизирован.

Узнайте больше о скорости страницы и SEO здесь: Связь между скоростью сайта и SEO сегодня

* Не забывайте всегда отслеживать рейтинг своей страницы

Одна вещь, о которой люди всегда склонны забывать, — это то, что ваши веб-страницы не закончены, и они забывают об этом.

Вам нужно постоянно следить за ним, чтобы убедиться, что он не ломается, и, конечно же, вы также хотите убедиться, что он ранжируется и привлекает толпу, которая вам нужна для потенциальных клиентов или потенциальных клиентов.

Инструмент, который мы можем порекомендовать здесь, в SEOPressor, чтобы помочь вам в отслеживании рейтинга, — это модуль отслеживания рейтинга BiQ Cloud.

Это удобный инструмент, который будет ежедневно отслеживать ваши рейтинговые страницы, так что вы можете следить за своим ежедневным рейтингом.Я бы сказал, что это важная статистика, за которой нужно следить. Потому что если ваш рейтинг падает, значит
1) что-то сломалось,
2) ваши конкуренты становятся лучше.

Знание того, что происходит с вашим сайтом, является важным шагом в получении желаемых рейтингов и трафика.

Так что не забывайте следить за своим рейтингом.

TL; DR

Теперь у вас есть четкое представление о том, почему ваш веб-сайт и URL не отображаются в поиске Google? Вот краткий контрольный список.

• Проверьте теги роботов и теги X-Robots-Tag.
• Уменьшите цепочки переадресации.
• Проверьте правильность вашей канонической ссылки.
• Оптимизируйте свой веб-сайт, чтобы лучше распределять бюджет сканирования.
• Свяжите свои веб-страницы между собой, чтобы избежать ситуации с «сиротами».
• Обновите карту сайта в консоли поиска.
• Получите и отправьте URL своей страницы в консоль поиска.
• Создайте свой веб-сайт, чтобы повысить авторитет домена.
• Убедитесь, что ваш сайт загружается быстро.
• Наконец, не забудьте отслеживать свой рейтинг, чтобы увидеть, стоят ли ваши усилия того

Обновлено: 24 октября 2021 г.

Полиглот погрузился в темно-синий мир SEO и входящего маркетинга, вооруженный пылкой страстью к письмам и восхищением тем, как эти вещи крутятся во всемирной паутине.

Ваша домашняя страница не может быть проиндексирована (предупреждение Yoast)

В следующей статье мы объясняем, почему проверка Ryte на предмет наличия проиндексированной домашней страницы может быть некорректной, и как вы можете проверить, проиндексирован ли ваш сайт Google.В недавнем обновлении Yoast SEO (версия 7.3+) вы заметите на своей панели инструментов проверку индексации домашней страницы от Ryte.

Эта проверка позволит оценить, проиндексирована ли ваша домашняя страница поисковыми системами или нет. Если все в порядке, вы увидите зеленую точку рядом с проверкой возможности индексирования, выполненной Ryte, вы можете пропустить эту статью, если вам не интересно узнать больше о том, как убедиться, что Google и другие поисковые системы могут индексировать ваш сайт. .

Что делать, если он говорит, что мой сайт не проиндексирован?

У нас было несколько пользователей, которые столкнулись с ошибкой, связанной с тем, что их домашняя страница не проиндексирована, обозначена красной точкой или, возможно, вы видите серый символ, который указывает на то, что Райт не уверен в статусе индексации вашей страницы.Не паникуйте, если это вы, вполне возможно, что это ошибка Райта. В следующем разделе мы объясним, как вы можете проверить, индексируется ли ваш сайт поисковыми системами.

Как я могу проверить, проиндексирован ли мой сайт?

Есть несколько способов проверить, проиндексирован ли ваш сайт Google. В этом разделе мы покажем 3 способа, которыми вы можете проверить индексируемость сайта.

1. Использование поиска в Google

Google предлагает собственные решения для проверки индексации сайта.Один из самых простых способов проверить, проиндексирован ли сайт, — это использовать поиск Google. Для этого выполните следующие действия:

• Перейти на google.com
• Тип сайта: example.com
• Замените example.com ссылкой на свой веб-сайт (вы также можете сделать это на странице)
• Не включайте HTTP или www.
• Проверить результаты.

Если ваш сайт отображается здесь (вам нужно искать именно главную страницу), значит, он проиндексирован Google.

https: // support.google.com/webmasters/answer/35256?hl=en

2. Использование консоли поиска Google (Инструменты для веб-мастеров)

Если у вас настроена поисковая консоль Google, вы сможете проверить, какие страницы были проиндексированы Google. Есть 2 метода: один с классической версией, а другой — с новой.

Классическая консоль поиска

В старой версии консоли поиска вы можете просматривать страницы, получающие трафик, это должно быть надежным индикатором того, что страница проиндексирована.Чтобы узнать, получает ли ваша домашняя страница (или другие страницы) трафик, выполните следующие действия:

• Перейти в консоль поиска Google
• Перейдите к Search Traffic> Search Analytics
• Установите верхнюю панель на «показы», ​​то есть показы из результатов поиска (обратите внимание, что существует задержка в 3 дня для результатов, поэтому, если вы недавно установили Google Search Console, подождите не менее 3 дней, прежде чем проверять)
• Нажмите на страницы, чтобы просмотреть количество показов на странице:
• Найдите страницу «/», это будет ваша домашняя страница
• Если ваша страница получает показы, то она будет ранжироваться по определенным ключевым словам и должна быть проиндексирована Google

Новая консоль поиска

Вы хотите использовать новую версию Google Search Console для этой опции.

Чтобы просмотреть проиндексированные страницы в соответствии с Google Search Console, выполните следующие действия:

• Чтобы просмотреть новую версию Google Search Console, нажмите вверху слева, «Попробуйте новую консоль поиска».
• Перейдите в раздел «Состояние»> «Индексное покрытие»> нажмите «Действителен».
• Прокрутите вниз и щелкните любую из действительных ссылок
• Затем прокрутите вниз, чтобы увидеть примеры проиндексированных страниц. Обратите внимание, что здесь могут отображаться не все страницы, особенно последние проиндексированные страницы, так как Google Search Console требуется некоторое время, чтобы отобразить недавно проиндексированные результаты.

Дополнительные сведения см. В руководстве по отчету о статусе индекса Google.

3. Индексные чекеры

Вы можете воспользоваться различными инструментами проверки индекса, которые проверят, проиндексирован ли ваш сайт Google. Вы можете попробовать следующие ресурсы, просто вставьте URL-адреса своего веб-сайта и запустите тест.

Используя инструмент Greenlane Marketing, вы можете проверять страницы, проиндексированные с помощью Google API. Если вам нужна более полная проверка, воспользуйтесь этим инструментом:

http: // indexchecking.com /
https://smallseotools.com/google-index-checker/
https://www.greenlanemarketing.com/tools/google-indexation-tester/
https://www.coderduck.com/google-index -checker / вывод

Что делать, если ваш сайт не проиндексирован

Если попытаться использовать инструменты, указанные выше, ваш сайт не отображается в результатах поиска, возможно, он не был проиндексирован Google. Есть несколько вещей, которые вы должны проверить с помощью WordPress, чтобы убедиться, что вы не блокируете индексирование страниц.

1. Настройки WordPress

В WordPress у вас есть возможность блокировать поисковые роботы на вашем сайте через настройки. Скорее всего, вы не захотите включать этот параметр, если только вы не создаете частный сайт. Чтобы роботы могли сканировать ваш сайт, сделайте следующее:

• В к Настройки> Чтение
• Убедитесь, что в поле «Видимость для поисковых систем» установлен флажок НЕ .
• Обновить настройки

Теперь ваш сайт доступен для сканирования.Проверьте шаги 2 и 3, чтобы убедиться, что нет других причин, по которым ваш сайт может быть заблокирован.

2. Проверьте файл .htaccess

Проверьте файл .htaccess, чтобы убедиться, что он не блокирует ботов Google. С Yoast у вас есть возможность проверить файл .htaccess, не переходя на панель хостинга. Для этого перейдите в SEO (Yoast)> Инструменты> Редактор файлов (можно также использовать ссылку ниже и заменить example.com своим собственным веб-сайтом).

пример.com /wp-admin/admin.php?page=wpseo_tools&tool=file-editor

Если вы обнаружите что-либо, связанное с роботом Googlebot, скорее всего, это причина вашей проблемы.

Вообще говоря, большинство файлов .htaccess будут довольно простыми. Если вы не уверены в конфигурации, поговорите со специалистом или обратитесь на свой хостинг.

3. Проверьте файл Robots.txt

Неправильное использование файла Robots.txt также может вызвать проблемы с вашим сайтом.Выполнив те же действия, что и выше, вы также увидите раздел для файла robots.txt, возможно, у вас его еще нет. Если да, то проблема не в этом.

example.com /wp-admin/admin.php?page=wpseo_tools&tool=file-editor

Если он у вас есть, проверьте следующий код:

User-agent: *
Disallow: /
или

User-agent: Googlebot
Disallow: /

Если любой из вышеперечисленных кодов присутствует в вашем файле robots.txt, Google будет заблокирован для сканирования и индексации вашего сайта.Удалите их из файла robots.txt и обновите.

Примечание! Наличие «Disallow» является нормальным явлением в файле robots.txt, однако наличие косой черты / — это то, что препятствует сканированию домашней страницы.

Обычный файл robots.txt для большинства пользователей выглядит следующим образом:

Если вы хотите узнать больше о создании файла robots.txt, вы можете прочитать следующее полное руководство по ресурсу Robot.txt от Yoast.

Вы также можете проверить, работает ли ваш Robots.txt блокирует домашнюю страницу вашего сайта по следующей ссылке:

Инструмент для тестирования Txt роботов Google

Чтобы проверить, не заблокирована ли домашняя страница, оставьте поле в нижнем блоке и нажмите «Проверить».

Если все в порядке, вы увидите, что кнопка изменится на «РАЗРЕШЕНО» и станет зеленой. Это означает, что страницу можно сканировать и не блокирует файл robots.txt.

4. Настройки индекса Yoast SEO и мета

Yoast имеет встроенную настройку, позволяющую запретить ботам сканировать определенные страницы, сообщения, категории и т. Д. На вашем сайте.В большинстве случаев эта функция вам не понадобится, если только специально не скрывается контент, например информация о ценах, или контент для конкретного клиента с вашего сайта.

Чтобы убедиться, что ваша домашняя страница (или любая страница / сообщение) не заблокирована таким образом, выполните следующие действия:

1. Перейти на интересующую страницу
2. Прокрутите вниз до раздела Yoast SEO
3. Перейдите на вкладку Cog «Дополнительно»
4. Разрешить поисковым системам показывать эту страницу в результатах поиска «Да»
5. Следует ли поисковым системам переходить по ссылкам на этой странице «Да» (если у вас нет особых причин блокировать исходящие ссылки)
6. Расширенные мета-роботы можно оставить пустым (если у вас нет особых требований к мета-ботам)

Узнайте больше о расширенных мета-тегах роботов от Yoast здесь.

Теперь, когда вы очистили сайт, вы хотите запросить, чтобы Google проверил и проиндексировал ваш сайт. Для этого вам нужно отправить карту сайта в Google для сканирования. Это очень легко сделать с помощью Yoast.

Отправка файла Sitemap через консоль поиска Google

Если на этом этапе вы не используете Google Analytics и Google Search Console, прекратите то, что вы делаете, и зарегистрируйтесь. С помощью Google Analytics вы можете отслеживать трафик и то, как пользователи используют ваш сайт.С помощью Google Search Console вы можете видеть, что было проиндексировано Google, и любые ошибки индексации сайта.

Убедитесь, что вы отправили свой файл Sitemap в Google, чтобы увеличить посещаемость сайта. Это будет уведомлять пауков и ботов Google, чтобы они сканировали сайт и индексировали его.

Обратите внимание на разницу между индексированием и сканированием. Google может сканировать сайт, но не индексировать, и наоборот. Например, вы можете добавить на страницу метатег noindex, и он не будет отображаться в результатах поиска Google, но по-прежнему может сканироваться Google.Кроме того, страница может быть уже проиндексирована Google, но установлен тег, запрещающий сканирование.

Подробнее о метатегах можно узнать в статье

Moz о метаданных.

Чтобы отправить карту сайта, выполните следующие действия:

• Войти в Google Search Console
• Выбрать объект недвижимости
• На левой боковой панели нажмите Сканирование, а затем Карты сайта.
• Удалите устаревшие или недействительные карты сайта, например sitemap.xml
• Нажмите кнопку «Добавить / протестировать файл Sitemap» в правом верхнем углу.
• Введите sitemap_index.xml в появившееся текстовое поле.

Полную документацию можно найти в руководстве от Yoast. Убедитесь, что на ваш сайт отправлено не более одного файла Sitemap, так как это может сбить с толку ботов Google.

Отправьте карту сайта в Google.

Вот и все. После того, как вы отправите карту сайта в Google, они получат уведомление о необходимости сканирования вашего сайта.

Вы можете ожидать, что они проиндексируют ваш сайт в течение 2-3 недель (это может быть быстрее).

После этого вы можете начать отслеживать статус индекса ваших сайтов.

Для проверки результатов индексации выполните следующие действия:

• Войти в Google Search Console
• Перейти в «Индекс Google»
• Затем щелкните Состояние индекса

Здесь вы увидите количество страниц, проиндексированных Google.

Вот и все, ребята. Ваш сайт должен быть проиндексирован Google и работать нормально.

Если у вас по-прежнему возникают проблемы, свяжитесь с нами, чтобы узнать, можем ли мы помочь.

Flothemes

Расширяя возможности

10 (Ага!) Причин, по которым Google не может проиндексировать (страницы на) ваш сайт

Получение (и сохранение) страниц вашего веб-сайта, проиндексированных в Google, может быть проблемой для новых веб-сайтов и для веб-сайтов с техническими проблемами SEO или качества контента.Эта статья призвана помочь вам выявить потенциальные причины, по которым у вас могут возникнуть проблемы с тем, что Google не индексирует ваш сайт. Иногда проблемы можно быстро исправить, однако бывают случаи, когда вам нужно копнуть глубже, чтобы раскрыть истинную причину того, что Google не индексирует все ваши веб-страницы.

Как проверить индекс вашего сайта Google

Чтобы сначала определить, что ваша страница (или весь сайт) не проиндексирована в Google, выполните следующие действия:

1. Используйте «site: domain.com »запрос , например, в следующем примере: site: kernmedia.com. Это покажет вам большинство (но, вероятно, не все) URL-адресов, которые Google проиндексировал в своей поисковой системе для домена. Google может не отображать все страницы, проиндексированные на вашем сайте с помощью этого запроса, потому что запрос может быть выполнен в любом количестве центров обработки данных Google, все из которых имеют несколько разные индексы. Вы можете увидеть больше или меньше URL-адресов, проиндексированных для вашего сайта с помощью этого запроса в любой день. Совет: добавьте «www» перед своим доменом, если вы по умолчанию используете версию субдомена «www» вашего веб-сайта.Это покажет вам только URL-адреса, проиндексированные для этого поддомена.
2. Используйте запрос «site: domain inurl: », например: site: kernmedia.com inurl: google-not-indexing-site. Это покажет вам, проиндексирована ли конкретная страница Google.
3. Используйте запрос «site: domain filetype: », например: site: kernmedia.com filetype: xml. Это покажет вам, есть ли у Google страница с определенным типом файла, проиндексированная для вашего сайта.
4. Проверьте «Статус индекса» в Google Search Console . Этот удобный отчет позволит вам сразу увидеть, сколько страниц вашего веб-сайта проиндексировано поисковой системой Google. Он также может показать вам, сколько URL-адресов заблокировано или было удалено. Все три показателя отображаются в виде графика в течение года, что может быть полезно для отслеживания индексации вашего сайта в Google с течением времени.
5. Проверьте «Карты сайта» в Google Search Console . Это еще один полезный отчет, который покажет вам, сколько страниц в вашей XML-карте сайта было отправлено в Google и сколько проиндексировано.Подобно отчету о статусе индекса, этот инструмент покажет вам график индексации URL-адресов карты сайта за месяц (вместо года).

Дополнительные предложения по операторам поиска Google можно найти здесь.

Распространенные причины, по которым Google не индексирует ваш сайт

1. Коды ответа, отличные от 200 (OK)

Возможно, это само собой разумеется, но если ваши страницы не выдают код ответа сервера 200 (OK), то не ожидайте, что поисковые системы проиндексируют их (или сохранят их в индексе, если они когда-то были).Иногда URL-адреса случайно перенаправляются, что приводит к ошибкам 404–500 в зависимости от проблем с CMS, проблем с сервером или ошибок пользователя. Быстро проверьте, правильно ли загружается URL-адрес вашей страницы. Если он загружается и вы его видите, вероятно, у вас все в порядке. Но вы всегда можете запустить URL-адреса через HTTPStatus.io для проверки. Вот как это выглядит:

2. Заблокировано через Robots.txt

Файл /robots.txt вашего веб-сайта (например, http://www.domain.com/robots.txt) дает Google команды сканирования.Если определенная страница вашего сайта отсутствует в индексе Google, это одно из первых мест, которые нужно проверить. Google может отобразить сообщение «Описание этого результата недоступно из-за файла robots.txt этого сайта» под URL-адресом, если ранее он проиндексировал страницу на вашем сайте, которая теперь заблокирована через robots.txt. Вот как это выглядит:

Ознакомьтесь с моей статьей «Как написать файл Robots.txt» для получения дополнительной информации об оптимизации этого важного элемента ваших усилий по поисковой оптимизации.

3. Тег Meta Robots «Noindex»

Еще одна распространенная причина, по которой страница вашего сайта может не индексироваться в Google, заключается в том, что она может иметь своего рода метатег «noindex» в теге страницы. Когда Google видит этот метатег robots, это явная директива о том, что он не должен индексировать страницу. Google всегда будет уважать эту команду, и в зависимости от того, как она закодирована, она может иметь разные формы:

• noindex, следовать
• noindex, nofollow
• noindex, follow, noodp
• noinde, nofollow, noodp
• noindex

Вот скриншот того, как это выглядит в страницы:

Чтобы проверить, есть ли на вашей странице метатег «noindex» для роботов, просмотрите исходный код и найдите код в.Если ваш веб-сайт отображается с помощью javascript, вам может потребоваться использовать функцию «Проверить элемент» в Google Chrome для правильного просмотра. Больше информации здесь.

4. Тег X-Robots «Noindex»

Подобно метатегу роботов, тег X-robots предлагает возможность управления индексацией с помощью Google с помощью тега уровня страницы. Однако этот тег используется в ответе заголовка определенной страницы или документа. Он обычно используется на страницах, отличных от HTML, где нет, таких как файлы PDF, файлы DOC и другие файлы, которые веб-мастера хотят исключить из индекса Google.Маловероятно, что тег «noindex» X-robots был случайно применен, однако вы можете проверить это с помощью расширения SEO Site Tools для Chrome. Вот скриншот того, как это выглядит.

5. Внутренние дубликаты

Внутреннее дублирование контента — риск для любых усилий по поисковой оптимизации. Внутреннее дублированное содержание может или не может исключать ваши страницы из индекса Google, но большое количество внутреннего дублированного содержания на ваших страницах, скорее всего, будет препятствовать их высокому ранжированию. Если у вас есть определенная страница, которая имеет большое количество аналогичного содержания с другой страницей вашего веб-сайта, возможно, это может быть причиной того, что ваша страница либо не индексируется в Google, либо просто не имеет хорошего рейтинга.

Чтобы проверить наличие внутреннего дублированного контента, я рекомендую использовать инструмент Siteliner для сканирования вашего веб-сайта. Он будет сообщать обо всех страницах с внутренним дублированным контентом, выделяя дублированный контент для удобства использования, а также предлагает вам простое графическое представление того, сколько контента дублируется на вашем веб-сайте.

Google четко заявляет здесь, что веб-сайты должны минимизировать похожий контент. Вполне возможно, что страницы вашего сайта с очень похожим содержанием все еще могут в некоторой степени ранжироваться, однако страницы с точно таким же содержанием, скорее всего, будут отфильтрованы из немедленных результатов поиска Google.Они могут быть исключены из результатов поиска с пометкой следующего вида.

6. Внешние дубликаты

Внешний дублированный контент — это то, чего вы могли ожидать… контент, дублированный с другими веб-сайтами. Большое количество дублированного контента является верным признаком низкого качества для Google, и его следует избегать любой ценой. Независимо от того, является ли ваш веб-сайт маркетинговым сайтом для привлечения потенциальных клиентов, магазином электронной коммерции, платформой для онлайн-публикаций или блогом для любителей … применяются одни и те же правила.

Один из способов узнать, дублируется ли ваш контент с другими сайтами, — это поместить фрагмент контента в кавычки и выполнить поиск в Google, как этот пример, который показывает, что описание продукта Home Depot дублируется с рядом других сайтов. Примечание. Благодаря авторитету бренда Home Depot, содержанию отзывов и другим факторам, они, вероятно, по-прежнему будут занимать высокие позиции в результатах поиска Google с повторяющимся содержанием. Однако менее авторитетные сайты могут быть не проиндексированы полностью или не ранжироваться из-за повторяющегося контента, такого как описания продуктов, предоставленные производителем.

Чтобы проверить внешний дублированный контент, я рекомендую использовать Copyscape для сканирования вашей карты сайта или определенного набора URL-адресов. Этот инструмент предоставит очень полезный (и экспортируемый) отчет о дублировании вашего сайта с внешними сайтами. Вот скриншот того, как это выглядит (с размытыми URL-адресом и заголовком моего клиента в целях конфиденциальности).

7. Общее отсутствие ценности для индекса Google

Также возможно, что конкретная страница или ваш веб-сайт в целом могут иметь настолько отстой, что просто не обеспечивают достаточной ценности для индекса Google.Например, партнерские сайты, на которых нет ничего, кроме динамически генерируемой рекламы, мало что ценят для пользователя. Google усовершенствовал свой алгоритм, чтобы избежать ранжирования (а иногда и индексации) подобных сайтов. Если вас беспокоит качество своего сайта, внимательно изучите уникальную ценность, которую он предоставляет для индекса Google, которая еще не предоставляется другими веб-сайтами.

8. Ваш веб-сайт все еще новый и непроверенный

Новые веб-сайты не так быстро индексируются Google и другими поисковыми системами.Google использует ссылки и другие сигналы для индексации и ранжирования веб-сайта (визуально) в результатах поиска. Вот почему создание ссылок так важно для новых веб-сайтов.

9. Время загрузки страницы

Если на вашем сайте есть страницы, которые загружаются медленно и не фиксируются, Google, скорее всего, со временем упадет в рейтинге, и страница может даже выпасть из индекса поисковой системы. Обычно страница просто падает в рейтинге, но это почти так же плохо, как если бы она вообще не индексировалась.

Чтобы проверить время загрузки страницы, вы можете использовать инструмент Google Page Speed ​​Insights или инструмент GTMetrix. На снимке экрана показан пример отчета, предоставляемого инструментом Google.

10. Страницы-сироты

Google сканирует ваш веб-сайт (и карту сайта XML), чтобы найти ссылки на ваш контент, обновить его индекс и повлиять на рейтинг вашего сайта в результатах поиска (среди других факторов). Если Google не может найти ссылки на ваш контент ни на вашем, ни на внешнем сайте, значит, он не существует для Google.Он не будет проиндексирован. Страницы без внутренних ссылок называются «потерянными страницами», и они могут быть причиной снижения индексации в Google. Чтобы определить, доступны ли ваши страницы для обнаружения, рекомендуется просканировать ваш сайт с помощью такого инструмента, как Screaming Frog. а затем выполните поиск по конкретным рассматриваемым URL. Вот пример того, как это выглядит.

Более надежный способ проверки страниц-сирот — это экспортировать URL-адреса из сканирования Screaming Frog и подготовить электронную таблицу, которая синхронизирует URL-адреса с вашей XML-картой сайта (при условии, что она точна).Это позволит вам сразу идентифицировать все URL-адреса, которые включены в вашу XML-карту сайта, но не были обнаружены во время сканирования. Имейте в виду, что ваши настройки сканирования могут определять, какие URL будут сканироваться, поэтому рекомендуется надлежащий опыт работы с этим инструментом.

Если сомневаетесь, просите о помощи

Для некоторых людей этот материал слишком технический, и лучше всего проконсультироваться у специалиста по поисковой оптимизации… вроде меня 🙂 Если вы застряли, вам нужно определить, насколько ценно ваше время.Проведение допоздна, пытаясь решить проблему индексации и рейтинга Google, станет утомительным. Помните, что индексация не означает оптимального ранжирования. После того, как Google проиндексирует ваш сайт, качество вашего контента, профиль ссылок и другие сигналы сайта и бренда будут определять, насколько хорошо ваш сайт ранжируется. Но индексация — это первый шаг на пути к поисковой оптимизации.

Что делать, если ваш веб-сайт не индексируется Bing и Yahoo

Что делать, если ваш сайт не индексируется Bing и Yahoo

Когда речь идет о поисковых системах, о Bing и Yahoo часто забывают.Это еще не значит, что вы должны забывать о них, когда дело доходит до увеличения посещаемости вашего сайта.

Вы это уже знаете, и именно поэтому вы искали «Bing или Yahoo не индексирует мой веб-сайт».

Некоторые наши клиенты тоже это знают. Но по какой-то причине их сайты не индексировались Bing и Yahoo. Это очень расстроило нас и их, потому что их сайт очень хорошо ранжировался в Google. Если сайт занимает высокие позиции в Google, но его нет в Bing или Yahoo, скорее всего, ваш сайт не подвергается штрафам.Похоже, что у Google строгие штрафы и множество изменений алгоритмов, но не у Bing и Yahoo.

Если это касается вашего веб-сайта, читайте дальше, и я объясню, что вы можете сделать, чтобы его проиндексировали.

Вместе как один

Bing и Yahoo объединили свои усилия, когда дело дошло до поиска и рекламы PPC пару лет назад. Это означает, что вам нужно только перейти к инструментам Bing для веб-мастеров, создать учетную запись, подтвердить, что вы являетесь владельцем своего веб-сайта, и настроить карту сайта для индексации и ранжирования в обеих поисковых системах.

Обратите внимание, обе поисковые системы по-прежнему имеют разные критерии для веб-сайтов и рейтинга, поэтому вы не получите одинаковых результатов поиска в обеих системах. Тем не менее, все же хорошо, что требуется доступ только к одной учетной записи инструментов для веб-мастеров.

Итак, теперь, когда ваш веб-сайт подтвержден инструментами для веб-мастеров Bing, вы можете начать проверять, почему ваш веб-сайт не индексируется.

Bing и Yahoo не индексируют мой веб-сайт

Bing может потребоваться несколько дней или неделя для сбора данных после того, как вы зарегистрируетесь и отправите карту сайта.Когда вы это сделаете, вы можете перейти на свою панель управления и увидеть это:

. Если вы посмотрите на просканированные страницы и увидите, что ваш сайт сканируется, но увидите, что индексируются ноль страниц, значит, у вас проблема.

Ознакомьтесь со статьей службы поддержки Bing о том, что делать, если вас нет в указателе. Пройдите и убедитесь, что с вашим сайтом все в порядке. Теперь велики шансы, что если Google индексирует ваш сайт, у вас не будет проблем с Bing.

Итак, что делать дальше?

Отправьте им электронное письмо!

Я ломал голову над тем, что их сайт месяцами не индексируется. У нас была одна возможная причина проблемы: старый домен 301 был перенаправлен на новый домен, и мы думали, что Bing наказывает их за это.

Но мы не знали наверняка, поэтому я отправил им запрос, чтобы выяснить, что не так, через их форму поддержки.

В течение двух дней я получил следующий ответ:

« Привет, Джордан,

Спасибо, что обратили на это наше внимание.Я рассмотрел вашу проблему и обнаружил, что сайт в настоящее время заблокирован. Я передал ваш сайт в нашу группу продуктов для проверки. Я сообщу вам, когда я получу ответ от
команда

С уважением,

Роберт | ТЕХНИЧЕСКАЯ ПОДДЕРЖКА ИНЖЕНЕР

Поддержка Bing | Поддержка ваших потребностей 24 x 7 ».

Замечательно, я подумал! Насколько это было легко? Но я хотел получить дополнительную информацию от Роберта и выяснить, почему сайт был заблокирован в первую очередь.Поэтому я отправил ему повторное письмо.

Вот ответ Роберта на мое продолжение:

« Привет, Джордан,

Мы используем внутренние инструменты, чтобы определить, блокируется ли сайт. Хотя я могу видеть некоторые коды, но группа продуктов проводит фактическое расследование, почему сработала блокировка, и в большинстве случаев они не раскрывают детали блокировок. Вместо того, чтобы раскрывать детали, команда разработчиков хочет, чтобы соблюдались все рекомендации по SEO, вместо того, чтобы указывать на ошибку, при которой веб-мастера просто найдут обходной путь, чтобы избежать проблемы с подчеркиванием, а не устранить реальную проблему.

В других случаях, подобных вашему, может быть сработала блокировка, но группа проверки обнаружит, что это ложное срабатывание, а затем удалит блок.

Надеюсь на помощь!

Спасибо,

Роберт | ТЕХНИЧЕСКАЯ ПОДДЕРЖКА ИНЖЕНЕР

Поддержка Bing | Поддержка ваших потребностей 24 x 7 ».

Для меня этого было недостаточно. В глубине души я был раздражен, узнав, что сайт заблокирован, но не оштрафован, и что блок будет удален, несмотря на то, что мы вообще ничего не сделали с сайтом.Я понимаю, что они хотят убедиться, что все веб-сайты следуют их руководящим принципам SEO. На мой взгляд, с сайтом не было ошибки, потому что мы ничего не сделали с сайтом.

Как бы то ни было, постоянные разговоры с Робертом ни к чему не привели. Все, что меня волновало, это то, что сайт моих клиентов снова попал в рейтинг Bing & Yahoo. И теперь неплохо, что я могу объявить. Вы можете видеть, что 10 ноября они не были ранжированы в Bing и Yahoo, но по состоянию на 1 декабря они находятся на первой странице почти по всем поисковым запросам.

Несколько дней назад я столкнулся с той же проблемой с другим клиентом.Я просто отправил электронное письмо через их форму поддержки, объясняя, что сайт не индексируется. Сегодня утром я получил точно такое же электронное письмо, в котором говорится, что они сняли блокировку и сайт будет проиндексирован через 2-3 недели.