Почему не индексируется сайт — 11 причин и способы улучшения индексации
Индексация сайта поисковыми системами — один из самых животрепещущих вопросов в работе каждого SEO-специалиста. И это абсолютно не удивительно: ведь какой толк в постоянной технической оптимизации, если для поисковых роботов страница не существует как таковая?
Сталкивались ли Вы с проблемой индексации?
ДаНет
В рамках данной статьи мы приведём 11 основных причин, по которым ваш сайт может не индексироваться поисковыми роботами, а также покажем, как с помощью Netpeak Spider выяснить, какая из них тормозит продвижение вашего сайта.
Темы материала
1. Сайт закрыт от индексации в Robots.txt
Первая и основная причина, по которой многие сайты оказываются вне поля зрения роботов поисковых систем, — это неправильные инструкции файла robots.txt. Как ни странно, это происходит либо по незнанию самих инструкций или синтаксиса, либо по забывчивости: после сдачи сайта в эксплуатацию многие вебмастера и SEO-специалисты просто забывают «открыть» его и убрать лишний disallow.
В подобных случаях Netpeak Spider покажет по итогу сканирования ошибку «Заблокировано в robots.txt».
2. Неправильно выставлены директивы Meta Robots или X-Robots-Tag
Инструкции, задаваемые для поисковых роботов при помощи Meta Robots или X-Robots-Tag, относятся только к определённым URL и потому могут скрывать от поисковых систем лишь отдельные страницы. Случайно выставленные noindex или nofollow могут существенно испортить вам жизнь и при этом никак не выдавать себя вплоть до детального SEO-аудита сайта.
Если Netpeak Spider обнаружит инструкцию noindex в метаданных страницы или HTTP-заголовке, то страница будет отмечена ошибкой «Заблокировано в Meta Robots» или «Заблокировано в X-Robots-Tag». Для страниц, у которых в заголовках ответа сервера или блоке <head> будет найдена инструкция nofollow
, программа покажет ошибки «Nofollow в X-Robots-Tag» и «Nofollow в Meta Robots» соответственно.
3. Сайт получил бан от поисковых систем
Эта проблема наиболее актуальна для сайтов, купленных «с рук». Если в процессе покупки вы не проявите достаточной осторожности и на слово поверите продавцу, то шанс приобрести сайт с «тёмным прошлым» будет весьма велик. В этом случае объём усилий, потраченных на восстановление репутации в глазах поисковых систем, будет намного значительнее всех выгод, на которые вы рассчитывали изначально.
Если вы покупаете сайт с историей, настоятельно рекомендуется:
- запросить у владельца доступ к GA или Яндекс.Метрике, чтобы проанализировать динамику трафика из поисковых систем за большой период и выявить возможные аномалии,
- ознакомиться с архивными версиями сайта посредством Wayback Machine,
- проверить ссылочный профиль сайта (например, при помощи Serpstat или Ahrefs),
- проверить на сайте Sucuri SiteCheck, не состоит ли сайт в чёрных списках поисковых систем.
4. Поисковым роботам ограничен доступ к файлам .js
Если часть сценариев на вашем сайте осуществляется через JS, поисковые роботы должны иметь беспрепятственный доступ к .js файлам. В противном случае они не смогут прорендерить сайт и найти все ссылки, скрытые в JavaScript.
Вы можете проверить, нет ли на вашем сайте закрытых от индексации JavaScript-файлов, запустив в Netpeak Spider краулинг в со включённой опцией «Проверять JavaScript». Её можно включить в общих настройках программы.
Отдельно хотели бы отметить: согласно официальным заявлениям Google, данная поисковая система без проблем рендерит и индексирует страницы с JavaScript, однако, нельзя с уверенностью сказать то же об остальных поисковиках. Если вас интересует оптимизация под Яндекс, Bing, Yahoo и другие поисковые системы, мы настоятельно рекомендуем ознакомиться с их официальной документацией на тему краулинга JS, а также последними исследованиями на этот счёт.
5. Низкая скорость загрузки сайта
Многие особенности поведения поисковых систем продолжают относиться к категории разнородных домыслов SEO-специалистов, но есть кое в чём их мнения едины: поисковые системы крайне негативно настроены по отношению к медленно работающим сайтам. Настолько негативно, что низкая скорость загрузки может стать причиной, по которой нетерпеливые поисковики не включат ваш сайт в индекс.
Чтобы выяснить, какие из страниц вашего сайта имеют критически низкую скорость загрузки, просканируйте сайт с Netpeak Spider: в числе возможных ошибок вы можете найти «Большое время ответа сервера». К тому же, каждую страницу в отдельности можно будет проверить через сервис Google PageSpeed, не покидая окна программы. Для этого будет достаточно кликнуть правой кнопкой мыши по выбранному URL, выбрать «Открыть URL в сервисе» → «Google PageSpeed».
6. На странице выставлен атрибут rel=»canonical» на страницу с редиректом
Размещая на странице ссылку на канонический URL, вы указываете поисковым роботам предпочтительную для индексации страницу. Если же на этой странице стоит редирект на какой-то другой URL, то именно он попадёт в индекс вместо страницы, которую вы указывали в качестве канонической. Это произойдет потому, что её код ответа будет 3хх, а не 200, как требуется для индексации.
7. Нет внутренних ссылок на новые страницы
В том случае, если вы создали новые страницы, но на них не ведёт ни одна ссылка внутри сайта, то в рамках своего следующего обхода сайта краулер может попросту не найти их.
В Netpeak Spider страницы, на которые не было найдено ни одной входящей ссылки, отмечаются ошибкой «Page Rank: отсутствуют связи».
8. В настройках CMS выставлен запрет на индексацию
В общих настройках CMS WordPress есть опция запрета индексации. Доподлинно не известно, какие системы учитывают эту инструкцию, а какие нет, но вполне может оказаться, что одна неосторожная галочка лишит вас места в индексе.
Проверяйте аналогичные настройки и в других CMS.
9. Сайт доступен только авторизованным пользователям
Если в процессе тестирования и отладки сайта вы закрыли его от всех неавторизованных посетителей, не забывайте о том, что теперь он закрыт и для поисковых систем.
Кстати, запрос авторизации не помешает вам проводить SEO-аудит на этапе разработки сайта или его финальной подготовки к запуску: достаточно указать данные для доступа на вкладке «Аутентификация» в настройках Netpeak Spider, чтобы беспрепятственно сканировать сайт.
10. Сайт закрыт от поисковых роботов в файле .htaccess
В большинстве случаев файл .htaccess используется для настройки переадресации, однако, при помощи функции RewriteEngine вы можете ограничить доступ к сайту для тех или иных поисковых роботов. В случае с блокировкой бота Google, она может иметь следующий вид:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteRule . — [F,L]
Если вдруг вы случайно (или специально) использовали её для своего сайта, советуем вам удалить строки с функцией или заменить файл .htaccess на его более раннюю версию.
11. Неправильный код ответа сервера
В индекс в итоге попадают страницы исключительно с 200 кодом ответа сервера. Если с виду страница выглядит абсолютно нормально, но по каким-то причинам выдаёт код ответа, отличный от 200 (например, 404 или 503), страница не проиндексируется поисковыми роботами. В случае обнаружения подобной ошибки обратитесь за помощью к веб-разработчику.
Коротко о главном
Несмотря на то, что некоторые механизмы работы поисковых систем окутаны завесой тайны, можно с уверенностью назвать несколько основных причин, по которым ваш сайт или некоторая часть его страниц может не индексироваться поисковыми системами:
- Сайт закрыт от индексации в Robots.txt.
- Неправильно выставлены директивы Meta Robots или X-Robots-Tag.
- Сайт получил бан от поисковых систем.
- Поисковым роботам ограничен доступ к файлам .js.
- На странице выставлен атрибут rel=»canonical» на страницу с редиректом.
- Нет внутренних ссылок на новые страницы.
- В настройках CMS выставлен запрет на индексацию.
- Сайт доступен только авторизованным пользователям.
- Сайт закрыт от поисковых роботов в файле .htaccess.
- Неправильный код ответа сервера.
P.S. Для всех читателей блога действует 10% скидка на покупку лицензий Netpeak Spider, которую можно получить на сайте netpeaksoftware.com/ru/buy при использовании промокода 835f52b3.
Почему сайт не индексируется
Если сайт не индексируется или индексируется плохо, то ни о какой посещаемости не стоит и мечтать. Большинство трафика приходит именно из поисковых систем, а для того, чтобы это случилось, нужно правильно проиндексировать сайт.
В этой статье вы узнаете, почему сайт не индексируется, и какие тому могут быть причины. Понимать это крайне важно, так как от индексации зависит успешность всего проекта.
Технические причины
Первым делом, если сайт не индексируется, следует обратить внимание на технические причины. Если сайт слишком долго загружается, что может происходить от качества хостинга или плохой технической оптимизации сайта, то индексация может протекать плохо.
Кроме этого, так может получиться, если сайт часто бывает недоступен. Поисковики в такие моменты не смогут проиндексировать его.
SEO причины
Самыми частыми причинами, от которых сайт не индексируется, является неправильная SEO оптимизация. Вот какие основные ошибки совершают новички в этом деле:
- Отсутствие или неправильная настройка файла robots.txt. О файле robots.txt узнайте здесь.
- Наличие большого количества битых ссылок, которые ведут на страницу 404.
- Наличие на страницах контента, который не индексируется, например, видео или флеш-элементы.
- Слишком маленькие тексты на страницах.
- Фильтр от поисковой системы.
И на фильтрах мы сейчас заострим внимание, так как это очень тонкая и важная тема.
Если сайт не индексируется из-за фильтров
Если сайт не индексируется из-за фильтров, то проблему придётся решать долго и мучительно. Вот основные признаки того, что на сайт наложен фильтр:
- Раньше сайт индексировался хорошо, а теперь стал плохо. Если вы видите такую тенденцию, то вероятно, на сайт наложен фильтр.
- Сайт не индексируется только в одном поисковике, а в остальных индексируется. В запущенных случаях он будет плохо индексироваться во всех поисковиках.
- Напишите в службу поддержки поисковика, чтобы убедиться, есть или нет санкций против вашего сайта.
Если выяснилось, что причиной плохой индексации стали фильтры поисковиков, то примите меры по их устранению. Для этого сначала нужно определить, почему были наложены фильтры. Вот ряд частых причин:
- Сайт долго был недоступен.
- На сайте присутствует некачественный контент.
- Сайт использует агрессивную чёрную или серую SEO оптимизацию.
После выяснения причины, устраните её, и ждите, когда фильтр снимется.
Почему не индексируются сайт: основные причины
Здравствуйте уважаемые читатели! В этой стать я подробно расскажу об основных причинах не индексации сайта в поисковых системах Яндекса и Гугл. Если у вас сайт совершено новый и ему нет и месяца, первое что нужно сделать это добавить ваш сайт в вебмастер панель яндекса и google.Если же вы уже это сделали, то прочитайте вот эту статью о том, как загнать страницы в индекс яндекса.
Основные причины не индексации сайта
1. Ваш сайт еще не нашли поисковый системы
Это случается только в том случае, если вы только недавно запустили сайт в интернете, и вообще не производили ни каких действий, чтобы его заметил Яндекс и Google.
Что нужно сделать:
- Добавляем сайт в Яндекс.webmasters и Google вебмастер
- Сообщите о появлении сайта с помощью социальных сигналов
После этих действий ваш сайт в скором времени проиндексируется поисковыми системами.
2. Страницы сайта закрыты в robots.txt
Данная причина часта встречается у новых сайтов или у начинающего вебмастера. Обычно фрилансеры после того как протестируют сайт, отдают владельцу сайт уже закрытым от индексации. Это очень легко поправляется правкой файла robots.txt.
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: */feed$
Disallow: */trackback$
Disallow: */comments$
Disallow: /tag/
Disallow: /category/*/*
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /?_openstat*
Disallow: /xmlrpc.php
Disallow: /search
Disallow: /goto/
Disallow: */page/*
Disallow: /service/
Disallow: /*?replytocom
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: */feed$
Disallow: */trackback$
Disallow: */comments$
Disallow: /tag/
Disallow: /category/*/*
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /?_openstat*
Disallow: /xmlrpc.php
Disallow: /search
Disallow: /goto/
Disallow: */page/*
Disallow: /service/
Disallow: /*?replytocom
Host: ваш_сайт.ru
Sitemap: http://ваш_сайт.ru/sitemap.xml3. На сайте включены приватные настройки
Если ваш сайт под управление WordPress, то возможно у вас по умолчанию включены приватные настройки. Это и будет причиной того что ваш сайт досих пор не проиндексировался.
Делаем следующие действия: заходим в админ панель, «Настройки» — «Чтение» — «Видимость для поисковых систем», просто убираем галочку.
4. Сайт закрыт от индексации мета тегом noindex.
Возможно Вы случайно закрыли страницы сайта от индексации с помощью мета тегов.
Все что нужно сделать:
- Проверьте код вашего сайта на наличие тега noindex
- Если такие имеются, то удалите это строчку кода.
5. Ошибки при сканировании сайта
Из-за плохого хостинга, часто возникаю ошибки при сканировании вашего сайта поисковым ботом, попросту бот не доходит до нужных страниц сайта.
Проверяем на ошибки:
- Зайдите в ваш Google Webmaster Tools
- Сканирование
- Ошибки сканирования
Если у вас имеются ошибки сайта, их просто нужно исправить.
6. Spam или не уникальный контент сайта.
Если вы используете ваш сайт как спам проект, такие как дорвей, или же воруете контент с других сайтов, то скорее из-за этого ваш сайт и не индексируется.
Всегда нужно удостоверится в уникальности контента на сайте.
7. Сайт блокируется в .htaccess
В этом файле прописываются редиректы сайта, такие как 301 редирект. Так же в этом файле можно по ошибки и закрыть сайт от индексации.
- Корневой директории сайта находим файл .htacсess
- Смотрим что бы в файле не было следующего кода
8. Ваш хостинг работает не стабильно
Бывает и такая ситуация, в момент обхода ботом сайта, сайт был попросту недоступен. Нужно позаботится о стабильном хостинге, и чтобы у вашего сервера был хороший up time.
Сервисов для проверки uptime очень много, просто пропишите в поиске «checker uptime». Также если у вас на сайте установлена Яндекс.Метрика, то она оповещает о том кода ваш сайт был недоступен.
9. На сайте много дублей
Если у вас на сайте очень много дублированного контента, то можно и вообще получить санкции от Гугла и это так же может быть причиной не индексации сайта.
На этой проблеме если она у вас есть, стоит заострить свое внимание. Так как это причина под номером один, за что можно схлопотать санкции от ПС.
10. Медленная скорость загрузки сайта
На этот момент также стоит обратить свое внимание, так как на данный момент, скорость сайта влияет на ранжирование сайта в поисковых системах, вполне возможно, что ваш сайт из-за низкой скорости будет плохо индексироваться.
Проверить скорость сайта: https://developers.google.com/speed/pagespeed/insights/
Сделайте все рекомендации и ваш сайт начнет гораздо лучше и быстрее индексироваться.
11. На вашем сайте отсутствует sitemap.xml
Эта причина редка бывает проблемой не индексации сайта. Но все же бывает. Сделайте карту сайта и добавьте ее в Яндекс и Гугл вебмастер.
Если ваш сайт на wordpress то установите плагин Google XML Sitemaps и настройте его.
12. Ваш сайт попал под фильтр поисковых систем
Такое очень часто бывает, по разным причинам вы можете попасть под фильтр:
- Злоупотребление продажными ссылками с сайта
- Не уникальный контент
- Накрутка различных показателей (поведенческих факторов) и др.
В этом случае вам следует отправить сайт на пересмотр (если в Яндексе, то напишите Платону).
Скажу на личном примере если ваш сайт не индексируется в течении 1-2 месяцев нормально. То лучше купите новый домен, предварительно проверти его не был ли он раньше под фильтрами. И развиваете с вой проект уже на новом домене.
Заключение
Индексация сайта поисковыми системами является важнейшем моментом в продвижении сайта. Для начала найдете причину, из-за которой ваш сайт не индексируется, устраните ее, и в дальнейшем не допускайте этих ошибок.
P.S. если вы перебрали все выше перечисленные причины и ваш сайт не лезет в выдачу, то вам обязательно стоит написать в службу поддержки ПС и узнать у них причину.
С уважением, Дмитрий Арсеньев!
5 причин — почему не индексируется сайт
Не индексируется сайт? Узнай причину!
Бывают ситуации, когда полным ходом ведешь работу над своим веб-ресурсом – заполняешь неплохим контентом, развиваешь его всячески, а количество страниц в индексе все никак не увеличивается. Или даже хуже того – полностью не индексируется сайт, ни одной странички не отображается в поиске.
Что же можно предпринять в таком случае? Проверить индексацию сайта еще раз?
Повторные проверки ничего не дадут. Тут другой подход требуется.
Первым делом нужно узнать причину, по которой страницы сайта не индексируются.
Почему сайт не индексируется поисковиками
Итак, встречайте 5 основных причин отсутствия страниц Вашего веб-ресурса в индексе поисковых систем:
- Необходимость правильно настроить robots.txt, в котором может быть запрещена индексация:
– роботу конкретного поисковика или всем сразу;
– отдельных страниц или полностью всего сайта.
- Фильтры поисковых систем – еще одна часто встречающаяся причина, из-за которой страницы сайта не индексируются. Какую политику продвижения своего веб-ресурса Вы выбрали?
Заспамленность ключами, некачественные ссылки, бесполезный контент – все это может быть причиной применения санкций со стороны поисковиков в виде блокирования индексации отдельных страниц или сайта в целом.
- Молодой веб-ресурс. Не удивляйтесь почему сайт не индексируется, если он недавно создан и ему всего пару месяцев отроду. Возможно, поисковые системы о нем просто еще не знают. В этом случае нужно добавить сайт в индексацию поисковиков с помощью предоставленных ими сервисов.
- Домен, который уже был в использовании до Вас, также может быть причиной, по которой не индексируется сайт. Если Вы разместили свой веб-ресурс на б/у адресе, есть вероятность, что предыдущий владелец успел «наследить» и теперь Вам приходится пожинать плоды его деятельности в виде санкций поисковиков, влияющих на индексацию. Покупка старых доменов – вещь довольно рискованная.
- Низкая скорость сайта. Иногда страницы сайта не индексируются по причине слишком медленной загрузки страниц веб-ресурса вследствие плохой оптимизации кода или проблем со стабильностью работы хостинга. В итоге роботы поисковиков могут попросту не получать ответов на свои запросы и «проходить мимо».
Если не получается решить проблему самостоятельно
После того как будут обнаружены вышеуказанные проблемы, нужно максимально их устранить, немного подождать и снова проверить индексацию сайта. В большинстве случаев это должно помочь.
Но если подобные проверки и устранение возможных причин не дадут положительных результатов, следует обратиться в тех. поддержку поисковых систем и задать им вопрос о том, почему сайт не индексируется. Поначалу они, конечно же, напишут Вам о тех 5 причинах, которые мы уже рассмотрели.
Но в итоге у Вас может оказаться частный случай, с решением которого самостоятельно (без тех. поддержки) разобраться будет невозможно.
В любом случае нужно добиться того, чтобы в следующий раз, когда Вы захотите проверить индексацию сайта, результаты показали желаемое количество продвигаемых страничек в индексе.
Ну как, наши советы помогли решить Вашу проблему? Расскажите об этом в комментариях!
Почему не индексируется сайт Яндексом? — Хабр Q&A
Добрый день! Вторую неделю сайт не индексируется Яндексом, пишет: Сайт начал индексироваться. Страницы должны появиться в поиске через 1-2 обновления поисковой базы. В поиске могут присутствовать страницы, проиндексированные быстрым роботом.Контент 100%
В чем дело может быть? Может в htacsess косяк?
Options All -ExecCGI -Indexes -Includes +FollowSymLinks
#Options -MultiViews# REWRITE ___________________
RewriteEngine on
RewriteBase /
RewriteCond %{HTTP_HOST} ^site
RewriteRule (.*) www.site.ru//$1 [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ www.site.ru [R=301,L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ index.html [L,QSA]# GZIP ______________________
mod_gzip_on Yes
mod_gzip_dechunk Yes
mod_gzip_item_include file \.(html?|txt|css|js|php|pl)$
mod_gzip_item_include mime ^text\.*
mod_gzip_item_include mime ^application/x-javascript.*
mod_gzip_item_include mime ^application/x-font-woff.*
mod_gzip_item_exclude mime ^image\.*
mod_gzip_item_exclude rspheader ^Content-Encoding:.*gzip.*AddOutputFilterByType DEFLATE text/html text/plain text/xml application/xml application/xhtml+xml text/css text/javascript application/javascript application/x-javascript application/x-font-woff image/jpg image/jpeg
# OTHER SETTINGS ____________
SetEnv TZ Europe/Moscow
ServerSignature Off
# AddDefaultCharset UTF-8
# AddCharset utf-8 .atom .css .js .json .rss .vtt .xml# CACHE AND Headers _________
Header set Cache-Control «max-age=43200»
Header set Cache-Control «max-age=604800»
Header set Cache-Control «max-age=2592000»
Header unset Cache-Control
Header set Access-Control-Allow-Origin «*»
Header unset X-UA-Compatible
ExpiresActive On
ExpiresDefault «access plus 5 seconds»
ExpiresByType image/x-icon «access plus 2592000 seconds»
ExpiresByType image/jpeg «access plus 2592000 seconds»
ExpiresByType image/png «access plus 2592000 seconds»
ExpiresByType image/gif «access plus 2592000 seconds»
ExpiresByType text/css «access plus 604800 seconds»
ExpiresByType text/javascript «access plus 604800 seconds»
ExpiresByType application/javascript «access plus 604800 seconds»
ExpiresByType application/x-javascript «access plus 604800 seconds»
ExpiresByType text/html «access plus 43200 seconds»
ExpiresByType application/xhtml+xml «access plus 600 seconds»
ExpiresByType text/xml «access plus 600 seconds»
ExpiresByType application/xml «access plus 600 seconds»
ExpiresByType application/json «access plus 600 seconds»
ExpiresByType application/rss+xml «access plus 1 hour»
ExpiresByType application/atom+xml «access plus 1 hour»
ExpiresByType text/x-component «access plus 1 week»
ExpiresByType application/x-font-ttf «access plus 1 month»
ExpiresByType font/opentype «access plus 1 month»
ExpiresByType application/x-font-woff «access plus 1 month»
ExpiresByType image/svg+xml «access plus 1 month»
ExpiresByType application/vnd.ms-fontobject «access plus 1 month»
Почему сайт пропал из индекса поисковиков Google, Яндекс и не индексируется
Сайт пропал и исчез из индекса? Не знаете, как вернуть позиции сайта и почему он не индексируется поисковыми системами? Эта статья о том, как ускорить индексацию сайта в Google и Яндексе. Выясните ключевые причины и устраните их
Сайт пропал из индекса поисковых систем Google и Яндекс и Вы не знаете по какой причине он исчез в интернете, но нужно срочно вернуть позиции? Не имеете представление о том, почему сайт не индексируется поисковыми системами? Мы подготовили наиболее полное руководство по данной теме в интернете. В данной статье Вы узнаете, как ускорить индексацию сайта в интернете, выявить ключевые причины и устранить ошибки. Мы выясним основные факторы, влияющие на то, что Ваш сайт не видят поисковики. Если его нет в Гугле и Яндексе, срочно принимайте меры!
Индексация сайта поисковыми системами — важнейший этап в преддверии будущего продвижения ресурса в интернете. При раскрутке сайта или первоначальном добавлении в поисковые системы, у многих вебмастеров могут возникнуть проблемы с индексацией сайта. Причин может быть много. От не правильной оптимизации с переизбытком ключевых слов и присутствием технических ошибок до банального попадания сайта под фильтры поисковиков. В любом случае, если сайт попросту не индексируется ПС, либо вовсе выпал из индекса — это может быть ярким сигналом того, что существуют реальные ошибки и угрозы, сопутствующие возникновению данной проблемы. В данной статье мы выясним ключевые причины, почему сайт не индексируется и постараемся ответить на вопрос — как ускорить индексацию сайта поисковыми системами Google и Яндекс.
Причины по которым сайт не индексируется поисковыми системами
Для молодых доменов. Владельцу сайта нет смысла беспокоится, если его домен был только недавно зарегистрирован, а сайт создан. Как правило, для поисковой системы Яндекс может потребоваться до 1-2 месяцев, чтобы он проиндексировал Ваш сайт, заметил его и внес в свою базу. Для молодых сайтов тревожных сигналов практически не существует. Это «чистые» сайты с белой и прозрачной ссылочной историей. Поэтому, основная причина по которой сайт не индексируется в Яндексе — это временные рамки. Постарайтесь добавить свой сайт для индексации в данный поисковик. В случае, даже если он не будет замечен через месяц, следующий этап — начать активное продвижение. Размещайте ссылки на других качественных порталах. В результата, ПС их проиндексирует и заметит Ваш ресурс и в скором времени добавит его в свою базу. Как правило, для проведения данных операций может потребоваться от 1 до 2 месяцев. Наиболее распространенной ошибкой, которая сейчас занимает первое место в списке причин, по которым сайт не индексируется, является его закрытие от индексации в файле robots.txt или в CMS-панели. Такой атрибут, как «noindex, nofollow» дает подсказку поисковой системе не индексировать сайт. Но в любом случае, Вы можете ввести адрес своего домена или одной из страниц в поисковой системе и Вам покажет ресурс с определенными ограничениями, которые отображаются в поле description.
Для старых доменов. В случае, если сайт уже достаточно успешно показывал себя в естественной выдаче, и вдруг в один день попросту исчез из базы, это свидетельствует о всевозможных ошибках, как внутренних, так и во внешней информационной политике.
Ошибки при оптимизации и продвижении сайта + технические ошибки, влияющие на эффективность индексации или как вернуть позиции своего сайта
Попадание под фильтры и ошибки продвижения — может быть главной причиной, почему сайт исчез из индекса поисковых систем
1. Дубли. Наиболее распространенной ошибкой, которая «валит» сайты с поисковой выдачи является присутствие дублей страниц контента ресурса. Поисковик считывает дубли и просто не показывает их в органической выдаче. Владельцу сайта необходимо позаботиться о таких технических характеристиках сайта, как настройка редиректа и выбор основного зеркала домена с www или без www. Переадресация должна осуществляться 301-видом. Такой способ позволяет не только устранить дубли, но и автоматически перенаправить весь рейтинг с одной страницы на другую. Очень часто в интернете вебмастера в силу отсутствия знаний в области поискового продвижения сайтов распространяют ссылки на других ресурсах как с www, например «www.site.ru», так и без www «site.ru». В результате, поисковыми системами учитывается ссылочная масса, которая ведет на совершенно 2 разных портала. Таким образом, ключевым решением будет настройка редиректа независимо от того, какое зеркало раскручивается.
2. Технические ошибки. Еще одним техническим аспектом является ссылка вида «site.ru/index.php» — это главная страница сайт в корневой папке. Еще один дубль. Нам очень часто приходилось наблюдать, когда вебмастера или владельцы сайтов добавляли такого рода ссылку на форумы, или еще хуже — закупали на нее временные ссылки. Это верный признак того, что сайт может попасть под фильтр и исчезнуть из индекса. Данная проблема исправляется в файле htaccess, который позволяет осуществить 301 редирект, так и сделать переадрессацию возможных дублей на основное зеркало. Также, должна корректно работать 404 страница. Позаботьтесь о том, чтобы она была настроена.
3. Закупка ссылок с большим количеством точных вхождений. Одной из наиболее распространенных ошибок и причин для исчезновения из индекса ПС после внутренних факторов является внешнее продвижение. Как правило, это попадание под фильтр за чрезмерное продвижение сайта. Причина для пессимизации сайта следующая — срабатывает математический щелчок поискового робота, который фиксирует внешнюю ссылочную массу по определенному проекту. Когда методы продвижения не соответствуют инструкции поисковиков, сайт просто исключается из базы, либо его рейтинг значительно проседает. Это может быть по причине подбора некачественных и не тематических доноров, а также из-за закупки ссылок с чрезмерным количеством ссылок, продвигающих точное вхождение сайта. Если процент таких ссылок превышает даже 40%, это может свидетельствовать о явной причине переизбытка ссылок. Как с этим бороться? Максимально разбавить ссылочный профиль сайта и свести коэффициент точных вхождений к минимуму.
4. Воздействие конкурентов. Если тема конкурентная и Ваш сайт мешает кому-либо получать прибыль существует огромная вероятность, что Ваш проект просто «заказали». Методов, которые могут применяться с целью опустить сайт в поисковой выдаче существует не менее 10 и все они действенные. Вот почему так важно устранить возможные ошибки сайта и изъяны, на которых могут сыграть конкуренты. В любом случае, чтобы установить источник, необходимо прибегнуть к услугам SEO-специалистов.
5. Прогон сайта по каталогам и использование автоматических программ. Очень часто в желании максимально быстро раскрутить свой сайт и вывести его на первые строчки, оптимизаторы да и владельцы сайтов прибегают к услугам фирм и программ, которые быстро и массово прогоняют ресурс по каталогам или доскам объявлений. В результате, поисковые системы фиксируя резкий и неестественный скачок ссылочной массы, которые не может быть произведен а таком коротком промежутке времени естественным ручным способом идентифицируют сайт по таким признакам как — использование запрещенных методов продвижения сайта. Итогом таких санкций к сайту может быть его исчезновение с органической выдачи, или даже попадание под бан и фильтры.
Выводы
Как видите, причин по которым сайт может пропасть из индекса существует множество. Постарайтесь заранее не допускать ошибок. Бережно отнеситесь к созданию проекта и его внешнему продвижению. Помните, если Вы аккуратно и наиболее «естественно» будете раскручивать свой проект, все проблемы можно избежать автоматически.
Читать весь блог →