Почему индексация яндекса уменьшаются?
тот же вопрос мучал и меня пока не получил ответ: ЧИТАЙТЕ СНИЗУ ВВЕРХЗдравствуйте!
Данная ситуация связана с тем, что ранее на запрос данных
страниц сайта Ваш сервер возвращал роботу HTTP код 404, в связи с этим они не
были проиндексированы и временно не участвуют в поиске. По вопросу
возникновения данной ошибки, пожалуйста, обратитесь к администратору Вашего
сервера или сайта.
Сейчас страницы доступны, поэтому после повторного
посещения роботом будут проиндексированы и с последующими обновлениями
поисковых баз смогут появиться в поиске. О том, как помочь нашему роботу
быстрее индексировать сайт, Вы можете прочитать на странице нашей Помощи: http://help.yandex.ru/webmaster/robot-workings/helping-robot.xml
.
Вы также можете ускорить процесс индексирования наиболее
необходимых Вам страниц роботом, добавляя их непосредственно через форму
«Сообщить о новом сайте»: http://webmaster.yandex.ru/addurl.xml
.
В этом случае они будут проиндексированы и должны
появиться в результатах поиска в течение 2 недель.
—
Просим Вас высказать свое мнение о полученном ответе: http://feedback2.yandex.ru/appraisal.xml?session=decd1ce4b90a78b721896271971bc56f55d51d06-28026113-58195256
С уважением, Платон Щукин
Служба поддержки Яндекса
http://help.yandex.ru/
Su Yaport <mail@yaport.su>
написал(а):
> [ yaport.su ]
> http://yaport.su/контрольная-панель-беспроводной-системы-охранной-сигнализации-видеосервера-sapsan-mms3g-cam
> http://yaport.su/с2000-сп2-исп-02-блок-релейный-адресный-40-кор
> http://yaport.su/с2000-м-клавиатура-с-двустрочным-жки-индикатором-к-сигналу-20-и-20п-20-кор
>
> Добрый день, столкнулся такой вот проблемой:
Товарные страницы сайта не индексируются и не могу разобраться почему.
«Страницы запрещены к индексированию вебмастером или не существуют»
—-> HTTP-статус: Ресурс не найден
нашёл много товаров, которые хотелось бы чтоб попали в ПОИСК. Подскажите что
нужно сделать чтоб исправить это положение?
>
> П.С. Товары выгружаются с 1с на сайт БЕЗ ОПИСАНИЙ,
но заполнением (описания, картинки) мы постоянно занимаемся, возможно ли из за
того что товар плохо представлен на сайте он не индексируется?
Почему позиции сайта падают в Гугле (Google)?
Вопрос объективности оценки сайта поисковиками актуален для каждого владельца интернет-ресурса, независимо от планов на монетизацию. Вообще обидно – ты сделал сайт для людей, а зловредный Google выдает его на 100500-й странице выдачи, куда естественно «не долистает» ни один адекватный человек. Проблема эта является животрепещущей и глобальной в условиях динамичности среды интернет-пространства, потому что сайты постоянно растут и падают. Чтобы зафиксироваться на высоком месте в выдаче, мало просто достичь его – необходимо ПОСТОЯННО работать и совершенствовать ресурс по требованиям капризного Гугла.
В ходе работы с сайтами наших клиентов специалисты студии F1 выделили основные причины падения в выдаче, проблемы, способы решения и просто интересные мысли на этот счет. Их много, а потому, не придумав ничего лучшего, мы просто создали один большой список, который полезно прочесть каждому, кто делает или продвигает сайты и добавили внизу популярные вопросы/ответы.
Навигация по странице
- Понижение выдачи и падение трафика
- Для новичков
- Ручные меры
- Проверка sitemap
- Изменения на сайте
- Meta noindex
- Заражение вирусом
- Дешевый хостинг
- Закрытие в robots
- Качество ссылочной массы
- Наращивание ссылочного
- Дубли контента
- Адаптированный дизайн
- Лишний скролл страницы
- Скорость загрузки
- Валидация кода
- Переспам ключей
- Ошибки в разметке
- География и персонализация
- Теги alt у картинок
- ЧПУ (SEF)
- Дубли страниц
- Язык сайта (hrefang)
- Пользовательские факторы
- Ворованный контент
- Дорвейность (перенаправление)
- Навязчивая реклама
Популярные вопросы:
- Сайт полностью пропал из Гугла — что делать?
- Сколько нужно времени для того, чтобы восстановить мои позиции?
- Если структура была сломана, но теперь все исправлено, как сообщить об этом в Гугл?
- Почему моя позиция в выдаче Яндекса высокая, а в Гугл – низкая?
- Почему с такими же ошибками мои конкуренты выше в выдаче?
- Что надо, чтобы быть в ТОПе всегда?
- Почему не видна моя страница в ВК (Фейсбуке, ЖЖ и т.д.)?
- Как связаться с техподдержкой Google, если у меня есть вопросы по ранжированию сайта?
- Что такое ручные меры?
- Почему мне не приходит ответ о пересмотре исправлений после ручных мер?
- Как посмотреть PR сайта?
Итак, начнем!
- Понижение выдачи и падение трафика – коллинеарные явления. Естественно, что из-за того, что ресурс существенно снизился в выдаче, на него попадет меньшее количество пользователей. И наоборот – если пользователи перестанут к вам заходить, трафик упадет и «порядковый номер» тоже. Поэтому необходимо повышать качество контента, юзабилити, использовать другие приемы для поддержания интереса со стороны потенциальной аудитории.
- Пока не залезли далеко в дебри, сразу оговоримся, наш материал не для тех, кто вчера сделал сайт и сетует над его отсутствием в топовой выдаче. Для новичков есть универсальный алгоритм:
- Проверьте, зарегистрировались ли вы в Search Console;
- Подготовлена ли карта сайта;
- Загружена ли карта сайта в Search Console;
- Наберитесь терпения и ждите (нужно месяца 2-3 не меньше)! Потом можно начинать паниковать.
- Если вы считаете, что причины для паники есть, в первую очередь удостоверьтесь, что к вашему сайту не применили «ручные меры». То есть Гугл не все делает автоматически, некоторые санкции к интернет-ресурсам применяют живые люди. Как правило, это связано с нарушением (или подозрением в нарушении) авторских прав. Итак, если кто-то решил, что вы посягнули на его контент, бренд или другую «собственность», он подает заявку в Гугл, и тот без суда и следствия банит сайт, наблюдая за развитием событий. А события могут развиваться по двум сценариям. 1) Вы ищете того, кто на вас пожаловался, и просите отозвать жалобу, 2) Вы никого не ищете и просто делаете новый сайт. Итак, если жалоба будет отозвана, вас разбанят. Проверить, не поданы ли на ваш сайт жалобы можно на Lumen. Обратная сторона – если у вас увели дорогой сердцу уникальный контент, вы так же можете подать жалобу в Гугл, и ждать пока воришка приползет на коленях.
- Проверьте сколько страниц подано в соответствии с картой сайта (sitemap), и сколько фактически проиндексировано. Если эти показатели значительно отличаются, значить, проблема падения в выдаче связана с ошибками индексирования. В первую очередь важно проверить, насколько корректно сгенерирована карта сайта, в каком формате она отправлена (в частности не допускается текстовый формат или вид HTML-страницы), влезают ли размеры файла sitemap в обозначенный лимит.
- Любые изменения на сайте могут привести к временному падению позиций. Независимо от того, идет ли речь об изменении текстового контента или о глобальной перестройке sitemap, поисковик отреагирует на это снижением рейтинга. Только в первом случае через 7-10 дней показатели могут самостоятельно вернуться на прежний уровень, а во втором – вам грозят длительные проблемы. Поэтому изменять карту, а тем более удалять из нее страницы без крайней необходимости не рекомендуется.
- Посетитель на найдет страницу, в заголовке которой обозначено meta noindex. Это может случиться по разным причинам, в частности из-за неосторожного обращения с настройками хостинга и CMS.
- Возможная причина закрытия страниц для пользователей – заражение вирусом. Будучи авторитетной поисковой системой, Гугл старается защитить лояльных к себе пользователей от переноса «заразы», поэтому ограничивает возможности развития эпидемии. Заподозрить неладное система может, в том числе по наличию стороннего кода, направляющему пользователей на сторонние ресурсы (социальные сети, баннеры рекламы и т.д.).
- Объем трафика, и как следствие рейтинг в выдаче, может упасть из-за того, что хостинг ограничил доступ к ресурсу, например, по «географическим» соображениям или на основании UserAgent. Особенно часто этим грешат бесплатные или откровенно дешевые хостинги.
- Еще одна причина – необдуманное скрытие содержимого с помощью robots.txt. Если вы будете «прятать» от пользователя все, что кажется вам недостойным его внимания, с большой вероятностью многие полезные страницы станут недоступными для поисковика. Как вариант – используйте возможности robots.txt только в крайнем случае, все остальные вопросы решайте с помощью канонических ссылок.
- Прежде чем активно наполнять ресурс входящей ссылочной массой, необходимо осознать, что повысить авторитет вашего сайта смогут только качественные ссылки, а те, которые продаются на биржах по «три копейки за ведро», с большой вероятностью возымеют обратный эффект. Решение проблемы: используйте анализаторы качества ссылочной массы, например, Ahrefs, SEMRush и другие. Не обязательно работать только с одним, в некоторых случаях большую эффективность демонстрирует сочетание сервисов.
- Не уходя далеко от темы входящих ссылок, напомним, что их полное отсутствие не менее негативно сказывается на выдаче, чем ситуация, описанная в пункте 10. Количество ссылок должно увеличиваться по мере роста и развития ресурса. Лучше если они будут размещены на тематических площадках.
- Если на разных страницах сайта поисковик находит одинаковую или очень похожую информацию, ему это не понравится. За подобное можно схлопотать не только автоматический бан, но и ручные санкции. Будьте креативными, мы уверены, что вам есть, чем поделиться с посетителем ресурса без откровенного дублирования инфы.
- До сих пор нет адаптации под мобильную версию? Не ждите ничего хорошего, Гугл активно борется за то, чтобы каждому посетителю было комфортно находить информацию, независимо от того, с какого устройства он это делает. Сразу оговоримся, два сайта – нормальный и «телефонный» — не вариант. Правильное решение – использование адаптивной верстки.
- Чисто интуитивная находка – требовательный Google не любит, если страница начинается с большого изображения, из-за которого необходимо скролить страницу, чтобы добраться до текстового контента. Независимо от того, идет ли речь о рекламном банере или вы просто «украсили» сайт таким неординарным образом, ранжирование будет сопровождаться проблемами.
- «Тяжелый», длительно открывающийся сайт при прочих равных условиях ранжируется хуже. Если это про вас, рекомендуем начать с оптимизации графического контента. Также можно пересмотреть степень ресурсообеспечения хостинга.
- Не забывайте проверять код валидатором. Любые синтаксические ошибки и отличия от кодировки UTF-8 приводят к негативным последствиям – ресурс тормозит при открытии, некорректно отображается в окне браузера и теряет позиции выдачи.
- Следите за количеством и частотой употребления ключевых слов. Ушли в прошлое времена, когда действовал принцип – чем больше, тем лучше. Сейчас ключевики и ссылки должны быть аккуратно помещены в текст, чтобы читающий не спотыкался о них в каждом предложении. На счет ссылок: учитывайте, что шаблоны WordPress могут самостоятельно включать спам-код, существенно увеличивая число ссылок по сравнению с тем, сколько запланировано веб-мастером.
- Ошибки в разметке – увесистый минус в карму сайта. Если вы используете шаблоны WordPress, не забывайте проверять структуризацию данных.
- Нередко начинающие веб-мастера неправильно проверяют позиции своего сайта, и впадают в панику от «падения» выдачи. Важно понимать, что на результат, который выдает ранжировщик, влияет географическое положение, а также условия персонализации запроса. Если вы пытаетесь определить позицию сайта с чужого компьютера в другом городе – результат не будет объективным.
- Большое количество картинок – прерогатива интернет-магазинов, владельцы которых стремятся максимально информативно визуализировать товар. При этом выдача сайта может быть низкой из-за отсутствия тегов alt, а также из-за несоответствия названия файлов с картинками их тематическому содержанию.
- Наше мнение о ЧеловекоПонятных Урлах таково – руководствуйтесь здравым смыслом. Старайтесь, чтобы при транслитерации русского слова оно не выглядело криво, косо или даже неприлично. Слова в УРЛ разбиваем строго дефисом, а не нижним подчеркиванием.
- Если вы запутаете ранжировщика наличием множественных поддоменов, готовьтесь к пессимистичному сценарию. В данном случае необходим обязательный редирект вспомогательных страниц (как правило, с www) на основные (без www). Страницы robots.txt – не перенаправлять!
- Не показывайте поисковику страницы с машинным переводом! Четко придерживайтесь правил и способом использования hrefang.
- В своем стремлении, как можно сильнее угодить требовательному ранжировщику многие веб-мастера добиваются совершенно противоположного эффекта. Основная идея заключается в том, что нужно стараться угодить пользователю, а не системе. Заметив это, система оценит ваши старания работать «для людей» и повысит рейтинг выдачи. Что нужно делать в рамках каждодневной работы: неустанно мониторить ошибки в консоли, исправлять их, продвигать ресурс на тематических площадках, добиваясь получения естественных ссылок, следить за спамом и т.д. Помните, чем выше оценит ваш сайт пользователь, тем лояльнее будет поисковик, определяя ваше место в выдаче.
- Ранжировщик может счесть содержимое на сайте неинформативным. И речь не идет о глупых текстах с ошибками или другими последствиями дешевого копирайта, скорее всего бот выявил нарушение авторских прав. Встречный вопрос: но почему открыто и прямо не назвать сайтостроителя вором? Не желая нарваться на кучу обоснованных и не обоснованных исков, Гугл предпочитает уклончивую формулировку – «неинформативно»!
- Если пользователь ищет «котенка Сфинкса», а его посредством тизерной рекламы и переадресации отправляют на сайт про установку биологических септиков, согласитесь – это досадная потеря времени, которая, кстати сказать, бесит не только пользователя, но и ранжировщика. Что грозит веб-мастеру, использующему сторонний код? – ручные меры!
- Если на сайте основной контент частично или полностью «загораживается» баннером с предложением скачать приложение (даже подходящее по тематике), ранжировщику это не понравится, о чем вы узнаете, проверяя рейтинг выдачи.
Вопросы:
- Сайт полностью пропал из Гугла — что делать?!
Первое, на что необходимо обратить внимание — это санкции. Если в Google Search Console нет никаких сообщений системы безопастности по сайту, значит всё впорядке. После этого главную страницу сайта и несколько второстепенных советуем проверить через валидатор файла robots.txt в Google. Если страницы доступны для индексации, то этот пункт можно отмахнуть в сторону. Остается только одно — сайт в Вебмастере Гугл был поставлен полностью на удаление случайно вами или кем то кто работал с сайтом до этого. Проверьте это на существующей версии? а так же постарайтесь добавить все версии сайта в вебмастер тоже (с www и без, с https и без). Посмотрите не удалялись ли там какие страницы. Команду на удаление и блокировку страниц можно отклонить и тогда сайт за сутки залетит обратно в индекс! - Сколько нужно ранжировщику для того, чтобы восстановить мои позиции?
Точного ответа нет, и не может быть, так как факторов, влияющих на сам процесс и его скорость – великое множество. Если речь идет о примененных ручных мерах, то их могут снять через 2-5 недель после принятия вашей заявки. Однако в этом случае не стоит рассчитывать на автоматическое поднятие позиции, потребуется серьезная работа со структурой и наполнения ресурса. - Если структура была сломана, но теперь все исправлено, как сообщить об этом в Гугл?
Сделайте повторную отправку sitemap. Откорректируйте If-Modified-Since, если изменения касались страниц. В индекс отправляйте не только главную, но и связанные с ней. Далее сидим и ждем результатов индексирования, чтобы понять, насколько хорошо вы все исправили. - А почему моя позиция в выдаче Яндекса высокая, а в Гугл – низкая?
Потому что Гугл – это не Яндекс. Это совершенно разные комплексы программ и проверочных сервисов, разные подходы и философии. Если Гугл показывает наличие ошибки, найдите ее и справьте, без сравнения с тем, что думает на этот счет Яндекс. - А почему с такими же ошибками мои конкуренты выше в выдаче?
Это может казаться вам жизненной несправедливостью, но все гораздо проще – бот-ранжировщик мог пропустить какие-то ошибки, или… простить, например, из-за большого количества естественных ссылок нередко закрываются глаза на незначительный переспам или контент, далекий от 100% уникальности. - Что надо, чтобы быть в ТОПе всегда?
Во-первых, важно понять причинно-следственную связь: популярный (качественный, интересный) сайт поднимается в ТОП, а не ТОП делает сайт популярным. Во-вторых, если у вас удобный сайт и 100 честно ведущих на него ссылок, а у вашего конкурента невменяемый ресурс с 100500 купленных ссылок, то, скорее всего, Гугл ранжирует его выше вашего. Вместо того чтобы сетовать на тотальную жизненную несправедливость, есть смысл заняться наращиванием качественной ссылочной массы. - Почему не видна моя страница в ВК (Фейсбуке, ЖЖ и т.д.)?
Это может случиться по разным причинам, но скорее всего они останутся для вас тайной. И не надо воспринимать все «на свой счет»: параллельно с вашей страницей на подобных площадках существуют сотни некачественных или откровенно вредоносных страниц. Попадая под бан, они могут ненароком утянуть с собой тех, кто находится рядом – то есть ни в чем не повинные ВК страницы. Хотите узнать об этом больше в администрации площадки? Желание понятное, но в большинстве случаев неосуществимое – администраторы не дают подобных разъяснений. Просто сделайте собственный сайт, и вы будете точно знать, что взлеты или падения в выдаче – эта ваша личная «заслуга», а не чье-то влияние. - Как связаться с техподдержкой Google, если у меня есть вопросы по ранжированию сайта?
Никак! Независимо от того какой масштабности, срочности и важности ваши вопросы, напрямую связи с Гуглом не существует. Есть форум Google, куда вы можете написать свой вопрос. Если авторитетным форумчанам он покажется интересным и значимым, его передадут для рассмотрения в Гугл, а ответ будет освещен пользователям России или даже мира. Если же они сочтут ее несложной или ничтожно значимой – ответа и разъяснения не будет. - Что такое ручные меры?
Это неприятная ситуация, когда специалист из Google сочтет ваш сайт подозрительным или недобросовестным или малоинформативным или еще каким-то, и понизит выдачу. Неприятность ситуации заключается в том, что доказать что вы не осел – можно, но займет это весьма продолжительное время. Алгоритм снятия ручных мер таков: вы читаете комментарий к ручным мерам, пытаясь понять, за что именно вас линчуют. Это не всегда удается с первого раза, так как Google славится расплывчатостью формулировок, стремясь минимизировать количество судебных исков. Далее исправляете то, что не понравилось специалисту из Гугл, и отправляете на пересмотр, который продлится порядка 2-12 недель. Если в не все до конца исправлено или вы не учли смежные моменты, вам снова придет оповещение о ручных мерах. И снова вы будете переделывать, отправлять и ждать ответа. Вывод: так как повлиять на процесс нельзя никак, единственное, чем можно облегчить свою участь – сразу корректно выполнять исправления, чтобы прошло с первого пересмотра. - Почему мне не приходит ответ о пересмотре исправлений после ручных мер?
Как вариант – вы используете архаичный браузер Internet Explorer. Немедленно перейдите на Google Chrome! - Как посмотреть PR сайта?
Никак! Начиная с 6.12.2013г открытая информация о PR не обновляется и тулбар фактически закрыт. Поэтому: не верьте всевозможным «специалистам» или сервисам, обещающим вам показать динамику PR.
Если вы столкнулись с проблемой, которую не смогли решить с помощью этой статьи — напишите нам комментарий с описанием проблемы и мы постараемся вам помочь!
Хочешь стать экспертом в SEO?
Пройди курсы от SEO Интеллект
ПодробнееПонравилось? Репост!
Почему не индексируется сайт — 10 возможных причин
Иногда у вебмастеров возникает серьёзная проблема – не индексируется. Под этим понимается то, что страницы никак не попадают в поиск, ни на какие позиции вообще. После осознания этой проблемы начинаются серьёзные и лихорадочные поиски причин и способов её решения. И, надо сказать, не всегда удаётся сразу быстро найти их, особенно новичкам.
В этой статье мы приведём десяток частых причин, почему не индексируется сайт. Если вы столкнулись с этой проблемой, то пройдитесь по этим причинам и проверьте, нет ли их у вас. Вероятно, что это поможет запустить наконец индексирование.
Как долго индексируется сайт
Перед началом рассмотрения причин не индексации нужно упомянуть о допустимых сроках этого процесса.
Многие уже знают, что поисковики очень медлительны. Порой для внесения изменений в результаты поиска им необходимо несколько месяцев. Поэтому, если результатов индексации не видно через день-два после добавления сайта в поисковики, то не нужно беспокоиться. Это нормально.
Можно смело дать поисковику две-три недели на индексацию нового сайта. И только после истечении этого срока, если страницы не попадают в поиск, следует бить тревогу и искать причины.
Поисковики ещё не знают о сайте
Самая первая причина, почему не индексируется сайта — это то, что поисковики его ещё просто не увидели. C этой проблемой чаще всего сталкиваются именно новички, так как те, кто уже делал и продвигал свой сайт, знают, что его нужно добавить в Яндекс и Google.
Процедура добавления в поисковики не такая уж и трудная, мы не станем здесь её подробно рассматривать. Чтобы дать старт индексации, нужно сделать это. И после добавления результаты появятся в течение двух-трёх недель.
Сайт закрыт от индексации в файле robots.txt
Файл robots.txt управляет индексацией. Он определяет, какие страницы нужно индексировать, а какие нет. Иногда перед запуском проекта, в этом файл сайт полностью запрещается к индексации, что бы поисковик не видел пока ещё некачественные страницы.
В результате в поиск выкатывается сайт, который забыли открыть для поисковиков и возникают проблемы с попаданием страниц в поиск.
Поэтому если вы думаете о том, почему не индексируется сайт, следует заглянуть в robots.txt. Чаще всего закрытие всего сайта происходит такой конструкцией кода в этом файле:
User-agent: *
Disallow: /
Включены приватные настройки
В WordPress есть встроенная приватная опция, включение которой так же, как и robots.txt закрывает весь сайт от индексации. Её включают по тем же соображениям – чтобы сырые страницы не попадали в поиск.
Управлять этой опцией можно в пункте консоли “Настройки”, подпункте “Чтение”. Называется она “Видимость для поисковых систем”, чтобы произошла индексация, нужно снять галочку.
Закрытие мета-тегом noindex
В WordPress редко приходится сталкиваться с такой проблемой, но упомянуть её нужно. Суть в том, что сайт закрывается для поисковиков с помощью мета-тега noindex. Найти и увидеть его можно в исходном коде, выглядит он так:
meta name=»robots» content=»no index, nofollow»
Такой код может появиться в следствии настроек SEO плагина или особенностей активированной темы.
Большое количество ошибок сканирования
Если сканирующий робот при индексировании постоянно натыкаться на разнообразные ошибки, то в результате он может вообще перестать сканировать сайт. Поэтому страницы в поиске не окажутся.
В кабинете Goolge и Яндекс можно просматривать статистику сканирования и видеть, есть ли ошибки. Если они есть, то их нужно как можно скорее исправить. Как правило, при обнаружении ошибок отправляется уведомление вебмастеру от поисковика.
Сайты закрыт от индексации файлом .htaccess
.htaccess управляет конфигурацией сервера, в нём можно включать и настраивать разнообразные возможности. Так может быть установлено и закрытие от индексации поисковиками.
Этот файл находится в корневой папке. Если наблюдаются проблемы с попаданием страниц в поиск, то нужно найти .htaccess и проверить его на наличие соответствующего кода.
Нестабильная работа хостинга
Если решается вопрос о том, почему не индексируется сайт, то нужно обратить внимание на то, как качественно он работает, нет ли у него сбоев, всегда ли он доступен. Это в первую очередь зависит от качества хостинга.
Если сайт часто “падает” и бывает недоступным для посещения, то поисковик не сможет его просканировать. В результате сканирующий робот вообще перестанет заходить, и индексация не произойдёт.
Плохая индексация AJAX/JavaScript
Некоторые темы на WordPress используют технологии AJAX/JavaScript, для которых требуется выполнять особые настройки для успешной индексации. В некоторых случаях индексация страниц с использованием этих технологий не проходит как нужно. Поэтому лучше вообще отказаться от преобладания AJAX/JavaScript на сайте.
Много неуникального контента
Если на сайте много страниц-дублей или просто неуникального контента, то на него будет наложен фильтр, который исключит его из поиска. В результате индексация не произойдёт. Поэтому следует проверить проект на наличие дублей страниц, а статьи на уникальность.
Медленная скорость загрузки сайта
Если страницы загружаются очень медленно, то сканирующему роботу надоест ждать, и он перестанет его индексировать. Если вы решаете вопрос о том, почему не индексируется сайт, то нужно проверить скорость загрузки и улучшить её, если она низкая.
причины, решение › Блог Интернет Технологий
Продвигая клиентские сайты часто сталкиваешься со следующей ситуацией: после определенного времени работы над сайтом год-полтора, клиент говорит, что необходимые показатели достигнуты и поэтому SEO-продвижение пока приостанавливаем. Спустя некоторое время сайт вполне естественным образом начинает проседать по видимости в поисковых системах и трафике соответственно. Из-за чего складывается подобная ситуация, попробую разобраться в статье.
1. Плохое качество контента, который публикуется на сайте. Эта ситуация часто становится основной причиной, из-за которой сайты теряются в рейтингах поисковых запросов. Если вы начали экономить на статьях и снизили оплату копирайтерам, то стоит ждать, что они не будут столь интересными и актуальными как раньше. При составлении технического задания копирайтеру SEO-специалист собирает поисковые запросы, по которым статья будет продвигаться, указывает необходимый объем статьи (на основе анализа страниц конкурентов, которые находятся в ТОПе), собирает LSI-слова и описывает структуру статьи, другими словами что в ней обязательно должно быть. Зачастую владельцы сайтов, после прекращения работы по SEO-продвижению просто заказывают статьи на биржах копирайтинга (а еще хуже покупают готовые) не задумываясь о том, как необходимо правильно это делать. Последний, наиболее значимый алгорит предназначеный бороться с переоптимизацией контента от компании Яндекс — Баден-Баден.
2. Если вы резко перестали наращивать ссылочную массу, то будьте готовы не только к тому, что сайт упадет с былой позиции, но и, возможно, к всевозможным санкциям со стороны поисковых систем. Это происходит из-за того, что резкий спад наращивания говорит об искусственной раскрутке сайта, а популярные поисковики ведут активную борьбу с этим. Как правило в свою стратегию по продвижению я закладываю закупку небольшого количества ссылок, однако, они максимально качественные, естественные и наращивание происходит на постоянной основе.
3. Если в недавнем времени были проведены ощутимые изменения, то это вполне может привести к падению позиций в ведущих поисковых системах. Что это значит? Все очень просто, если на вашем ресурсе были проведены работы по изменению дизайна, адресов, сомнительное появление контента, переоптимизированного ключевиками — это лишь самая малая доля причин, с которыми сталкиваются разработчики сайтов да определенном этапе. Зачастую клиенты меняют URL адреса страниц не задумываясь о том, чтобы элементарно сделать 301-редирект со старого адреса на новый.
4. Особую роль в нашем вопросе играет и хостинг. Если созданный вами сайт разрастается, и в него вшиваются новые тяжелые скрипты, то очевидно, что долго сервер не сможет справляться с той нагрузкой, которую требует дать сайт. В таком случае следует тщательно следить за развитием своего проекта, вовремя менять провайдера и тариф, к которому вы подключились ранее. Лично я, выбираю хостинг от beGet уже на протяжении 5 лет.
5. Всевозможные изменения в алгоритмах, будь то вставка новых или манипуляции со старыми — из-за такой работы часто наблюдается спад в ТОПе Google и Яндекса. Следите за последними новостями поисковых систем на тематических сайтах и форумах. Будьте в тренде, товарищи
6. Если ранее вы активно продвигали свой ресурс в социальных сетях, создавали тематические посевы в группах и вели какую-либо деятельность, то после её прекращения стоит ожидать, что не будет происходит продвижения в результатах поиска, а придется наблюдать лишь за скачками вниз. Отказываясь от продвижения через социальные сети, вы прекращаете получать социальные сигналы на свой ресурс.
7. Конкуренция. Этот фактор часто становится основной причиной возникновения такой сложности. На любом рынке иногда происходит вытеснение другими компаниями, в нашем случае, сайтами. Чтобы избежать такого развития событий необходимо тщательно следить за деятельностью своих коллег, стараясь опережать их на несколько шагов. А также не забывайте следить за показателями сайта, не давайте слабину, иначе, конкуренция подавит вас.
8. Если ваш сайт перестал соответствовать требованиям предъявляемыми поисковыми системами, то это может грозить либо небольшим падением с прежнего положения, либо же полным исчезновением из индекса Яндекса и Google. В основном причиной такого расклада является некачественное продвижение сайта, это значит, что, если для продвижения вы использовали черный или серый SEO, то стоит ожидать плачевных ответов от поисковиков. Обращайте особое внимание на панели Яндекс.Вебмастер и Google Search Console — обрабатывайте все ошибки и предупреждения.
Если вы нашли и выявили причины, по которым происходят проблемы с сайтом, то следует действовать дальше, либо же обратиться к профессионалам.
Если причина была не такой серьезной, то вернуть прежнее положение может оказаться достаточно просто и самостоятельно. Потребуется лишь улучшить контент на ресурсе, регулярно поставлять ссылочную массу и совершить правильный переход на новую структуру сайта.
Если Вы самостоятельно не можете определить причину падения позиций сайта в результатах поиска Google и Яндекс, либо не знаете, почему трафик на сайт не растет — то Вы всегда можете обратиться ко мне за консультацией. Связаться со мной можно здесь. С уважением, Vasilenko Ivan!Причины плохой индексации сайта (чеклист для поиска проблем) — Devaka SEO Блог
Сайт дня: Вывод сайта из под АГС от SiteClinic.
Плохая индексация сайта — одна из серьезных проблем вебмастеров. Почему сайт или его отдельные страницы до сих пор не в индексе? Чтобы ответить на этот вопрос, нужно провести небольшой анализ. Ниже приведен список основных причин плохой индексации, который можно использовать как чеклист для решения проблемы.
Основные причины
Существует 5 основных причин, по которым сайт или его отдельные документы могут не заходить в индекс (или делать это с трудом). Вот они:
— Робот не знает о сайте или документе
— Сайт или его часть недоступна для робота
— Сайт находится в черном списке
— Присутствует техническая ошибка
— Отдельные страницы или разделы показывают плохое качество
Ниже подробно расписан каждый перечисленный выше пункт.
1. Робот не знает о сайте/документе
Робот может не знать о сайте (не включить его в свое расписание) по разным причинам.
— Прошло мало времени
Для того, чтобы робот узнал о сайте или новой странице, необходимо время, когда он найдет ссылку (внутреннюю или внешнюю), либо когда кто-то зайдет на сайт из браузера с установленным тулбаром, либо вы намеренно сообщите роботу о появлении нового документа. Ускорить попадание документа в расписание индексации можно с помощью адурилки.
Также, если вы по логам сервера уже видите, что робот заходил на сайт, а страницы в индексе не появились, нужно подождать апдейта, который в Яндексе происходит не чаще 2 раз в неделю (а по праздникам доходит до 1 раза в 2-4 недели). В основной индекс страницы могут попадать за несколько часов в Google и минимум за 2 недели в Яндекс (если попадают раньше, то по документу скорей всего прошелся быстробот и позже страницы могут на время уйти из индекса до прихода основного робота).
— На сайт/документ не стоит ссылок
Если сайт обновляется редко, то робот на него также будет заходить редко и при добавлении новых страниц нужно убедиться, что на них стоят ссылки с главной, либо можно поставить ссылки с других внешних ресурсов (с целью подсказки роботу о новых документах).
2. Сайт или его часть недоступна для робота
Даже если поисковик уже знает о сайте, мы можем осознанно или неосознанно закрывать ему доступ к отдельным разделам и документам.
— Домен не делегирован (или снят с делегирования по жалобе)
Убедитесь, что приобретенный вами домен делегирован и доступен по доменному имени не только вам, но и другим пользователям сети. Попросите своих знакомых из другого города зайти на сайт и проверить, открывается ли он.
Также, в связи с принятием закона о пиратстве, некоторые сайты могут снимать с делегирования. Это редкий случай, но если вы размещаете пиратский контент (фильмы онлайн, музыкальные клипы и аудиотреки, игры и другую интеллектуальную собственность), то вполне возможно, что на вас подали жалобу. Об этом обычно предупреждают.
— Закрыт через robots.txt
Откройте файл /robots.txt в корневой папке (если он существует) и убедитесь, что в нем не закрыты нужные вам разделы. Например, частой ситуацией бывает закрытие от индексации папки со скриптами или шаблонами, где лежат и изображения, что приводит к отсутствию индексации изображений. Либо разработчики перед выкатом нового сайта в процессе тестирования добавляют директиву “Disallow: /” (означающую запрет на индексацию всего сайта) и забывают её убрать.
— Закрыт через meta-robots
Тег meta-robots размещается внутри тегов <head> и является вторым способом запретить индексирование документа. Некоторые CMS-ки (например, WordPress) позволяют этим гибко управлять, но не каждый редактор вспоминает уделить этому внимание после запуска и наполнения сайта первичным контентом. Так, например, пару лет назад блог SeoPult долгое время содержал мета-тег <meta name=»robots» content=»nofollow,noindex» /> из-за чего его полезные страницы отсутствовали в индексе.
— Закрыт через IP или User-Agent
Этот вопрос нужно решать с хостером. В одно время поисковик Yahoo так уделял внимание большим сайтам, что ложил хостинг и владельцы хостинга блокировали бота по ip-адресу. Иногда (но очень редко) ip-адрес случайно попадает в черный список. Это легко проверить, анализируя логи сервера (access_log) на предмет наличия в них признаков посещения сайта поисковой системой.
Попросите также ваших программистов проверить, не блокируют ли они своей системой важные запросы роботов.
— Закрыт через http-заголовки X-ROBOTS-TAG
Редко используемый метод, но http-заголовки также можно использовать для запрета индексации тех или иных страниц. Проверьте с помощью каких-либо инструментов (например, плагина Firebug для Firefox), какие заголовки отдают страницы вашего сайта и присутствует ли в них x-robots-tag.
— Использует flash или ajax-навигацию
Поисковые роботы плохо индексируют flash или ajax-элементы сайта. Если в них скрыта навигация, это может осложнить индексацию сайта и распознавание его структуры. Чтобы увидеть сайт как робот, можно использовать панель для вебмастеров Google (меню “Сканирование” – “Посмотреть как Googlebot”).
— Важные элементы на сайте закрыты в noindex
Закрывая что-то “ненужное”, можно также закрыть и нужное 🙂 лучше не использовать noindex, я неоднократно сталкивался с ситуациями, когда он только вредил при некорректном использовании. Возможно, именно из-за переизбытка тегов noindex робот не видит достаточно уникального контента и поэтому не добавляет сайт в индекс.
3. Сайт находится в черном списке
Есть несколько причин, по которым сайт попадает в черный список поисковой системы, приводя, естественно, к отсутствию индексации. Вот основные из этих причин:
— На сайт наложены санкции
Иногда наложение санкций очевидно, иногда мы можем об этом не подразумевать (например, при покупке домена). В любом случае, стоит убедиться, что домен чист. Обычно, к наложению санкций приводят следующие особенности сайта:
- Манипулирует выдачей агрессивными методами оптимизации (например, скрывает seo-контент или подменяет контент для пользователей, продвигается спамом по каталогам или форумам и при этом не имеет большого авторитета).
- Создан только для поисковых систем (не несет ценности пользователю)
- Является афиллиатом уже существующего сайта (уже есть аналогичный сайт на другом домене того же владельца)
- Имеет плохую историю домена
Какой сайт существовал на домене до того, как вы его приобрели, можно посмотреть на сервисе WebArchive. Желательно это делать до покупки домена.
— Ресурс распространяет вирусы
Случается, что сайты взламывают и размещают на них вредоносный код. Когда поисковик это обнаруживает, то не продолжает индексировать сайт пока не восстановит доверие. Чтобы вовремя узнать о проблеме взлома, нужно использовать (и мониторить) панель для вебмастеров.
4. Присутствует техническая ошибка
Нередко, причиной плохой индексации сайта оказывается элементарная техническая ошибка, устранение которой быстро исправляет проблему.
— Некорректный http-заголовок
Код ответа сервера должен быть “200” для тех страниц, которые должны попасть в индекс. Проверить это можно различными инструментами, например, плагином Firebug или командой “wget -S http://site.tld” из терминала. Также, в панели для вебмастеров имеется раздел, посвященный индексации и если робот обнаружит какие-либо ошибки, он сообщит вам об этом.
— Некорректный DOCTYPE
Я сталкивался с несколькими случаями, когда перед DOCTYPE в html-коде стояли дополнительные теги (<?xml или <script>), препятствующие страницам попадать в индекс. Нужно убедиться, что код соответствует html-стандартам и робот легко может определить тип контента и его основные блоки.
— Некорректные редиректы
Первый случай некорректного редиректа это использование 302-го вместо 301-го. При этом старые страницы не будут заменяться на новые в индексе, так как используется временный редирект вместо постоянного. Второй случай плохой индексации из-за редиректов – это использование тега rel=“canonical” с прописанием одной и той же канонической страницы для всех документов.
— Проблемы с кодировкой
Есть несколько способов сообщить роботу о кодировке документа: мета-теги, http-заголовки и сам контент. Обычно, процесс определения кодировки не составляет для поисковиков труда, но бывают редкие случаи, когда http-заголовки говорят об одном, мета-теги о другом, а сам контент написан в третьей кодировке и тогда в индекс попадает просто набор символов, показывающий плохое качество контента.
Убедитесь, что с кодировкой ваших документов все в порядке.
Существуют и другие технические причины плохой индексации, которые встречаются намного реже и так просто их не найти, необходимо подключать специалиста.
5. Отдельные страницы или разделы показывают плохое качество
Если с сайтом все отлично в техническом плане и к нему нет претензий относительно использования агрессивных методов оптимизации, поисковик постепенно индексирует сайт. Для начала он дает небольшую квоту на количество необходимых проиндексированных страниц. Если после накопления статистики он видит, что страницы показывают хорошее качество, квота увеличивается и больше страниц может попасть в индекс. Так поисковик экономит свои ресурсы, индексируя только нужные документы. Какие же признаки говорят о хорошем или плохом качестве документов?
— Контент уже существует на других сайтах (не уникален)
До индексации поиск не знает, уникальный ли контент содержит документ, поэтому, на первом этапе страницы сайта могут индексироваться хорошо. Но если ваш контент уже где-то встречается точь-в-точь, то поисковику нет смысла снова добавлять его в индекс – он знает об этих страницах и вы можете видеть в панели для вебмастеров, что он видит несколько тысяч страниц на вашем сайте, но при этом они не участвуют в поиске, если нет других сигналов, заставляющих бота изменить своё решение.
— Контент уже существует в других разделах этого сайта
Здесь речь о внутренних дублях контента, обычно это страницы сортировки, пейджинга и страниц для печати. Все подобные страницы, которые мало отличаются друг от друга, пойдут в дополнительный индекс, не участвующий в поиске. Необходимо убедиться, что каждая страница сайта имеет ценность для пользователя и эти ценности не пересекаются между документами, каждый ценен по своему.
— Объем уникального текста на странице меньше 500 символов
Малый объем уникального текста затрудняет поисковым алгоритмам определить ценность этого контента для пользователя. К тому же, на таких объемах контента сложно поддерживать уникальность между страницами своего и чужих сайтов. Часто страницы с объемом меньше 80-100 слов (около 500 символов) с трудом попадают в индекс (попадают только при хорошем вИЦ). Если это ваш случай, подумайте, стоит ли этим страницам быть в индексе, и если да, то что ещё вы можете на них добавить для увеличения контента (например, отзывы, комментарии, характеристики или видео-обзор).
— Документы раздела имеют шаблонные заголовки и тексты
Поисковики не любят шаблонность, когда между страницами меняется лишь одно-два слова и остальной контент остается одинаковым, и стараются не индексировать много шаблонных страниц. Если хотите, чтобы страницы попадали в индекс, прописывайте их заголовки и мета-описания вручную, либо используйте множество шаблонов вместо одного для всего сайта.
— Страницы раздела более 4-го уровня вложенности
Чем больше уровень вложенности страницы, тем меньше её вес и значимость для поиска (для пользователя также). Нужные для индексации страницы, которые лежат далеко вглуби сайта, необходимо выносить на 2-3 уровень вложенности с помощью дополнительной перелинковки.
— Большое количество 404 страниц
При обнаружении множества ошибок, поисковик должен определять паттерны и не стучатся туда, где заведомо (с большой вероятностью) страница также будет с 404 ошибкой. В связи с этим, нужно периодически мониторить свой сайт на предмет различных ошибок через уже упомянутую выше панель вебмастеров или специализированных программ.
— Медленная скорость отдачи документов
Медленная скорость отдачи документов из-за проблем в хостинге или CMS не позволит роботу быстро индексировать сайт. Он будет продолжать его сканировать, но не так быстро, как если бы документы отдавались моментально. Простая оптимизация скорости загрузки сайта может существенно улучшить его индексацию.
Конечно же, существуют и другие причины плохой индексации сайта. Если ни один из вышеперечисленных признаков вам не подходит, необходимо связаться со службой поддержки поисковой системы, либо связаться со специалистами.
Если в вашем опыте встречались какие-то другие проблемы, мешающие сайту нормально индексироваться, делитесь ими в комментариях!
Почему не индексируется сайт? причины долгой индексации
При сопровождении сайта можно столкнуться с огромным количеством различных проблем, одной из которых является длительная индексация новых материалов. На форумах для вебмастеров довольно часто появляются вопросы «Почему не индексируется сайт?», а причин этому явлению может быть несколько.
Если и вам пришлось столкнуться с проблемой отсутствия индексации сайта, то нужно незамедлительно искать причину и стараться её устранить. Не стоит сразу переживать, ваш сайт может полноценно вернуть скорость индексации и даже если некоторые страницы вылетели из индекса, их могут вернуть обратно.
Причины долгой индексации
Прежде чем указать на 4 причины долгой индексации сайта, рекомендуем воспользоваться прогоном странички в твиттере, по многочисленным отзывам от пользователей, скорость индексации увеличивается в разы! Организовать прогон сайта по твиттер аккаунтам можно в сервисе Prospero.
1. Настройка robots.txt
В панели для вебмастров Яндекса, можно почитать, как помочь роботу индексировать сайт быстрее:
Обратите внимание на первый пункт, именно в нем рассказывается о том, что необходимо настроить файл robots.txt. Не лишним будет прочитать и остальные рекомендации. Вполне возможно, что скорость индексирования настолько упала, что вы увидели в этом проблему.
2. Проблемы на хостинге.
Следующая причина, по которой ваш ресурс очень долго индексируется – это систематические сбои на стороне хостинга. Когда поисковый робот переходит на какой-нибудь ресурс, а он не доступен, следующее посещение сайта может быть совсем не скоро.
Об этом прописано в правилах поисковых систем и поэтому при выборе хостинг-провайдера, нужно быть внимательным. В статье Какой хостинг лучше? Мы описывали несколько стабильных хостинг-провайдеров.
Если вы обратились в техническую поддержку поисковиков, и вам сказали, что сайт был недоступен, задумайтесь о смене хостинга. Чаще всего проблемы с индексацией из-за недоступности проявляются с Google.
3. Не уникальный контент.
Серьезная проблема, из-за которой вы можете не только не дождаться индексации, но и ваш ресурс может попасть под фильтры. О том, что на вашем сайте есть не уникальные статьи, вы также узнаете от поддержки поисковых систем. В бесплатной программе Etxt Антиплагиат, есть специальная функция для выявления не уникальных статей на сайте:
Вполне возможно, что не уникальный контент появился на вашем сайте после того, как вы покупали статьи на бирже. Далеко не все авторы являются добросовестными и ведут двойные продажи.
4. Переоптимизация сайта.
Тоже серьезная проблема, по которой сайт может оказаться под фильтрами. Если вы пользовались ключевыми словами, активно покупали ссылки и выполняли прочие действия по оптимизации, то начните проверять, насколько качественная ссылочная масса вашего сайта, насколько высока концентрация ключевых слов и т.д.
Если у вас молодой сайт, то долгая индексация – это нормально. Поисковик Google принимает молодые сайты довольно быстро, примерно за 2 недели. Что касается Яндекса, то бывают случаи, когда первой индексации приходится ждать около 2 месяцев.
В конце концов, причиной долгой индексации может быть обычная техническая ошибка, которая произошла на одном из этапов посещения роботом вашего сайта. В таком случае достаточно будет обратиться в тех. поддержку поисковых систем и вероятнее всего, в скором времени вашу площадку проиндексируют.
Вам также будет интересно:
— Рекламная строчка от Nolix
— Где взять уникальные картинки для сайта?
— Оптимизация в Twitter
Проблемы с индексацией сайта: что делать?
К сожалению, иногда случается так, что начинаешь продвигать сайт в поисковой системе Яндекс либо Google, а робот не хочет его индексировать.
Проблемы с индексированием ресурса порой решать на самом деле бывает непросто, так как на этот процесс могут повлиять даже незначительные детали. Именно на такие нюансы и стоит обратить внимание в случае возникновения проблем с индексацией. В сегодняшней статье мы расскажем о том, как выявить и устранить причины плохой индексации ресурса.
В каких случаях могут возникнуть проблемы с индексацией
Дублирование содержания или спам
Интернет-ресурс почти наверняка не будет индексирован поисковыми системами, если на нем содержатся неуникальные данные или речь идет о дорвее. К тому же, такой контент совершенно не интересен пользователям и поисковые машины пропускают его мимо.
Именно поэтому очень важно заполнять на сайт только уникальным контентом хорошего качества.
Файл robots.txt закрыт от индексации
Во время внутренней оптимизации Интернет-ресурса вебмастера иногда допускают ошибку, закрывая индексацию в файле robots.txt. Поэтому нужно проверить правильность прописанных в robots.txt данных и убедиться в том, что целевые страницы или разделы сайта не закрыты от индексации. Если это так – все ограничения необходимо убрать.
Поисковые системы ввели санкции
Не редки случаи, когда после покупки или регистрации домена для нового ресурса развертываются масштабные работы по его seo-продвижению. Однако спустя пару месяцев труды не приносят ожидаемых результатов. Поисковики категорически не хотят индексировать сайт. Причина тому – введенные ранее поисковыми системами санкции.
К примеру, если говорить о Яндексе, то достаточно описать проблему техподдержке поисковика. Если ресурс действительно изменился и работает правильно и имеет уникальный контент, то Яндекс его пересмотрит и приступит к индексации.
URL страницы слишком длинный и динамический
Конечно же, url страниц лучшего всего делать статическими. Но если url все-таки динамический и слишком длинный, то тоже может стать причиной отказа поисковых систем в индексировании сайта.
Абсолютно новый ресурс
Если сайт новый, то необходимо разместить на него ссылки с популярных авторитетных ресурсов. Затем важно добавить его в самые распространенные поисковые системы.
Именно эти ошибки являются самыми распространенными и зачастую сказываются на индексации сайта поисковыми системами.
Как можно улучшить индексацию ресурса
- Добавить ресурс в поисковые системы
- Разместить на него ссылки с авторитетных сайтов
- Применять социальные факторы
- Добавлять сайт в сервисы закладок и социальные сети
- Разместить сайт в Google Webmaster и Яндекс Вебмастер
При этом главное не забывать посмотреть, не забанен ли сайт поисковиками. Иногда причиной проблем с индексацией могут быть фильтры поисковых систем. В таком случае надо обратиться в техподдержку, в случае с Яндексом это часто решает проблему, конечно, если Ваш сайт попал под фильтр или бан случайно.
Главное – устранить причину проблем, а не бороться с последствиями. Именно в этом случае удастся добиться отменной индексации сайта поисковыми машинами.