Почему Яндекс не индексирует сайт
Прежде чем сеять панику, необходимо понять следующую вещь. Индексация в яндексе зачастую происходит дольше, чем в Google. Поэтому, если ваш сайт совсем новый, и вы только недавно отправили его на индексацию, то следует немного подождать. Средний срок индексации в Яндексе составляет около 2-3х недель.
Если Яндекс не индексирует сайт в течение месяца
Если же проблема не решается в течение месяца, то необходимо рассмотреть следующие варианты:
Закрыт вход на ваш сайт
Вероятность данной ситуации, крайне мала, однако существует, поэтому в первую очередь рекомендуется проверить файл Robots.txt на предмет открытия доступа к сайту.
Неправильный тег <noindex>
Использование данного тега, связано с тем, чтобы определенный код не попал в индекс Яндекса. На некоторых сайтах наблюдается такая ошибка: открытый тег <noindex> в начале сайта в шапке забывали закрыть, в конечном итоге весь код страницы «прячется» от робота.
Иностранный язык на сайте
Система Яндекс предрасположена к использованию на просторах рунета, в связи с чем, возникают трудности индексации, если используемый язык на сайте отличен от языков стран СНГ. Решить данную проблему можно путем обращения в службу поддержки.
Что делать если сайт не индексируется ни одной системой
Заметив данную проблему, следует обратить внимание на следующее:
Мета-тег Robots
При наличии на странице подобного тега <meta name=»robots» content=»noindex, nofollow»> приведет к не индексации.
Плохая HTML-разметка
Неправильно вложенные теги, могут создать проблемы для роботов в процессе разбора страницы. Конечным результатом ошибки в разметке может стать либо полная не индексация, либо ухудшение ее ранжирования.
Медленная загрузка сайта
В каждой поисковой системе у роботов существует лимит времени, за который они обращаются к веб – страницам. Если страница не открылась после нескольких запросов, робот не сможет узнать какую информацию необходимо поместить в свой индекс.
Довести загрузку страницы до времени в доли секунд не является необходимым, достаточно 3-4 секунд, это будет приемлемо. В основном время загрузки сайта зависит от хостинга, поэтому данному вопросу необходимо уделять особое внимание, чтобы не столкнуться с массой возможных проблем.
Возникновение ошибок сервера с кодами 4хх и 5хх
Вместе со страницей, которую мы видим, когда заходим на сайт, сервер отдает и код этой страницы. Часто возникает внутренняя ошибка сервера, которая имеет код 500. Возникает данная ошибка не из-за плохого качества хостинга, а из-за неправильных серверных скриптов, которые написал владелец сайта. Ошибка 404 так же достаточно распространена, она сообщает о том, что страница не найдена, при этом вместо страницы выводится специальная страница с сообщением «Страница не найдена». В обоих случаях поисковый робот не индексирует полученную страницу, так как её код говорит о проблемах на данной странице.
Отсутствует настройки домена с www и без www
Это не распространенная причина, но она все же встречается.
Правильным подходом является настройка работы сайта на каком-нибудь одном домене:
http://blog.ru
http://www.blog.ru
Для поисковой системы Яндекс настроить эту функцию можно с помощью файла Robots.txt либо же нужно указать главное зеркало в панели вебмастера. Самым лучшим вариантом, является настройка 301-го редиректа в .htaccess.
Худший вариант – домен имеющий “плохую” историю
Вероятнее всего вы подобрали доменное имя, которое раньше имело плохую репутацию у поисковых роботов. К примеру, это мог быть дорвей или adult-ресурс. Либо же данный сайт занимался активной продажей ссылок с автобирж, за это и получил бан в поисковых системах. Если на данном домене имело место злоупотребление черными SEO методами, то к новому ресурсу поисковые роботы определенное время будут относиться особенно, и нормальной индексации необходимо будет подождать.
Почему яндекс не индексирует сайт?
Ответы на пост (38) Написать ответ
Если одна страница есть, то не в хостинге проблема, просто совпадение.
А проблема в том что все ваши внутренние страницы стоят в noindex, Внутренние ссылки — 238, индексируется — 0,вы запретили индексировать Ваш сайт. Снимите ограничения. И добавте сайт снова в Яндекс.
Я продвинул свой сайт с помощью прогона, заказывал на сервисе http://www.anacron.ru/ после прогона тиц увеличился на 20 пунктов, посещаемость выросла на 30%, вот вам и все продвижение
Может потому что таких бесполезных сайтов от школьников уже миллионы? И никакой реальной ценности для пользователей они не несут?
Как Вы думаете…?
Ayk72
23
20.12.2011 15:44
Возможно, что из-за того, что не заплатили. (Если это так, то через пару недель вернется. Яшу нормально не штормило уже больше недели).
Это мой первый сайт реальная ценность в этом для меня поэтому и стараюсь его поддерживать.
Насчет того что их миллионы так сайтов любой тематики миллионы надо с чего то начинать. Ссылки заключены в ноиндекс это я видел и мне кажется в роботс тхт. Вот мой obots.txt
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Sitemap: http://filmoteka26.ru/sitemap.xml
Может кто подскажет где я запретил индексировать внутренние ссылки?
роботс чист. Ищите в шаблоне.
mav123
1073
20.12.2011 16:55
acleaning говорит про ценность для пользователей, а не про ценность для тебя.
Для тебя это твой ценный, первый, любимый и самый крутой сайт о фильмах. Это понятно. А вот для ПС — очередной ГС на ДЛЕ среди тысяч подобных сайтов.
Строчку Allow: / нужно поместить в конец robots.txt перед строкой Sitemap.
Более подробную информацию Вы найдете на странице Помощи http://help.yandex.ru/webmaster/?id=996567#996575 .
—
С уважением, Платон Щукин
Служба поддержки Яндекса
http://help.yandex.ru/
Была похожая проблема, писал Платону, вот что он предложил:
Скорее всего «запрет» начинается в строках Disallow: /*….
Уберите после слэшей символ «*» (звездочка), и пргопишите конкретные пути для запрета индексирования.
http://help.yandex.ru/webmaster/?id=996567
5. Использование спецсимволов «*» и «$»
При указании путей директив Allow-Disallow можно использовать спецсимволы ‘*’ и ‘$’, задавая, таким образом, определенные регулярные выражения.
Спецсимвол ‘*’ означает любую (в том числе пустую) последовательность символов. Примеры:
User-agent: Yandex
Disallow: /cgi-bin/*.aspx # запрещает ‘/cgi-bin/example.aspx’
# и ‘/cgi-bin/private/test.aspx’
Disallow: /*private # запрещает не только ‘/private’,
# но и ‘/cgi-bin/private’
Есть второй сайт тоже на дле у него все внутренние ссылки индексируются все ок. Загрузил robots.txt с него в корень сайта filmoteka26.ru . Потом поменял шаблон на bulet energi, еще посмотрел файл main там кроме Метрики ничего в ноиндекс не заключено. И все равно запрет на внутренние ссылки. Какие мысли есть еще всем буду рад.
http://pr-cy.ru/link_extractor?url=filmoteka26.ru
вроде все норм.
Точнее вопрос стоит так где можно еще кроме main.tpl , robots.txt запретить индексацию внутренних ссылок? В самих новостях при добавлении фильмов в тег ставлю только коды фильмов.
А по этой ссылке показывает что не индексируется. По ходу надо с другого браузера зайти что ли.
http://pr-cy.ru/analysis/filmoteka26.ru
Заходил с другого браузера та же история ссылки не индексируются. Хотя другой ресурс говорит что есть
http://webmasters.ru/tools/express?url=filmoteka26.ru
1073
20.12.2011 18:04
Так стоп!
1. Не стоит так часто и тупо менять шаблон. (так точно не попадёшь в индекс)
2. Загрузил новый robots.txt — отредактируй под сайт. (так точно не попадёшь в индекс)
3. Слово «онлайн» в меню. А по 2 раза написать не лучше?! «Мульты онлайн онлайн» круче же для оптимизации? (!сарказм!) Убирай к хренам, это поисковой спам, за который сайты вылетают из выдачи.
И не надо мудрить с внутренними ссылками.
Меняю шаблон в течении 1-2 часов за это не выкинут из индекса.
Роботс тоже с дле той же версии и то же на пару часов не больше чтобы просто проверить (за это время никто меня в бан не закинет).
Поисковый хлам уберу спасибо за совет.
С внутренними ссылками не мудрю наоборот хочу узнать почему они не индексируются на разных шаблонах.
mav123
1073
20.12.2011 18:33
Советую пользоваться не левыми сервисами, а инструментами самих поисковиков (их бывает вполне достаточно для работы).
За 1-2 часа не выкинут, но мигание привлечёт не очень хорошее внимание.
Не индексируются из-за неуникального контента. Запрета на индексирование в коде не вижу.
Контент в том то и дело что уникален на 100% все куплено на бирже текст сале. немного сам написал.
mav123
1073
20.
Контент — это не только буквы…
Копированный описаний к фильмам нет ни одного!
Мигание меня сейчас не волнует потому что сайт и так не в индексе куда уж хуже. Меня волнует одно почему при уникальном контенте который каждый день стараюсь обновлять он в индекс и не собирается хотя в дурилку добавляется. С гуглом все проще он все хавает отлично.
А Вы тексты читали, которые «покупаете»? Яндекс учитывает не только «уникальность синонимов», но и грамматику. Да, алгоритм настолько совершенен, что тексты без запятых не включает в индекс. К чему пользователю нужно читать описание к новому фильму, да еще и с одним миллионом ошибок, если этих описаний до Вас написали тысячи порталов??
Уж не нужно нас обманывать, для чего Вы создали очередной ГС. 🙂 И уж определитесь, первый это Ваш сайт, или второй? А то, что-то заврались маленько :))
Печально, но рекомендую Вам забросить это дело.
p.
s. Там не только пунктуационные ошибки, но и грамматические.
Только на главной странице, невооруженным взглядом, я насчитал больше семидесяти ошибок.
Хи-хи. А что такое — «распиратор»??
Добавлю Ваш сайт в закладки. Когда мне будет грустно, Ваши описания фильмов обязательно развеселят. :))
Вот, например:
«Онлайн сериал Терра Нова повествует о будущем нашей любимой планеты, о том как люди в конец засорили атмосферу планеты дышать людям приходится через распираторы и кушать всякую дрянь потому как. Апельсин и тот кажется безмерной роскошью который может позволить себе не каждый. Семья состоит обязательно из четырех человек и не больше. То есть муж, жена и двое детей и ни дай бог завести третьего, а тем более четвертого. Ты становишься изгоем, ребенка отбирают в специальные учреждения. И вот герои фильма Терра Нова оказываются в такой ситуации что приходится прятать ребенка от сыщиков. Но постоянные обыски делают свое дело и девочку находят.
Сайт этот мой первый (который я купил здесь) ничего я не заврался. Есть еще один совсем на другую тематику с ним вроде все ок. Грамматические ошибки есть не спорю (у кого их нет на первом сайте) кстати в основном они сделаны намеренно исходя из слов которые раскручивал в свое время. Ну конечно есть и от невнимательности не без этого. Неужели Яндекс выпулил сайт из за них?
Первый раз читаю в нете об этой причине бана яндекса!
Существуют же сайты дорвеи на которых в основном копипаст.
Копипаст, и «искажение русского языка» — два разных понятия.
За первое — сайт понижают в поисковой выдаче. За второе — исключают из поисковой выдачи.
В help.yandex.ru вроде упоминается об этом, так что «намеренно» делать пунктуационные ошибки не нужно. Из-за этого текст теряет смысл, да и читать его неудобно.
Ладно спасибочки за объяснения бросать сайт конечно не буду, а буду исправлять ошибки которые мы с вами нашли.
1) Исправлю все грамматические ошибки.
2) Все таки разберусь почему внутренние ссылки неиндексируются.
По моему и вы тоже извините за тавталогию.
Вы сначала исправьте всё, что мы с вами нашли, а затем напишите Платонам. В письме конкретно укажите, что проделали много работы, исправили недочеты. Хотя на мой взгляд, Вы не всё нашли 🙂
Проведите SEO оптимизацию сайта. На страницах с фильмами, отсутствует текст. Это тоже можно счесть за спам.
(в Вашей ситуации, так как сайт новый).
И работайте все же для людей, а не для будущей прибыли.
На Вашем месте сделал бы сайт про рыборк 🙂 Это намного интереснее и увлекательнее. ))))
Я сделал сайт почти про рыбок)))). Я же говорю этот сайт у меня экспериментальный (первый) я на нем не зарабатываю и зарабатывать не собирался. Еще вопрос такой — на странице с фильмами нужен тоже оригинальный текст или можно дублировать?
Яндекс не сканирует индекс карты сайта
Задавать вопрос
спросил
Изменено 2 года, 1 месяц назад
Просмотрено 66 раз
Я отправил файл индекса карты сайта (тот, который ссылается на другие карты сайта, содержащие фактические URL-адреса, которые поисковые системы должны сканировать).
Он сжат GZip.
Используя инструмент проверки карты сайта Яндекса, он сообщает мне, что карта действительна, содержит 202 ссылки и не содержит ошибок.
Однако в Яндекс Вебмастере он отображается с маленьким серым значком в колонке статуса. При нажатии пишет «Не проиндексировано».
Яндекс не индексирует ссылки в файле, все новые. Хотя он заявляет, что ознакомился с картой сайта.
Есть идеи, что может быть не так?
ОБНОВЛЕНИЕ
В этом случае мои карты сайта были заблокированы от Яндекс Бота. Убедитесь, что ваши карты сайта можно сканировать с помощью инструмента анализа robots.txt. Валидатор карты сайта скажет, что они хороши, и не покажет ошибку, если они не доступны для сканирования.
- yandex
- yandex-webmaster-tools
Яндекс перечисляет некоторые причины, по которым карта сайта будет отображаться как не проиндексированная здесь. Может просто еще не обработано.
Файл Sitemap может быть не проиндексирован по нескольким причинам:
- Робот недавно просканировал файл Sitemap и еще не обработал его.
Подождите две недели.
- Если вы используете файл индекса Sitemap с несколькими файлами, их обработка может занять больше времени, чем один файл Sitemap.
Подождите две недели.1
Зарегистрируйтесь или войдите в систему
Зарегистрируйтесь с помощью Google
Зарегистрироваться через Facebook
Зарегистрируйтесь, используя адрес электронной почты и пароль
Опубликовать как гость
Электронная почта
Требуется, но не отображается
Опубликовать как гость
Электронная почта
Требуется, но не отображается
Нажимая «Опубликовать свой ответ», вы соглашаетесь с нашими условиями обслуживания, политикой конфиденциальности и политикой использования файлов cookie
.
[PDF] Яндекс: Обзор Инструментов для веб-мастеров и рекомендации
Яндекс: Инструменты для веб-мастеров Обзор и рекомендации
Программа • Введение • Регистрация • Возможности и инструменты
© COPYRIGHT 2015, ICROSSING, INC. • Она занимает почти 60% рынка в России с опорными пунктами в Польше, Украине, Казахстане, Белоруссии и Турции. • Яндекс лучше для русскоязычного поиска. Яндекс был создан специально для российского рынка и лучше анализирует намерения пользователя, чем орфографию на русском языке. • Яндекс также предлагает поиск на английском языке, что означает, что у вас есть потенциал для извлечения трафика из России.
© COPYRIGHT 2015, ICROSSING, INC.
4
Алгоритм Яндекса • MatrixNet — российский алгоритм приоритета страниц (аналог PageRank). • Он измеряет популярность сайта, а также сумму и релевантность обратных ссылок для определения оценки тематического индекса цитирования (TIC), которая играет роль в MatrixNet.
• TIC оценивается по шкале от 0 до 10 000 и одинаков для каждой страницы веб-сайта, поэтому он не зависит от страницы за страницей, как PageRank. • Плагин под названием Yandex Elements позволит вам увидеть эту оценку: — https://elements.yandex.com.tr/
© COPYRIGHT 2015, ICROSSING, INC.
5
Регистрация
Возможности Яндекса без регистрации • Вы можете отправить свой сайт на Яндекс, не имея учетной записи Инструментов для веб-мастеров. • Функции, к которым вы можете получить доступ без регистрации, включают: — Отправка сайта — Проверка индексации вашего сайта Яндексом — Анализ файла robots.txt вашего сайта — Сообщение о результатах поиска спама и удаление вашего URL из поиска — Проверка файла Sitemap, XML-фида и микроформатов
© АВТОРСКОЕ ПРАВО 2015, ICROSSING, INC.
7
• Однако регистрация сайта и использование Инструментов для веб-мастеров могут помочь получить более глубокое представление.
Регистрация аккаунта в Инструментах Яндекса для веб-мастеров • Получите аккаунт в Яндекс.
Паспорте. Зарегистрируйтесь со следующей информацией: — Имя и фамилия (фамилия) — Имя пользователя — Пароль учетной записи — Мобильный телефон (сброс паролей) — Дополнительный адрес электронной почты (сброс паролей) — Контрольный вопрос (сброс паролей)
• Если вы зарегистрировались с номер мобильного телефона, Яндекс отправит вам SMS с кодом подтверждения, который необходим для завершения процесса регистрации. © АВТОРСКОЕ ПРАВО 2015, ICROSSING, INC.
Добавьте свой веб-сайт • После входа в систему нажмите ссылку «Добавить сайт». • Введите URL вашего сайта в поле и нажмите «Добавить сайт».
© COPYRIGHT 2015, ICROSSING, INC.
Регистрация учетной записи Yandex Webmaster Tools • У вас есть 4 варианта проверки сайта: простой и рекомендуемый метод. Скопируйте HTML-код и вставьте его в шапку вашего сайта. Обратите внимание, это должно быть на всех страницах вашего сайта — Файл Txt — Создайте пустой текстовый файл с указанным именем, предоставленным Яндексом, и загрузите его в корневой каталог вашего сайта — По DNS — Создайте запись CNAME, предоставленную Яндексом, в вашем настройка DNS сайта
• После проверки одним из этих способов опубликуйте и нажмите «Проверить», чтобы узнать, может ли Яндекс получить доступ к вашему сайту.
© COPYRIGHT 2015, ICROSSING, INC.
Функции и инструменты
Отправка карты сайта • Добавление карты сайта: — — —
—
— —
© COPYRIGHT2 2015, ICROSSING, INC. в разделе «Параметры индексирования» на вкладку «Файлы Sitemap» в разделе «Параметры индексирования» и нажмите «Добавить». (Только для форматов XML и Text) Статус будет отображаться OK. Вы можете проверить свой файл Sitemap перед отправкой на наличие ошибок, используя их Sitemap Validator • https://webmaster.yandex.com/sitemaptest.xml «Дополнительная информация» покажет сведения о текущей версии, доступной в поиске, и последнем обновлении. Версия карты сайта Обработка новой версии роботом Яндекса может занять две недели. Яндекс не предоставляет возможность повторно отправить карту сайта. Единственный способ — сначала удалить существующий, а затем отправить новый
Инструмент проверки ответа сервера • Это похоже на «выбрать как Google», чтобы помочь веб-мастерам устранять неполадки со страницами с ошибками, которые не индексируются при поиске ЯндексБотом • Вы можете получить доступ к этому инструменту в нескольких местах: —
После входа в систему в свою учетную запись, вы можете увидеть ссылку справа в разделе «Мои сайты» — опция «HTTP-коды» доступна в разделе «Индексирование» — опция «Исключенная страница» доступна в разделе «Индексация»
• Как использовать этот инструмент: —
© АВТОРСКОЕ ПРАВО, 2015, ICROSSING, INC.
Введите правильный формат URL-адреса, выберите тип робота Яндекса и нажмите «Проверить» — Код ответа поможет вам проанализировать ошибки — Контент страницы позволяет увидеть контент так, как его видит YandexBot
Вариант «Исключенные страницы» • Перейти в «Исключенные страницы» опция доступна в разделе «Индексирование». Яндекс покажет страницы вашего сайта, не проиндексированные ЯндексБотом, по разным категориям: — — —
Страницы ошибок HTTP (404) URL-адреса, заблокированные Robots.txt Неподдерживаемые форматы страниц, например, Sitemap
• Вы можете установить уровень важности для этих кодов ошибок, нажав «Настройки». • Нажмите «Ссылки на страницы» в отчете о состоянии в формате HTML, чтобы просмотреть внешние и внутренние страницы, ссылающиеся на страницу с ошибкой. © COPYRIGHT 2015, ICROSSING, INC.
Сообщить о спаме • Алгоритм Яндекса учитывает исключительно взаимодействие с пользователем и показатели ранжирования ключевых слов, а не ссылки, поэтому он может отфильтровывать спам-ссылки.
• Вы также можете сообщить о внешних ссылках на ваш сайт, если они содержат вирус, фишинг или спам в поисковых системах. —
© COPYRIGHT 2015, ICROSSING, INC.
https://webmaster.yandex.com/delspam.xml
Удалить URL-адрес • Вы можете запросить удаление URL-адреса, когда страница больше не существует на вашем сайте. Это ускорит процесс удаления из индекса Яндекса. • Крайне важно, чтобы страница возвращала ошибку 404, чтобы Яндекс мог обработать ваш запрос. —
© COPYRIGHT 2015, ICROSSING, INC.
https://webmaster.yandex.com/delurl.xml
Robots.txt • Вы можете загрузить файл robots.txt со своего сайта в этот инструмент и проверить, чтобы посмотреть, соблюдает ли робот Яндекса правила файла. • Вы также можете создать файл Robots.txt, который вам нужно будет вручную загрузить на свой веб-сайт, чтобы изменения вступили в силу. —
© COPYRIGHT 2015, ICROSSING, INC.
https://webmaster.yandex.com/robots.xml
Структурированные данные • Яндекс имеет Валидатор микроформата для проверки семантической разметки вашего сайта: —
Микроданные
—
Schema.