Как узнать, когда сайт появится в поисковиках ? Почему сайт не отображается в поисковике Яндекс

05.03.201924.01.2023

Вы можете задаваться вопросом: почему я сделал сайт, а поисковики всё равно не видят его?

Давайте разберемся, что можно сделать.

Содержание поста

• 1 Начнем с простого: сайт полностью скрыт
  • 1.1 1. Убедитесь, что поисковик знает о сайте
  • 1.2 2. Проверьте файл robots.txt
  • 1.3 3. Сайт может быть под фильтром
• 2 От простого к сложному: не все страницы в поиске
  • 2.1 4. Неуникальные тексты
  • 2.2 5. Страницы-дубликаты
• 3 Итог

Начнем с простого: сайт полностью скрыт

Если ваш сайт отсутствует в поиске и вы хотите разобраться, почему так происходит, начните с причин, которые проще всего проверить.

1. Убедитесь, что поисковик знает о сайте

Индексация наступает естественным образом, когда поисковик сам приходит на ваш сайт по ссылкам с других ресурсов.

Зайдите в поисковую систему Яндекс или Google и введите в стройку поиска site:https://promoexpert.pro (вместо нашего сайта введите свой). Если выдача поиска показала страницы вашего сайта, то он проиндексирован.

Если по запросу site: в выдаче есть страницы с вашего сайта — сайт сканируется

А можно прямым текстом сказать: «пора индексировать мой сайт!». Это делается для каждого поисковика в отдельности с помощью соответствующего сервиса:

• Сообщите Яндексу о новом сайте после регистрации в «Яндекс Вебмастер».
• Добавьте ваш сайт в сервис «Google для веб-мастеров».

Это очень полезные ресурсы. Вы сможете не только отправить запрос на индексацию сайта, но и следить за этим процессом, получать уведомления об ошибках, а также советы по улучшению технической стороны сайта.

Рекомендуем завести аккаунты и в том, и в другом сервисе.

Подпишитесь на телеграм-канал «Промо Эксперт» с Евгением Летовым

Делимся опытом в интернет-рекламе, показываем
кейсы, веселим через мемы. Публикуем бесплатные
инструкции для самостоятельного продвижения.
Сообщаем о вебинарах, семинарах и конференциях.

Подписаться на канал

2. Проверьте файл robots.txt

Файл robots.txt (размещается в корневом каталоге вашего сайта: site.ru/robots.txt) предназначен для того, чтобы давать инструкции роботам-индексаторам из поисковых систем.

С его помощью вы можете скрыть страницы вашего сайта от индексации (например, личный кабинет, корзину покупателя и другие).

Однако если вы видите в robots.txt строки:

User-agent: *
Disallow: /

— значит роботам запрещено посещать ваш сайт.

Дело в том, что веб-студии запрещают поисковикам заходить на ещё неготовый сайт — чтобы он был скрыт от поиска. Ведь лучше, если люди придут смотреть на готовый проект, чем на стройку. Намерения — благие.

Затем этот файл просто забывается (а иногда — оставляется из обиды и «вредности»). Заказчик не может понять, в чем же он ошибся при продвижении сайта. При этом посещаемость сайта формируется только с «визиток».

Срочно удалите этот файл, если он содержит только эти строки. Затем отправьте запрос на индексацию сайта из пункта 1, чтобы сайт начал отображаться в поисковиках.

Подпишитесь на телеграм-канал «Промо Эксперт» с Евгением Летовым

Делимся опытом в интернет-рекламе, показываем
кейсы, веселим через мемы. Публикуем бесплатные
инструкции для самостоятельного продвижения.
Сообщаем о вебинарах, семинарах и конференциях.

Подписаться на канал

3. Сайт может быть под фильтром

Возможно, ваш сайт по каким-то причинам попал под фильтры поисковой системы.

Если на сайт наложен стандартный фильтр (покупные ссылки, плохие тексты), то это легко узнать в разделе «Безопасность и нарушения» в Яндекс Вебмастере. 

Если вы видите такую картину как на рисунке ниже, то нужен глубокий анализ. На рисунке мы видим падение трафика с поисковиков примерно в 4 раза. Раз трафик упал с обоих поисковиков — скорее всего, это не фильтр. А что-то не так с сайтом.

Резкое падение посещаемости сайта одновременно с Яндекса и Google

Сначала нужно установить на какие страницы сайта был трафик. В системе статистики посмотрите раздел «Страницы входа» в периоде, когда трафик был в пике. Затем, если вы удалили эти страницы или стерли с них тексты, нужно всё восстановить. Как узнать, что было на старых страницах? Через Вебархив. 

Если ничего непонятно — делегируйте анализ нам. Заполните форму ниже для краткого бесплатного аудита. Или читайте далее.

Подпишитесь на телеграм-канал «Промо Эксперт» с Евгением Летовым

Делимся опытом в интернет-рекламе, показываем
кейсы, веселим через мемы. Публикуем бесплатные
инструкции для самостоятельного продвижения.
Сообщаем о вебинарах, семинарах и конференциях.

Подписаться на канал

От простого к сложному: не все страницы в поиске

Теперь о случаях, которые требуют больше внимания. Что делать, если сайт лишь частично показывается в результатах?

4.

Неуникальные тексты

Яндекс может наложить санкции за плохой контент. Источник Яндекс Помощь.

Чужой текст на вашем сайте

За слишком «жадное» заимствования (плагиат) поисковик может наложить санкции и исключить из выдачи.

Для разных типов текстов поисковыми системами допускается разная уникальность:

• новости и описания одинаковых товаров могут иметь уникальность порядка 50%,
• другие тексты (особенно описание услуг) должны быть уникальными на 80-90%.

Если вы заказываете тексты, проверяйте их уникальность. Например, с помощью сервиса text.ru.

Ваш текст на чужом сайте (защищаемся от Яндекса)

Google относительно добросовестно следит за авторством текстов, а Яндекс может поставить сайт плагиатора выше, чем сайт настоящего автора — обидно.

Нужно как-то объяснить Яндексу, что автор — вы.

Есть несколько способов:

• Отправить свой текст с помощью формы «Оригинальные тексты» (раздел «Содержание сайта») в Яндекс Вебмастере.
• Сделать копию публикации в социальной сети Google Plus — чтобы зафиксировать дату (помогает в общении с техподдержкой Яндекса).
• Записать CD или распечатать тексты и отправить себе на почту с уведомлением — чтобы также зафиксировать дату (может помочь даже на суде, если вскрыть конверт прямо там).

Подпишитесь на телеграм-канал «Промо Эксперт» с Евгением Летовым

Делимся опытом в интернет-рекламе, показываем
кейсы, веселим через мемы. Публикуем бесплатные
инструкции для самостоятельного продвижения.
Сообщаем о вебинарах, семинарах и конференциях.

Подписаться на канал

5. Страницы-дубликаты

Когда одному и тому же пользовательскому запросу релевантно больше 1 страницы, мы ставим поисковую систему перед выбором: какую страницу показать?

Поисковик разрубает этот «гордиев узел» — он выбрасывает обе страницы из выдачи. Так что с «растеканием релевантности» нужно бороться.

Как можно проверить сайт на наличие страниц-дубликатов?

• Если страниц мало, сделайте список страниц и их заголовков.
  Обратите внимание на дублирующиеся значения в заголовках. Скорее всего, это и есть дубликаты.
• Если страниц много (платный способ), воспользуйтесь специальным сервисом (например, SaitReport.ru).

Система SaitReport определяет дублирование контента на сайте. 

После того, как вы их найдете, задайте сайту более четкую структуру. Помните, на запрос пользователя должна отвечать 1 страница (не более).

Подпишитесь на телеграм-канал «Промо Эксперт» с Евгением Летовым

Делимся опытом в интернет-рекламе, показываем
кейсы, веселим через мемы. Публикуем бесплатные
инструкции для самостоятельного продвижения.
Сообщаем о вебинарах, семинарах и конференциях.

Подписаться на канал

Итог

Мы рассмотрели 5 самых распространенных причин того, почему сайт может пропасть из поисковой выдачи.

Одинаковых сайтов нет. Каждый случай требует индивидуального подхода.

Если вы испытываете затруднения с сайтом, оставьте заявку. Мы свяжемся с вами и подскажем, как решить проблему. Это бесплатно

руководитель отдела продаж

Про поддержку сайтов с национальными сертификатами в Яндекс Браузере / Хабр

Очень много вопросов по этой теме. Оно и понятно: информации мало, противоречивых интерпретаций много. Для нас тема защиты соединений с сайтами близка. Мы пишем на Хабре об этом уже лет восемь. Например, в своё время мы первыми поддержали DNSCrypt прямо в браузере, первыми начали предупреждать о неизвестных корневых сертификатах в системе, первыми включили шифрование трафика для незащищенных Wi-Fi-сетей.

Поэтому сегодня мы расскажем сообществу о происходящем чуть более подробно. Тем, кто очень спешит и хочет получить короткие ответы, достаточно прочитать начало поста. Поехали.

Коротко о главном

1. Национальный удостоверяющий центр выдаёт сертификаты на домены только тех организаций, которые явно это запросили. Полный список этих доменов публично доступен по адресу www. gosuslugi.ru/tls.
2. Яндекс Браузер применяет национальные сертификаты не для всего рунета, а только на тех сайтах, которые есть в списке на www.gosuslugi.ru/tls. Попытка применить сертификат на других доменах приведёт к стандартной ошибке и недоступности сайта для пользователя.
3. Национальные сертификаты используют общепринятую открытую криптографию и работают по стандартным правилам (это обычный RSA с длинным ключом, ровно такой же, какой выписывают другие центры сертификации).
4. Мы работаем над поддержкой стандарта Certificate Transparency и планируем создать публичный лог, в который будут вноситься все выпускаемые национальным центром сертификаты. Мы надеемся, что другие представители индустрии поддержат эту инициативу и запустят дополнительные публичные логи. Это позволит добиться прозрачности в работе с национальными сертификатами.

Подробнее о проблеме

Как вы можете знать, ряд российских сайтов уже столкнулись с отзывом выданных TLS-сертификатов. Напомню, что наличие действующего авторитетного сертификата жизненно важно для любого сайта, который работает с данными пользователей. Без сертификата невозможно удостовериться, что данные передаются именно тому сайту, который указан в адресной строке браузера, а не подделке злоумышленников. Как следствие, любой современный браузер не пускает пользователей на сайт, если его сертификат отозван (это нормальное, ожидаемое поведение).

Проблема в том, что российским сайтам всё сложнее получить такой сертификат. Удостоверяющие центры всё чаще отзывают ранее выданные сертификаты и отказывают в их выдаче. Да, сайты могут начать использовать самоподписанные сертификаты. Но к ним нет и не будет никакого доверия со стороны браузеров из-за отсутствия контроля в их выдаче и применении. А значит, проблема с доступом к сайтам никуда не денется.

К чему это может привести? Вот несколько вариантов:

• Пользователям придётся передавать свои личные данные по протоколу http, то есть без шифрования, в явном виде (такие данные легко похитить на любом участке сети между сайтом и пользователем).
• Потребуется для каждого сайта как-то находить и устанавливать на компьютер его недоверенный корневой сертификат, чтобы браузеры перестали «ругаться» на самоподписанные сертификаты. При этом ни у браузеров, ни у пользователей не будет никакого контроля за их применением. Например, несколько лет назад мы уже рассказывали о злоумышленниках, которые вмешиваются в трафик пользователей, тайно устанавливая корневые сертификаты на компьютер. Так что этот вариант крайне опасен.
• Теоретически браузеры могли бы прекратить проверять сертификаты. Но на практике никто на такое не пойдёт, потому что это равноценно переходу на http. Сертификаты без контроля не имеют смысла. Например, по этой причине мы сознательно вырезали из нашего браузера флаг —ignore-certificate-errors, который поддерживается в проекте Chromium. Потому что это опасно.
• Ещё есть вариант отказаться от использования интернета для всех сценариев, где есть риск перехвата данных.

Вряд ли можно назвать какой-либо из этих вариантов приемлемым.

Описание текущего решения

Есть альтернативная инициатива — создать национальные удостоверяющие центры (НУЦ) и поддержать их корневые сертификаты в браузерах. НУЦ смогут выдавать сертификаты тем (и только тем!) сайтам, которые к ним обратятся. Наличие альтернативы позволит не допустить ситуации, при которой пользователи лишатся доступа к онлайн-сервисам.

Первый такой НУЦ уже появился — на базе Госуслуг. Сейчас он работает так:

1. Юридическое лицо (владелец сайта) отправляет подписанную заявку на Госуслуги.
2. Госуслуги проверяют принадлежность домена.
3. В случае успеха помещают домен в публичный список, который доступен всем по адресу www.gosuslugi.ru/tls.
4. НУЦ выписывает сертификат на сайт. Это обычный RSA с длинным ключом, ровно такой же, какой выписывают другие центры сертификации. Дальше ключи можно использовать как обычные TLS-сертификаты. То есть всё работает согласно общепринятой открытой криптографии и по известным правилам.

Конечно же, это решение не заработало бы без поддержки браузеров. Мы признали неполный авторитет сертификатов НУЦ в Яндекс Браузере в версиях для Windows и Android.

Неполный авторитет — это значит, что сертификаты НУЦ будут признаваться только для тех доменов, которые помещены в публичный список на gosuslugi.ru/tls. Если посещаемого сайта нет в этом списке, то попытка применить новый сертификат приведёт к стандартной ошибке и не даст посетить сайт. И нет, нельзя выпустить сертификат по маске так, чтобы покрыть все домены второго уровня (например, все *.ru) — на стороне Браузера такое просто не заработает. Кроме того, все входящие к нам изменения этого списка будут проходить через контроль явных ошибок. Если очень грубо, то это первый шаг к Certificate Transparency, чтобы обеспечить аудируемость процедуры выдачи сертификатов.

Наши планы

Текущее решение, конечно же, требует развития. Основной способ завоевания доверия к центру сертификации — это открытость. И здесь мы планируем несколько вещей.

Прежде всего, хотим организовать рассылку уведомлений в Яндекс Вебмастере тем владельцам сайтов, для которых зафиксирован выпуск сертификатов.

Наша более глобальная инициатива — поддержать стандарт Certificate Transparency (CT) и поднять публичный лог, в который НУЦ будет записывать выпущенные сертификаты. Если посещаемого пользователем сайта не будет в этом логе, то браузер выдаст ошибку ERR_CERTIFICATE_TRANSPARENCY_REQUIRED и не даст его открыть.

Мы хотим, чтобы наш Браузер проверял сертификаты не по одному, а по нескольким независимым друг от друга публичным логам, поэтому призываем других участников рынка присоединиться к инициативе и поднять дополнительные логи по стандарту CT.

Публичные логи позволят владельцам сайтов в любой момент времени проверить, выпускались ли сертификаты для их доменов. Более того, мы надеемся на появление внешнего аудита, который будет мониторить логи на предмет расхождений. Для удобства внешнего аудита мы хотим запустить аналог инструмента developers.facebook.com/tools/ct.

Большая просьба: если вы знаете, как сделать лучше, — приходите, советуйте. Хотите покритиковать решения — критикуйте и предлагайте улучшения.

P. S. Пока оформлял этот пост, прилетела новость: центр сертификации DigiCert, обслуживающий около 50 тыс. российских сайтов, ограничил им выдачу сертификатов.

Update. Опубликовали на Гитхабе исходный код, который позволяет добавить поддержку сайтов с национальными сертификатами в любой браузер на основе Chromium.

Update 2. Опубликовали на Гитхабе библиотеку для мобильных приложений (Android и iOS), которая поможет открывать сайты с национальными сертификатами в webview.

конфиденциальность — Есть ли в браузере Яндекс известные записи отслеживания пользовательских данных и паролей?

Задавать вопрос

спросил 5 лет, 3 месяца назад

Изменено 5 лет, 3 месяца назад

Просмотрено 2к раз

Я установил Яндекс Браузер (на основе Chromium) на Windows 10. Я использую LastPass для входа в систему, поэтому я попросил Яндекс не запоминать пароли.

Когда я пытался войти на другой веб-сайт, появилось всплывающее окно с сообщением « Вы уже использовали этот пароль для домена1, поэтому не рекомендуется использовать его для домена2″ что-то в этом роде.

Если я попросил не запоминать пароль для домена1, то как он узнал, что я использую тот же пароль для входа в домен2 . Это заставило меня подозревать Яндекс, например, записывает ли он мои нажатия клавиш или шпионит.

Пожалуйста, дайте мне знать, если у кого-то из вас есть опыт работы с Яндекс. Заранее спасибо!

• конфиденциальность
• веб-браузер
• утечка данных
• безопасность учетной записи
• отслеживание пользователей

4

Вы можете увидеть в документации, как работает функция пароля:

• Защита персональных данных Яндекс. Браузера — Пароли (Новое)

После ввода пароля на важном сайте Яндекс.Браузер создает для него отпечаток (хэш) и сохраняет его в своей базе данных. Когда вы вводите пароли на других сайтах, браузер сравнивает их хэши с теми, что есть в его базе данных. Если есть совпадение, в правой части SmartBox появится значок, предупреждающий вас. Браузер попросит вас подтвердить, что вы хотите использовать один и тот же пароль на нескольких веб-сайтах, прежде чем отправлять пароль на сервер.

• Защита персональных данных Яндекс.Браузера — Пароли (Классический)

Лучшее, что вы можете сделать сейчас, это удалить всю активность в вашем Яндекс.Браузере и проверить каждый шаг настроек, чтобы вы могли убедиться, что настроено НЕ запоминать вводимый вами пароль.

1

Все функции браузера «запомнить пароль» будут действовать как менеджер паролей для вашего пароля.

Таким образом, для любого разработчика браузера не составит труда создать такие дополнительные функции диспетчера паролей, чтобы определять, что пользователь вводит что-то в форму ввода HTML, напоминающее пароль, и использовать его для проверки хеша хранилища паролей. Любой менеджер паролей плагинов/расширений для браузера будет делать то же самое.

Если вам не нравятся такие функции, вы можете их отключить.

3

Центр поддержки AdGuard | AdGuard

Прежде всего, убедитесь, что все необходимые фильтры включены. Это можно сделать в Меню → Фильтры. Базовый фильтр и фильтры для вашего языка необходимы. Включите их, а затем проверьте наличие обновлений фильтров, нажав на значок со стрелками в правом верхнем углу главного экрана.

Если не помогает, проверьте Меню → Белый список. Если есть строка, содержащая проблемный веб-сайт, удалите эту запись.

• Это помогло

• Не помогло

Рады, что можем помочь!

Закрыть

Пожалуйста, свяжитесь со службой поддержки

Проблема, с которой вы столкнулись, требует дальнейшего изучения.

Пожалуйста, напишите по адресу [email protected]. Наши инженеры службы поддержки свяжутся с вами в ближайшее время.

Закрыть

Загрузка AdGuard Чтобы установить AdGuard, нажмите на файл, указанный стрелкой Выберите «Открыть» и нажмите «ОК», затем дождитесь загрузки файла. В открывшемся окне перетащите иконку AdGuard в папку «Приложения». Спасибо, что выбрали AdGuard! Выберите «Открыть» и нажмите «ОК», затем дождитесь загрузки файла. В открывшемся окне нажмите «Установить». Спасибо, что выбрали AdGuard!

Установите AdGuard на ваше мобильное устройство

Установка

Установить AdGuard для Android можно только вручную. Подробнее об ограничительной политике Google Play читайте в нашем блоге.

Разрешите установку приложений из неизвестных источников в настройках вашего устройства. В Android 8 или выше: коснитесь загруженного APK-файла AdGuard, а затем «Установить». Если установка из браузера запрещена, вы получите уведомление. В этом уведомлении нажмите «Настройки» → «Разрешить из этого источника» → «Назад» → «Установить».

Инструкция для старых версий Android

Для Android 7: предоставить браузеру доступ к репозиторию. Затем согласитесь скачать формат APK. Откройте загруженный файл и установите AdGuard.

Для Android 6: откройте «Настройки», затем выберите «Дополнительные настройки» в разделе «Система и устройство».