Защита от роботов. Руководство разработчика

Авторами поисковых запросов могут быть не только пользователи, но и роботы. При большом потоке запросов от роботов могут быть превышены ограничения, наложенные на использование Яндекс.XML.

Для предотвращения несанкционированных обращений роботов к поиску используется алгоритм защиты. Если предполагается, что запрос задан роботом, вместо результатов поиска возвращается CAPTCHA (статья в Википедии про CAPTCHA).

Для использования алгоритма защиты от роботов партнер должен передавать сведения об IP-адресе и куке spravka автора запроса. Кука spravka формируется на стороне Яндекс.XML и возвращается при первом обращении пользователя за результатами поиска. В полученном значении партнер должен заменить домен на свой, а затем добавить следующую строку к поисковому ответу:

Set-Cookie: spravka=...

Сведения об IP-адресе и куке spravka передаются в заголовке запроса в формате:

X-Real-Ip: 99.  999.999.99
Cookie: spravka=<значение, переданное от Яндекса>

Диаграмма последовательности действий, выполняемых для защиты от роботов, приведена на рисунке ниже.

1. Пользователь отправляет запрос партнеру Яндекс.XML.

2. Поисковый запрос отправляется сервису Яндекс.XML. Запрос должен соответствовать заданному формату.

3. Яндекс.XML инициирует выполнение алгоритмов защиты от роботов. Для проверки используются значения IP-адреса и куки spravka (если ранее выставлена).

   Возможные результаты проверки:

   • Предположительно, запрос отправлен не роботом. Выполняется переход к пункту 13.

   • Предположительно, запрос отправлен роботом. Принимается решение об отображении CAPTCHA.

4. Яндекс.XML возвращает партнеру XML-файл следующего формата:

   <?xml version="1.0" encoding="utf-8"?>
   <yandexsearch version="1.0">
   <response>
      <error code="100">Robot request</error>
   </response>
   <captcha-img-url>http://captcha.
     image.gif</captcha-img-url>
   <captcha-key>Идентификационный номер CAPTCHA</captcha-key>
   <captcha-status>Статус</captcha-status>
   </yandexsearch>

5. Пользователю возвращается страница, содержащая CAPTCHA.

6. Пользователь отправляет значение CAPTCHA партнеру.

7. Партнер отправляет полученное от пользователя значение CAPTCHA GET-запросом следующего формата:

   https://yandex.ru/xcheckcaptcha?key=<идентификационный номер CAPTCHA>&rep=<введеное пользователем значение CAPTCHA>

8. Полученное значение проверяется сервисом Яндекс.XML. Если введено некорректное значение CAPTCHA, выполняется переход к пункту 4. При этом в параметре

   captcha-status передается значение «failed».

9. Если введено корректное значение CAPTCHA, Яндекс.XML выставляет пользователю куку spravka и передает ее партнеру в заголовке следующего формата:

   HTTP/1. 1 200 OK
   Set-Cookie: spravka=<значение куки>

   Если запрос, переданный в Яндекс.XML на шаге 1 был успешно сохранен, выполняется переход к шагу 12.

10. Партнер предлагает пользователю ввести запрос.

11. Пользователь отправляет запрос партнеру Яндекс.XML.

12. Поисковый запрос отправляется сервису Яндекс.XML. С запросом передается IP-адрес пользователя и кука spravka.

13. Яндекс.XML обрабатывает поисковый запрос и формирует результаты.

14. XML-файл с результатами поиска возвращается партнеру.

15. Партнер возвращает обработанный ответ пользователю. Если на шаге 9 Яндекс.XML выставил куку spravka, она сохраняется у пользователя.

Совет. Для ознакомления с реализацией приведенной схемы используйте данный скрипт.

Для ознакомления с форматом ответа, возвращаемого Яндекс.XML в случае отображения CAPTCHA, необходимо отправить в качестве запроса (значение параметра query поискового запроса) следующую строку: «e48a2b93de1740f48f6de0d45dc4192a».

Следующий GET-запрос может быть использован пользователем «xml-search-user» для ознакомления с форматом ответа, возвращаемым в случае отображения CAPTCHA:

wget -q --header="X-Real-Ip: 127.0.0.1" -SO- 'https://yandex.ru/search/xml?user=xml-search-user&key=03.44583456:c876e1b098gh65khg834ggg1jk4ll9j8&query=e48a2b93de1740f48f6de0d45dc4192a&showmecaptcha=yes'

Обход Yandex SmartCaptcha с помощью API сервиса по решению капч 2Captcha

Процесс решения обычной капчи заключается в следующем: мы забираем изображение капчи со страницы ее размещения и передаем в сервис 2Captcha, где ее решает работник, после чего нам возвращается ответ, который необходимо ввести в соответствующее поле для решения капчи

API демонстрацияКак решить

Процесс решения текстовой капчи заключается в следующем: мы забираем текстовый вопрос капчи со страницы ее размещения и передаем в сервис 2Captcha, где ее решает работник, после чего нам возвращается ответ, который необходимо ввести в соответствующее поле для решения капчи

API демонстрацияКак решить

Процесс решения заключается в следующем: мы забираем изображение капчи со страницы ее размещения и инструкцию, по каким картинкам необходимо кликать и передаем в сервис 2Captcha, где ее решает работник, после чего нам возвращается ответ в виде набора координат точек на изображении, по которым необходимо кликнуть для решения капчи

API демонстрацияКак решить

Процесс решения Rotate Captcha заключается в следующем: мы забираем изображение капчи со страницы ее размещения и передаем в сервис 2Captcha, где ее решает работник, после чего нам возвращается ответ в виде значения угла поворота изображения, на который необходимо повернуть изображение для решения капчи

API демонстрацияКак решить

Процесс решения reCAPTCHA V2 заключается в следующем: мы забираем параметры капчи, необходимые для ее решения в виде параметра data-sitekey и адреса страницы размещения капчи и передаем их в сервис 2Captcha, где ее решает работник, после чего нам возвращается ответ в виде токена, который необходимо ввести в соответствующее поле для решения капчи

API демонстрацияКак решить

Процесс решения reCAPTCHA V2 Callback не отличается от аналогичного процесса решения reCAPTCHA V2: мы забираем параметры капчи, необходимые для ее решения в виде параметра data-sitekey и адреса страницы размещения капчи и передаем их в сервис 2Captcha, где ее решает работник, после чего нам возвращается ответ в виде токена, который необходимо ввести в соответствующее поле для решения капчи. Иногда вы не найдете кнопки, отправляющей форму. Вместо нее может использоваться callback-функция. Эта функция выполняется, когда капча распознана. Обычно callback-функция определена в параметре data-callback или как параметр callback у функции grecaptcha.render

API демонстрацияКак решить

Процесс решения невидимой капчи reCAPTCHA V2 Invisible аналогичен распознаванию reCAPTCHA V2 и заключается в следующем: мы забираем параметры капчи, необходимые для ее решения в виде параметра data-sitekey и адреса страницы размещения капчи и передаем их в сервис 2Captcha, где ее решает работник, после чего нам возвращается ответ в виде токена, который необходимо ввести в соответствующее поле для решения капчи

API демонстрацияКак решить

Процесс решения reCAPTCHA V3 следующий: мы забираем параметры капчи, необходимые для ее решения в виде параметра data-sitekey, параметра action и адреса страницы размещения капчи и передаем их в сервис 2Captcha, где ее решает работник с соответствующим рейтингом «человечности”, после чего нам возвращается ответ в виде токена, который необходимо ввести в соответствующее поле для решения капчи. Во многом новый вид капчи похож на reCAPTCHA V2, т.е. основной принцип остался тем же — пользователь получает от API 2Captcha токен, который отправляется в POST-запросе к сайту, а сайт верифицирует токен через API reCAPTCHA

API демонстрацияКак решить

Процесс решения reCAPTCHA Enterprise заключается в следующем: определяем тип reCAPTCHA, он может быть V2 или V3, после чего мы забираем параметры капчи, необходимые для ее решения в виде параметра data-sitekey и адреса страницы размещения капчи и передаем их в сервис 2Captcha, где ее решает работник, после чего нам возвращается ответ в виде токена, который необходимо ввести в соответствующее поле для решения капчи

Как решить

Процесс решения KeyCaptcha заключается в следующем: мы забираем набор необходимых параметров со страницы ее размещения и передаем в сервис 2Captcha, где ее решает работник, после чего нам возвращается ответ в виде набора уже других параметров, который необходимо передать в соответствующие поля для решения капчи

API демонстрацияКак решить

Процесс решения GeeTest Captcha заключается в следующем: мы забираем набор необходимых параметров со страницы ее размещения и передаем в сервис 2Captcha, где ее решает работник, после чего нам возвращается ответ в виде набора уже других параметров, который необходимо передать в соответствующие поля для решения капчи

API демонстрацияКак решить

Процесс решения заключается в следующем: мы забираем параметры капчи, необходимые для ее решения в виде параметра data-sitekey и адреса страницы размещения капчи 2Captcha и передаем их в сервис 2Captcha, где ее решает работник, после чего нам возвращается ответ в виде токена, который необходимо ввести в соответствующее поле для решения капчи

API демонстрацияКак решить

Процесс решения FunCaptcha Arkose Labs заключается в следующем: мы забираем набор необходимых параметров со страницы ее размещения и передаем в сервис 2Captcha, где ее решает работник, после чего нам возвращается ответ в виде набора уже других параметров, который необходимо передать в соответствующие поля для решения капчи

Как решить

Процесс решения Capy Puzzle Captcha заключается в следующем: мы забираем набор необходимых параметров со страницы ее размещения и передаем в сервис 2Captcha, где ее решает работник, после чего нам возвращается ответ в виде набора уже других параметров, который необходимо передать в соответствующие поля для решения капчи

Как решить

Процесс обхода Lemin заключается в следующем: пользователь передает параметры капчи, необходимые для ее решения в сервис 2Captcha, где решает работник, после чего нам возвращается ответ в виде токена, который необходимо ввести в соответствующее поле для решения капчи.

API демонстрацияКак решить

Процесс решения капчи Cloudflare Turnsitle заключается в следующем: пользователь передает параметры капчи, необходимые для ее решения: «data-sitekey» и адрес страницы размещения капчи в сервис 2Captcha, где ее решает работник, после чего нам возвращается ответ в виде токена, который необходимо ввести в соответствующее поле для решения капчи.

API демонстрацияКак решить

Процесс обхода аудио капчи полностью автоматизирован: в сервис распознавания нужно передать аудиофайл, который обрабатывается нейронной сетью, обученной распознаванию голоса. Результат распознавания возвращается в виде текста. Полученный текст можно использовать для обхода аудио капчи или перевода аудио в текст.

Как решить

Процесс решения Arkose Labs Captcha является следующим: заказчик передает набор необходимых параметров со страницы ее размещения в сервис 2Captcha, где ее решает сотрудник, после чего возвращается ответ в виде набора уже других параметров, которые необходимо передать в соответствующие поля для решения капчи.

Как решить

Процедура решения капчи Amazon AWS следующая: нужно передать набор необходимых параметров с целевой страницы и отправить в сервис, где работники сервиса решают капчу. Затем ответ возвращается в виде набора дополнительных параметров, которые необходимо ввести в поля для решения.

Как решить

Блокировка поиска и капча — Капча. Обратная связь

1. Почему блокируется поиск?
2. Как другие люди могут получить доступ в Интернет с моего IP-адреса?
3. Как вернуться в поиск со страницы с капчей?
4. Я не вижу капчи. Что я должен делать?
5. Ошибка 403. Что делать?
6. Связаться со службой поддержки

Поиск Яндекса может быть заблокирован, если с одного IP-адреса поступает несколько одновременных запросов. В этой ситуации трудно понять, являются ли поисковые запросы автоматическими или отправляются реальными людьми. Это может произойти, если несколько пользователей заходят на сервис Яндекса с устройств, подключенных к интернету, с одного IP-адреса. В таких случаях Яндекс интерпретирует их всех как одного пользователя и показывает капчу — тест на распознавание символов.

Пример капчи:

Запросы, полученные с вашего IP-адреса, не обязательно отправляются с вашего устройства. Интернет-провайдеры иногда выделяют один и тот же IP-адрес нескольким абонентам.

Если вы используете общедоступную сеть, например сеть Wi-Fi в кафе, то вы используете один и тот же IP-адрес со всеми другими людьми, использующими ту же точку доступа Wi-Fi.

Также возможно, что ваш компьютер заражен вирусом, который отправляет автоматические запросы. Мы рекомендуем запускать проверку на вирусы с помощью программы Dr.Web CureIt! программу или средство удаления вирусов от «Лаборатории Касперского».

Чтобы вернуться на страницу поиска, введите символы, показанные на изображении с картинки, и нажмите «Отправить».

Чтобы получить новое изображение с картинки, нажмите .

Вместо символов с картинки можно вводить цифры из аудио капчи. Для этого нажмите → Воспроизвести и прослушайте аудио.

Внимание. Яндекс только просит вас ввести символы с изображения и никогда не просит вас ввести номер телефона, отправить текстовое сообщение или повторно ввести имя пользователя и пароль. Если вас попросят сделать это, значит, вы зашли на поддельную страницу. Пожалуйста, сообщите нам об этом через форму обратной связи.

Если вы введете символы правильно, Яндекс надолго запомнит ваш браузер как надежный источник (при условии, что в вашем браузере включены файлы cookie).

Если вам нужно отправлять автоматические запросы в Яндекс, рассмотрите возможность использования сервиса Яндекс.XML.

Убедитесь, что в вашем браузере включена загрузка изображений.

Если вы видите логотип Яндекса, но не видите изображение с символами, убедитесь, что загрузка изображения не блокируется плагинами вашего браузера или настройками брандмауэра.

Если вы столкнулись с этой проблемой на работе, обратитесь к сетевому администратору.

Ошибка 403 означает, что доступ к сервисам Яндекса запрещен. Это происходит, когда автоматическая программа (бот) пытается обойти капчу и отправляет слишком много одновременных запросов с выделенных IP-адресов или через открытые прокси. Иногда боты могут использовать IP-адреса, принадлежащие реальным людям. В этом случае блокируется и доступ к сервисам.

Если вы столкнулись с этой ошибкой, воспользуйтесь формой обратной связи внизу страницы. Специалист рассмотрит вашу жалобу и разблокирует IP-адрес раньше, если запросы к сервисам не были автоматическими.

Вопрос по капче или ошибка 403Другие вопросы по сервису Яндекса

Обратитесь в службу поддержки этого сервиса напрямую. Для этого нужно зайти в соответствующую справку и воспользоваться там формой обратной связи (формы обычно расположены внизу страниц или доступны из оглавления). Так ваше сообщение сразу попадет к нужным специалистам и вы быстрее получите ответ.

Услуги, о которых часто спрашивают:

• Если вам нужна помощь с Яндекс. Деньгами, заполните форму на странице Службы поддержки.

• Чтобы сообщить о проблеме с вашим сайтом, перейдите в раздел Обратная связь справки Яндекс.Вебмастера.

Яндекс Решатель SmartCaptcha — Обход Капчи

Яндекс Решатель SmartCaptcha — Обход Капчи

Начать бесплатную пробную версию

• Авторизоваться
• Панель пользователя
• Связаться с отделом продаж
• Начать бесплатную пробную версию

• Быстрое и автоматизированное решение Yandex SmartCaptcha
• Очистить целевые сайты последовательно с автоматической ротацией IP-адресов
• Алгоритмы машинного обучения мгновенно решают капчу Яндекса

Начать бесплатную пробную версию

Время безотказной работы сети 99,99 %

Вероятность успеха 99,99 %

Высочайшее качество обслуживания и наилучшая масштабируемость

Лидер отрасли G2 2023

Награжден за лидерство в отрасли извлечения данных с точки зрения удовлетворенности клиентов, качества поддержки и присутствия на рынке

Лучшие инструменты для сбора данных 2022

Награждены за лучшие на рынке инструменты для сбора любых общедоступных веб-данных

Лучшая экосистема прокси 2021

Награждены за лидерство в отрасли в области инноваций прокси и лучшее общее качество обслуживания клиентов

Как Web Unlocker оптимизирует путь вашего запроса

Никогда больше не блокируется

Web Unlocker автоматически разрабатывает новые методы, чтобы веб-сайты
всегда были открыты для сбора данных

Ограничение количества запросов на IP-адрес

Управление интенсивностью использования IP-адресов, чтобы вы не запрашивали подозрительный объем данных с какого-либо одного IP-адреса , & выполнение движений мыши

Имитирует нужные устройства

Web Unlocker эмулирует правильные устройства, которые серверы ожидают увидеть

Калибровка заголовка реферера

Убедиться, что целевой веб-сайт видит, что вы переходите на его страницу с популярного веб-сайта

Идентифицирует приманки

Приманки — это ссылки, которые сайты используют для раскрытия ваших поисковых роботов. Автоматически обнаруживать их и избегать их ловушек

Устанавливает интервалы между запросами

Автоматические задержки устанавливаются случайным образом между запросами

Почему клиенты предпочитают Bright Data

Решатель капчи Yandex

Непревзойденное качество обслуживания 901 46

Данные высочайшего качества

Наибольшее географическое покрытие

Лучшее время безотказной работы сети

Самый быстрый результат

Лучшая производительность

Самый высокий показатель успеха
в отрасли

Непрерывные инновации

Новые версии функций
каждый день 900 17

Самый надежный

Корпоративный уровень
Масштабирование

Попрощайтесь с капчей Яндекса!

Начать бесплатную пробную версию

Как работает Яндекс Решатель Капчи?

Web Unlocker от Bright Data использует CAPTCHA Solver для определения правил для популярных сайтов и их решения.