python — Как скрыть, что ты зашел через selenium?
Вопрос задан
Изменён 11 месяцев назад
Просмотрен 7k раза
Использую chromedriver. Как скрыть от сайта, что ты зашел на него при помощи Selenium?
- python
- python-3.x
- парсер
- selenium
- useragent
2
Добавьте user-agent аргументом в Options, например:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
opts = Options()
opts.add_argument("user-agent=Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.
0.2704.103 Safari/537.36")
driver = webdriver.Chrome(chrome_options=opts)
5
Я делаю так
from fake_useragent import UserAgent
from selenium import webdriver # Вебморда
from time import sleep # Для таймаута
from selenium.webdriver.chrome.options import Options # Опции селениума
while True:
ua = UserAgent()
opts = Options()
us_ag = ua.random # Меняет регулярно юзер-агенты при запросе
url = 'https://2ip.ru' # Сайт для проверки измененного юзерагента
print(us_ag)
opts.add_argument(f"user-agent={us_ag}") # Десктопный useragent
driver = webdriver.Chrome(chrome_options=opts) # Иногда нужно явно указать адрес
# web драйвера executable_path=r"F:\GIT\siteparser\seleniumparse\chromedriver.exe"
driver.get(url) # Открываем в браузере что бы убедиться в применении юзер-агента
sleep(10)
driver.close()
Проверить видит ли сайт использование webdriver можно здесь
Отключить в хроме можно так:
options.
Посмотреть видеогайд по отключению можно тут
попробуй использовать FireFox и всавить вот такой код:
option = webdriver.FirefoxOptions()
# убирает флажок что автоматизированное ПО управляет браузером
option.set_preference("dom.webdriver.enabled", False)
# подмена user-agent
option.set_preference("general.useragent.override", # вот сюда нужно ввести user-agent)
driver = webdriver.Firefox(options=option)
мне это помогло
У меня версия Chrome 97.0.4692.71 работает только этот вариант.
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
EXE_PATH = r'..\chromedriver.exe'
opts = Options()
opts.add_experimental_option("excludeSwitches", ["enable-automation"])
opts.add_experimental_option('useAutomationExtension', False)
driver = webdriver.Chrome(chrome_options=opts, executable_path=EXE_PATH)
driver.get('https://google.com')
time.sleep(10)
Хотя считается, что начиная с версии 79.
0.3945.16 должен работать данный вариант:
option.add_argument('--disable-blink-features=AutomationControlled')
Источник: https://piprogramming.org/articles/How-to-make-Selenium-undetectable-and-stealth—7-Ways-to-hide-your-Bot-Automation-from-Detection-0000000017.html
Зарегистрируйтесь или войдите
Регистрация через Google
Регистрация через Facebook
Регистрация через почту
Отправить без регистрации
Почта
Необходима, но никому не показывается
Отправить без регистрации
Почта
Необходима, но никому не показывается
Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки
JS. Navigator это Javascript объект, который хранит различные параметры и их значения, описывая характеристики вашего устройства. Все параметры объекта JS.Navigator доступны браузеру. Веб-сайты могут комбинировать и использовать эти параметры для отслеживания пользователей.
В этой статье мы опишем настройки профиля в разделе «Расширенные» → «Навигатор».
User-Agent
User-Agent — это короткая строка, встроенная в браузер. Читая строку User-Agent, веб-сайт может идентифицировать ваш браузер и версии операционной системы.
Это пример значения User-Agent:
Mozilla / 5.0 (Windows NT 6.3; WOW64) AppleWebKit / 537.36 (KHTML, как Gecko) Chrome / 62.0.2785.8Safari / 537.36
В этом случае веб-сайт будет предполагать, что пользователь использует Windows 7 и Chrome версии 62. «NT X» — это версия выпуска Windows. Вы можете проверить другие версии выпуска из статьи Википедии.
При создании профиля браузера значение User-Agent будет получено из базы данных отпечатков. Вы можете проверить значение User-Agent профиля браузера на странице Navigator.
Если вы решили настроить User-Agent вручную в Индиго, обязательно установите соответствующее значение Platform. Расхождения в значениях User-Agent и Platform — большой красный флаг.
Platform
Этот параметр объекта Навигатор сообщает, на какой платформе скомпилирован браузер.
При создании браузерного профиля это значение устанавливается автоматически в соответствии с User-Agent. Оба значения зависят от фильтра «Операционная система» в разделе «Обзор» настроек профиля.
Если вы решите настроить платформу вручную в Индиго, обязательно установите соответствующее значение User-Agent. Расхождения в значениях User-Agent и Platform — большой красный флаг.
Возможные значения платформы для настольных браузеров:
Linux i686
Linux armv7l
MacIntel
Win64
Win32
Возможные значения платформы для мобильных браузеров:
iPhone
IPOD
IPad
Android
Полный список возможных значений Navigator. Platform можно найти в статье Stackoverflow .
Разрешение экрана
Разрешение экрана часто используется для идентификации пользователей. Веб-сайты могут анализировать несоответствие разрешения экрана, установленного в браузере, и реального разрешения вашего устройства.
В Indigo этот параметр устанавливается автоматически из нашей базы отпечатков при создании браузерного профиля. Вы можете выбрать подходящее значение из списка или же ввести его вручную.
Индиго запустит браузер с максимальным разрешением, установленным в настройках профиля браузера. Увеличение размера окна браузера является типичным поведением для большинства пользователей, и мы не советуем уменьшать его размер. Мы также не советуем использовать разрешение экрана больше, чем ваше собственное разрешение экрана, потому что веб-сайты увидят, что вы не работаете в развернутом окне.
При совместном использовании профиля браузера с кем-либо, мы рекомендуем, чтобы разрешение, используемое в профиле браузера, не превышало разрешение самого маленького экрана, используемого в вашей команде. Например, ваше устройство 4K, а ваш коллега использует дисплей FullHD (1920×1080). В этом случае мы рекомендуем сохранить разрешение в профиле браузера до 1920×1080 или меньше. В противном случае фактический размер окна может отличаться при открытии профиля браузера на разных устройствах.
Language
Параметр Accept-Language помогает веб-сайтам определять ваш предпочитаемый язык и в соответствии с ним подстраивать свое содержание. Как и все другие параметры в разделе «Навигатор», Accept-Language может быть использован для идентификации отпечатка вашего браузера.
При создании браузерного профиля в этом параметре устанавливается самое популярное значение. Indigo не получает его из базы данных отпечатков, так как это может привести к отличию языка браузера от геолокации вашего IP (например, вы используете IP с геолокацией в Германии, а в браузере выставлен филиппинский язык).
Вместо этого мы предлагаем удобный инструмент для изменения этого параметра. Вы можете скопировать значение Accept-Language из обычного браузера (например, Chrome) или использовать конструктор.
Если вы хотите, чтобы сайты отображались на определенном языке, вы можете выбрать его, нажав «Редактировать». В новом окне найдите желаемый язык и перетащите его в начало списка справа. Если веб-страница доступна на выбранном языке, он будет использоваться для ее отображения.
DoNotTrack (DNT)
DoNotTrack (DNT) является параметром Навигатор объекта, который возвращает настройку ‘do-not-track’ браузера пользователя. Данный параметр был создан для того, чтобы пользователь мог уклониться от отслеживания, включив данный параметр. Однако, большинство веб-сайтов не оценивают этот выбор.
Как раз таки наоборот, веб-сайты используют данный параметр для отслеживания пользователей.
В Индиго по умолчанию DoNotTrack установлен на «Not set» (не установлен, не определён)- это означает, что пользователь не сделал выбора. Данный выбор соответствует абсолютному большинству пользователей Интернета.
Данный параметр можно изменять, но мы рекомендуем оставлять значение по умолчанию для всех браузерных профилей.
BuildID
BuildID является параметром Навигатор объекта, который возвращает ID сборки браузера. Этот параметр актуален только для браузеров Firefox (Stealthfox в Indigo). Обычно BuildID представлен в виде формата YYYYMMDDHH.
Indigo получает значение BuildID из базы данных браузерных профилей Stealthfox. Этот параметр не рекомендуется менять вручную.
HardwareConcurrency
HardwareConcurency — это параметр объекта Navigator, который указывает число процессоров ЦП, доступных для запуска потоков на компьютере пользователя. Значения 1, 2, 8, 16, 32, 64 и другие действительны. В Индиго диапазон ограничен наиболее распространенными значениями 2, 4, 8 и 16. Если другое значение извлекается из базы данных отпечатков, оно будет заменено одним из часто встречающихся значений.
OSCPU
Свойство Oscpu является параметром объекта Navigator, который ссылается на версию операционной системы, которую вы используете. Это значение присутствует только в браузерах на основе Firefox.
При создании профиля браузера значение Platform извлекается вместе с User-agent. Оба значения зависят от фильтра операционной системы на странице обзора. Вы также можете установить это значение вручную на странице навигатора.
Важно! Если вы хотите вручную установить значение OSCPU в Индиго, удостоверьтесь, что у вас выбрано соответствующее значение User-Agent. Несоответствие значений User-agent и OSCPU является очень критичным сигналом для веб-сайтов.
Вот несколько примеров возможных значений Oscpu:
Intel Mac OS X 10.14
Intel Mac OS X 10.12
Intel Mac OS X 10.11
Linux x86_64
Linux i686
Windows NT 10.0; Win64; x64
Windows NT 6.3; WOW64
Windows NT 6.3; Win64; x64
Windows NT 6.1
Windows NT 6.1; Win64; x64
Category: User Agent Detection — The Ruby Toolbox
Full
Compact
Table
browser
3.72
No release in over a year
Do some browser detection with Ruby .
Популярность
Загрузки
65,430 662
Watchers
Выпуски
Версия
0004
Общая выпуск
Первый выпуск
2010-07-16
Последний выпуск
2021-02-22
Activity
Закрытие
. Оценить
Средняя дата последних 50 коммитов
2020-09-24
Обратные зависимости
Показать больше деталей проекта Сравнить
device_detector
1.2
Долгоживущий проект, который до сих пор получает обновления
Точный и быстрый парсер пользовательского агента и детектор устройств, поддерживаемый крупнейшей и самой современной базой данных агентов и устройств 9004
Популярность
Загрузки
22 526 671
WATERS
Выпуск
Текущая версия
0003 Всего выпуска
Первый релиз
2014-12-18
Последний выпуск
2022-12-15
Активность
Закрытие вопроса
Запрос
.
Средняя дата последних 50 коммитов
28.12.2021
Обратные зависимости
Показать больше сведений о проекте Сравнить
2 useragent0013
1,06
Нет выпуска за 3 года
Низкий фиксатор за последние 3 года
. Много открытых проблем
HTTP PARSER PARSER
2020
HTTP PARSER PARSER
202020121 9004
HTTP.
Загрузки
20 911,352
Watchers
Выпуски
Версия
0,16.10
.0004
Общая выпуск
Первый выпуск
2009-10-01
Последний релиз
2018-02-12
Активность
Защита
. Оценить
Средняя дата последних 50 коммитов
07.11.2016
Обратные зависимости
Показать больше деталей проекта Сравнить
user_agent_parser
0,83
Есть много открытых проблем
Длительно живший проект, который до сих пор получает обновления
Простые, всеобъемлющие гем-гем-парировочные резервы. с помощью базы данных UserAgent BrowserScope
Популярность
Загрузки
18 841 344
Наблюдатели 9 00004
Тока версии
2.13.0
Общая выпуск
Первый релиз
2012-05-02
202021-10-211111111
2020202020202020202020202. 202020202020202.20202020202020202. 202020202.202020202.202020202. 202020202. 2020202.2020202020202. 202Уровень закрытия проблем
Уровень принятия запросов на слияние
Средняя дата последних 50 коммитов
12 января 2021 г. 0004
Покажите больше деталей проекта Сравнение
Mobylette
0,22
НЕТ ОБРАЗОВАНИЯ В более чем 3 года
Низкий коммит. Issues
Добавляет мобильный формат для рендеринга представлений для мобильного устройства.
Популярность
Загрузки
497 203
Watchers
Releases
Current version
Total releases
First release
2011-09-03
Latest release
2013-09-19
Activity
Уровень закрытия проблем
Уровень принятия запросов на слияние
Средняя дата последних 50 коммитов
06.02.2013
Обратные зависимости
Покажите больше деталей проекта Сравнение
Agent_orange
0,1
Нет выпуска более 3 лет
Низкая активность в последних 3 годах
много открытых вопросов
Анализировать и обрабатывать пользовательские агенты как секретный
Популярность
Загрузки
620 000
Watchers
Releases
Current version
Total releases
First release
2011-09-11
Latest release
2013-01-16
Активность
Уровень закрытия проблем
Уровень принятия запросов на слияние
Средняя дата последних 50 коммитов
07. 10.2012
Обратные зависимости
Покажите больше деталей проекта Сравнение
Бруксерсизатор
0,09
Нет конфигурации за последние 3 года
9003
. Есть много открытых вопросов
Промежуточное ПО стойки для перенаправления неподдерживаемых пользовательских агентов на страницу «обновите»
Популярность
Downloads
586,078
Watchers
Releases
Current version
Total releases
First release
2012-02-06
Latest release
2016- 03-03
Активность
Уровень закрытия проблем
Уровень принятия запросов на вытягивание
Средняя дата последних 50 коммитов
2013-02-13
Обратные зависимости
Покажите больше информации о проекте Сравнение
Mobvious
0,08
No Comput Activity В последних 3 годах 19
920292029 2
2
920292029 2
No Commit. более 3 лет
Стойка промежуточного ПО для выбора версии интерфейса для отрисовки по заданному запросу
Популярность
Скачиваний
808,698
Watchers
Releases
Current version
Total releases
First release
2012-02-14
Latest release
2013-05-03
Активность
Уровень закрытия проблем
Уровень принятия запросов на слияние
Средняя дата последних 50 коммитов
2012-06-17
Обратные зависимости
Покажите больше деталей проекта Сравнение
Пользовательская агентство
0,06
NO Commit in Last 3 Years
NO Commit in Last 3 Yearges NO Commit in Last 3 Years Через более 3 летПользовательский агент Parser
Популярность
Загрузки
164,438
наблюдатели
Релиазы
0021
Текущая версия
Общая выпуск
Первый выпуск
2009-10-08
Последний релиз
2009-10-08 .
Уровень принятия запросов на слияние
Средняя дата последних 50 коммитов0003 Сравнение
Active_Device
0,05
Нет. 61 561
Наблюдатели
Выпуски
Текущая версия
Всего выпусков
Первый выпуск
2009-11-19
Последний выпуск
2010-20-20
Активность
Скорость замыкания
. последние 50 коммитов
14.04.2010
Обратные зависимости
Показать больше сведений о проекте Сравнить
divining_rod
13
030003 0.02 No commit activity in last 3 years
No release in over 3 years
A DSL for writing user agent profiles
Popularity
Downloads
41,805
Наблюдатели
Выпуски
Текущая версия
Всего выпусков
Первый выпуск
17. 02.2010
Последний выпуск
2011-05-12
Активность
Средняя дата последней 50 Commits
2010-09-05
Обратные зависимости
Покажите больше проекта. Сравнить
0,01
Репозиторий заархивирован
Нет активности за последние 21 год
4
No release in over 3 years
Rack Middleware for filtering by user agent
Popularity
Downloads
23,468
Watchers
Releases
Current version
Всего выпусков
Первый выпуск
31.05.2010
Последний выпуск
22.03.2011
Активность
Скорость закрытия выпуска
Скорость приема запроса
Средняя дата последней 50 Commits
2010-02-24
Обратные зависимости
Покажите подробности проекта .
is_it_mobile
0.01
Нет активности за последние 3 года
Нет релизов более 3 лет0021
Просто определяет, предназначен ли пользовательский агент для мобильного устройства.
Popularity
Downloads
22,044
Watchers
Releases
Current version
Total releases
First release
2008-04-17
Последняя версия
12 апреля 2011 г.
Активность
Коэффициент принятия запроса на вытягивание
Средняя дата последней 50 Commits
2009-08-24
Обратные зависимости
Покажите больше деталей проекта
HTTP-агент-пользовательский агент Browser ID
0004 HTTP-Browser ID
000.
About Us Contact Us Products Services Newsletter Help Forums
See how your computer and browser identifies itself to websites through the строка пользовательского агента.
Идентификатор пользовательского агента и информация о строке пользовательского агента
02.2010
|
Знание строк идентификатора UserAgent, используемых поисковыми роботами и браузером, может быть полезным для различных целей. Браузеры и сканеры поисковых систем обычно идентифицируют себя через строковое поле идентификатора пользовательского агента HTTP.
Некоторые веб-сайты используют идентификатор строки пользовательского агента, чтобы определить, является ли посетитель определенным браузером или сканером поисковой системы. Поле строки идентификатора пользовательского агента http позволяет веб-сайтам проверять и определять браузер и версии; эта информация может использоваться для вывода различного html и контента.
Вы также можете использовать приведенные ниже строки пользовательского агента HTTP в нашем сканер рабочего стола и программные инструменты Sitemapper чтобы проверить, как ведет себя ваш собственный веб-сайт при работе с разными браузерами и роботами.
Ваш текущий идентификатор пользовательского агента браузера| См. ваш идентификатор пользовательского агента HTTP | |
| Ваш идентификатор пользовательского агента браузера: | Mozilla/5. 0 (X11; Linux/Firefox x86_63; 0rv: 33.0 |
| Строки пользовательского агента | Информация о пользовательском агенте |
| Mozilla/5.0 (Windows; U Windows nt 5.1; En) AppleBIT/522.11. KHTML, например Gecko) Версия/3.0 Safari/522.11.3 | Safari 3 Beta в Windows XP SP2 |
| Mozilla/4.0 (совместимый; MSIE 6.0; Windows NT 5.1; SV1) | |
| Mozilla/4.0 (совместимый; MSIE 6.0; NET SV1; Windows NT 5.2; CLR 1.1.4322) | |
| Mozilla/5.0 (Windows; U; Windows NT 5.1; nl; rv:1.8) Gecko/20051107 Firefox/1.5 | |
| Opera/9.0 ) | |
| Lynx/2.8.4rel.1 libwww-FM/2.14 | |
| Mozilla/2.0 (совместимый; Ask Jeeves/Teoma) | |
| Mozilla/3.0 (Slurp/si; slurp@inktomi. |