Собираем сами список user agent для браузеров

В один прекрасный день вам обязательно понадобятся актуальные значения юзер агент (user agent). В своих поисках пересмотрите много специальных сайтов, размещающих такие списки, но свежих данных не найдете. Далее опишем способ получения списка значений user agent, наиболее актуальных на текущую дату. Не исключено, что несколько записей будет от старых браузеров так как наш метод основан на сборе статистики посещений сайтов, а некоторые пользователи пользуются старыми не обновленными версиями программ.

Для тех кто забыл: User Agent — это клиентское приложение, использующее определённый сетевой протокол. Термин обычно используется для приложений, осуществляющих доступ к веб-сайтам, таких как браузеры, поисковые роботы (и другие «пауки»), мобильные телефоны и другие устройства.

1 этап — сбор статистики с сайтов

Для сбора значений юзер агентов нам понадобятся свои работающие сайты, если нет своих, можно попросить друзей, если и у друзей нет, то можно за небольшое вознаграждение поискать исполнителя на каком-нибудь сео форуме или фриланс сайтах. Чем больше посещаемость сайта, тем лучше так как статистика соберется за короткий срок и по объему она будет значительно лучше.

Определившись с сайтами «донорами» идем в панель управления хостинга и в меню «Журналы» (такое название меню у хостинга beget, в другом может отличатся) включаем функцию «Журнал доступа к веб-серверу». После этих манипуляций в коневой папке сайта появится текстовый файл со списком записей к каким страницам вашего сайта были обращения, ip-адрес и юзер агент устройства. Далее нужно выждать время чтобы эти записи накопились.

На следующем изображении выделена запись user agent, которые мы и сможем узнать и будем собирать.

Пример записи user agent

2 этап — чистка списка user agent

Скачиваем получившиеся файлы к себе на компьютер, если их несколько, то открываем любой в блокноте, а все последующие добавляем в него копированием текста. Тем самым мы подготовим файл для загрузки через excel. В нашем примере получился файл на 86072 строки. Далее необходимо получившийся файл открыть через excel. Открываем программу, жмем «Файл»-«открыть», в следующем окне выбираем наш файл. Далее откроется мастер текстов (импорт) в котором нужно поставить чекбокс в положение «с разделителями» и в следующем окне в поле «другой» поставить двойную кавычку. На третьем шаге в таблице «образец разбора данных» выделить последний столбец и указать для него формат «текст».

После такого импорта данные о посещении разбиты по столбцам. Нужные нам юзер агенты находятся в столбце F, поэтому смело можно удалить столбцы от A до E. Далее необходимо воспользоваться встроенной в excel функцией удаления дублей. В 2007 версии кнопка «удалить дубликаты» находится на вкладке «данные». Нажимаем ее и видим, что вместо 86072 строк, осталось 1555. Но на этом не останавливаемся, а следующим шагом удаляем ненужные записи юзер агент от поисковых систем. Выглядят они так: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html). Можно поставить фильтр по слову «bot» или «compatible». Далее идем по списку юзер агент и удаляем не нужные нам записи, например, от браузеров телефонов на андроид или айфон.

3 этап — итоговый файл

После всех чисток, получился довольно большой файл user agent, который можете использовать для смены записи в браузере, для добавления в программы парсинга и тому подобные. Актуальность списка — первая половина февраля 2016 года. Периодически он будет обновляться.

Скачать список юзер агент

В файле экселя есть 3 вкладки:

1. Основной список, где найдете 823 записи user agent от yandex, mozila firefox, opera, internet explorer (IE), google chrome, safari и других браузеров. Записи собирались со статистики посещений сайта, поэтому могут попадаться старые браузеры и операционные системы, ведь не у всех они обновлены.
2. Вкладка «Мобильные устройства» содержит лист с 530 записями от мобильных браузеров. Решено их не удалять, а перенести в отдельную вкладку.
3.  Во вкладке «Мусор» собрали старые версии браузеров, использование которых не рекомендуется.

Заключение

Файл user agent браузеров не в фомате txt, но это легко поправимо обычным копированием. На сайтах донорах использовался протокол http. Если в строке встречается запись wow64, то она означает, что компьютер посетителя с таким юзер агентом использует 64-битную операционную систему. Большая часть посетителей — это Россия.

Способ сбора записей не самый быстрый и удобный, но лучше, чем использовать старые и не современные записи.

Рекомендуем обязательному прочтению статьи—здесь

Фильтрация по User-Agent с помощью Anti-Crawler

 

Мы расширили функции по работе с User-Agents для плагина Анти-Спам.  Возможности доступны только в плагине для WordPress. Чтобы включить фильтрацию по User-Agent, откройте настройки вашего плагина Анти-Спам:

Панель управленияWordPress -> Настройки -> Anti-Spam by CleanTalk 

И включите опцию SpamFireWall:

Затем расширенные настройки (Панель управления WordPress —> Настройки —> Anti-Spam by CleanTalk —> Расширенные настройки) и включите опцию Anti-Crawler (Антипоисковик):

Вы можете увидеть User-Agent в ваших Журналах SpamFireWall после того как Антипоисковик заблокирует запрос. С помощью кнопки «В персональные списки» вы можете добавить User-Agent в ваши персональные списки.

Обратите внимание, что добавит можно только User-Agent, который прописан в нашем списке. Google bot и Bing bot всегда разрешены, вы не можете добавить их в свои списки.

 

 

Управлять списками User-Agent’ов можно здесь. Нажмите «Добавить новый фильтр» и выберите тип User-Agent:

 

 

Затем выберите агента из выпадающего списка и добавьте его в белый или чёрный список:

 

 

Список всех доступных User-Agent:

• admantx.com
• AhrefsBot
• Akamai crawler
• Alexabot
• Applebot
• archive.org_bot
• AspiegelBot — HuaweiWebCatBot
• Babbar.tech (Barkrowler)
• Baidu
• Better Uptime Bot
• Bing
• BrightLocalBot
• CleanTalk Uptime bot
• CloudFlare crawler
• DuckDuckGo
• FacebookBot
• FeedBurner
• Feedly Fetcher
• FreshpingBot
• Google
• Grapeshot
• GTmetrix
• GumGum-Bot
• HuaweiWebCatBot
• Hypefactors
• Lighthouse
• Mail. ru
• MailChimp
• Majestic MJ12bot
• Meetedgar.com
• MirrorWeb
• Petalbot
• Pingdom.com bot
• Pinterest bot
• Printful WooCommerce Integration
• proximic
• Qwant Web crawler
• Rambler bot
• RankMathApi
• RapidLoad (rapidload.io)
• Reddit
• Rogerbot — MOZ.com
• Screaming Frog SEO Spider
• Semrush
• SEOkicks-Robot
• serpstatbot
• Seznam
• ShipStation
• ShortPixel Image Optimizer
• Site24x7
• Sitechecker
• sogou spider
• StatusCake
• Sucuri Uptime Monitor
• UptimeRobot.com
• Wikipedia crawler
• WooCommerce API
• wordoftravel: Find Travel Blogs and Explore Destinations
• WP Engine Smart Plugin Manager
• WP Rocket
• WPCompress
• Yandex

Эти User-Agent задаются системой и не могут быть добавлены в персональные списки:

• Baidu
• Bing
• CleanTalk
• Google
• Yandex

 

 

Если у вас есть вопросы о CleanTalk, то, пожалуйста, создайте приватное обращение здесь:

https://cleantalk. org/my/support/open

 

 

Создать аккаунт

Ваша Панель управления

Возможно, будет так же интересно

• Anti DDoS Lite. Защита от DDoS-атак и смягчение их последствий

  Как защитить свой сайт от DDoS-атак или ботов Anti-DDoS-Lite (приложение…

• Блокирование поисковых ботов по user-agent

  Как заблокировать ботов по User-agent   Для чего блокировать…

Блог

Опубликовано: 27 марта 2023 г.

Переключение между потоковыми платформами сейчас более распространено, чем когда-либо прежде. Я потерял счет тому, сколько раз я отменял свою подписку Disney+, повторно активировал ее, а затем снова отменял. Стирать, полоскать, повторять.

Продолжить чтение

Опубликовано: 02 марта 2023 г.

Разрешение поисковым роботам сканировать ваш сайт жизненно важно, если вы хотите, чтобы ваши веб-страницы отображались в Google, Bing и других результатах поиска. Здесь мы перечисляем наиболее распространенные поисковые роботы вместе с их пользовательскими агентами.

Продолжить чтение

Опубликовано: 01 февраля 2023 г.

Недавно мы писали о влиянии возможностей устройства на отказ от корзины и о том, как это редко обсуждается в исследованиях, основанных на электронной коммерции. Также интересным было открытие, что ни в одной из 200+ статей о брошенных корзинах, которые мы проанализировали, не упоминается важность выбора адаптивного дизайна веб-сайта вместо адаптивного дизайна. Давайте углубимся в это немного дальше…

Продолжить чтение

Опубликовано: 20 января 2023

В ближайшие несколько недель начнется развертывание одного из самых больших изменений в базовой работе Интернета за некоторое время. Это малозаметное изменение может иметь далеко идущие последствия для всей веб-экосистемы.

Продолжить чтение

Опубликовано: 19 января 2023 г.

Электронные письма для входа в систему предназначены для обеспечения уверенности пользователей и защиты от угроз безопасности. К сожалению, несмотря на то, что они являются такой важной частью усилий по обеспечению безопасности, во многих из этих электронных писем отсутствует та самая информация, которую пользователь должен знать, чтобы решить, произошло ли что-то плохое, — подробности об устройстве, получающем доступ к учетной записи. Узнайте больше, чтобы узнать о передовых методах проверки устройств и 2fa в качестве дополнительного уровня безопасности для пользователей.

Продолжить чтение

Опубликовано: 04 ноября 2022 г.

Средний показатель отказов от корзины в 2021 году составил 65% — это 65 из 100 покупателей, которые не оформляют заказ. Мы проанализировали более 200 статей в блогах, написанных за последние 5 лет, чтобы понять основные факторы отказа от корзины на сайтах/приложениях электронной коммерции. В двух третях этих статей пользовательское устройство конкретно упоминается как препятствие для совершения покупки, хотя менее 2% указывают на какую-либо связь между количеством отказов от корзины и возможностями устройства.

Продолжить чтение

Опубликовано: 06 октября 2022 г.

DeviceAtlas рада сообщить клиентам, что Европейская патентная организация (ЕПВ) поддержала наш патент (EP3264728B1), поданный в 2008 г. и касающийся алгоритма, лежащего в основе DeviceAtlas. В постановлении, принятом сегодня утром, опротестовавший патент конкурента, который был ранее выдан, был полностью аннулирован апелляционной комиссией ЕПВ без оставшихся путей для обращения за помощью.

Продолжить чтение

Опубликовано: 26 сентября 2022 г.

Мы все читали график Google для UA-CH и когда изменения начнут вступать в силу. Но что эти изменения будут означать для решений с открытым исходным кодом и какое влияние это окажет на предприятия, полагающиеся на эти решения в коммерческих целях?

Продолжить чтение

Опубликовано: 28 августа 2022 г.

Общедоступный Wi-Fi сегодня является повсеместным дополнением к потребительским вариантам подключения и широко распространен в кафе, ресторанах, торговых центрах и аэропортах, обеспечивая жизненно важную связь с Интернетом для людей в движении (довольно буквально, если учесть, сколько общественных автобусов и поездов предоставляют пассажирам услуги WiFi). К сожалению, удобство требует некоторых жертв, а когда речь идет о общедоступных сетях Wi-Fi, риски, связанные с подключением к этим точкам доступа, остаются незамеченными для подавляющего большинства из нас.

Продолжить чтение

Опубликовано: 25 августа 2022 г.

Поддельные устройства представляют серьезную угрозу для корпоративных сетей, и эта тенденция только усиливается. Эти устройства становятся все более сложными, их трудно обнаружить и легко получить. Поддельный телефон практически неотличим от своего подлинного аналога. Их также легко купить, и они могут даже продаваться на, казалось бы, надежных веб-сайтах электронной коммерции и доставляться уважаемыми транспортными компаниями. Больше всего беспокоит то, что они также становятся более опасными и наносят больший ущерб.

Продолжить чтение

Опубликовано: 24 августа 2022 г.

Теперь, более чем когда-либо, у пользователей есть доступ к нескольким устройствам, на которых можно играть в игры, в первую очередь через приложения на смартфонах. В 2021 году мировой доход от мобильных игровых приложений составил 98 миллиардов долларов (на 13% больше, чем в предыдущем году). Смартфоны также считаются самыми популярными игровыми устройствами во всем мире, и неудивительно, что на игры приходится более 40% использования смартфонов.

Это означает, что игры должны быть адаптированы к устройству, на котором они работают, один размер не подходит для всех.

Продолжить чтение

Опубликовано: 16 августа 2022 г.

Электронная коммерция долгое время считалась одной из самых быстрорастущих отраслей нашего времени, объем продаж которой в 2021 году достиг почти 5 триллионов долларов. Хотя рост в последнее время, безусловно, можно объяснить пандемией COVID-19. (в период с 2019 по 2020 год глобальные розничные онлайн-продажи выросли более чем на 20% с 3,3 триллиона долларов до 4,2 триллиона долларов соответственно), веб-сайты электронной коммерции по-прежнему являются одними из самых посещаемых в мире спустя 2 года после начала пандемии.

Продолжить чтение

Опубликовано: 15 августа 2022 г.

Фрагментация устройства делает поведение пользователя непредсказуемым. Во всем мире средний человек имеет 3 подключенных устройства: что это означает для поставщиков услуг потоковой передачи? Как они могут отличить эти устройства друг от друга? В этом посте мы рассмотрим важность графиков устройств и важность возможности связать информацию об устройствах с информацией о подписчиках.

Продолжить чтение

Опубликовано: 20 июля 2022 г.

Учитывая скорость роста разнообразия IoT и подключенных устройств, операторам необходимо более глубокое понимание природы и возможностей терминалов; это то, что предоставляет Device Map.

Продолжить чтение

Опубликовано: 11 июля 2022 г.

TAC — это восьмизначный код, который однозначно распознает аппаратную конфигурацию сотового устройства. Он выдается GSMA и состоит из первых восьми цифр серийного номера IMEI. В этой статье мы предоставляем образец различных номеров TAC и определяем связь между TAC и наборами данных DeviceAtlas.

Продолжить чтение

Опубликовано: 04 июля 2022 г.

То, что превратилось в полтора десятилетия коммерческой славы Apple, началось медленнее, чем ожидалось, во время первоначального запуска в 2007 году. Первый iPhone был описан как технически анемичный по сравнению с другими телефонами пришло время, особенно с отсутствием физической клавиатуры для набора текста. Разработка первого устройства также была невероятно дорогой — 150 миллионов долларов, если быть точным. Тем не менее, 130 моделей, 2,2 миллиарда проданных телефонов и триллионы долларов дохода позже, такие проблемы с прорезыванием зубов кажутся приятным и далеким воспоминанием. Проще говоря, iPhone в одиночку произвел революцию в глобальном технологическом ландшафте.

Продолжить чтение

Опубликовано: 22 июня 2022 г.

Аналитика устройств предлагает ряд выгодных возможностей для поставщиков потоковых услуг: бизнес-аналитика, оптимизация, создание графика устройств, измерение совместного использования паролей, таргетинг для рекламы и коммуникаций и т. д. В этой статье мы обратите особое внимание на отток — очень актуальную тему в последнее время — и на то, как можно использовать интеллект устройств против него.

Продолжить чтение

Опубликовано: 25 мая 2022 г.

Через пятьдесят лет после выпуска Magnavox Odyssey, первой в мире игровой консоли, глобальная индустрия видеоигр оценивается в 178 миллиардов долларов (США) и, как ожидается, достигнет 268,8 миллиардов долларов (США) к 2025 году. Для контекста было подсчитано, что 3 миллиард человек во всем мире играли в видеоигры в 2021 году!

Продолжить чтение

Опубликовано: 19 мая 2022 г.

В первой части нашего поста «Сравнение веб-аналитики: анализ веб-анализаторов» мы представили результаты исследований четырех различных служб веб-аналитики. Мы отметили значительную разницу в распределении трафика между различными решениями; в этом посте (часть 2) мы рассмотрим это несоответствие в распределении трафика более подробно.

Продолжить чтение

Опубликовано: 19 мая 2022 г.

Анализ трафика посетителей важен для определения работоспособности веб-сайта. В этой статье мы представляем результаты нашего исследования четырех различных аналитических сервисов

Продолжить чтение

Страниц

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• …
• следующий ›
• последний »

Просмотрите нашу базу данных 2190,4 миллиона пользовательских агентов

строки агента пользователя бывают разных форм и размеров, и количество уникальных агентов пользователя постоянно растет. Мы собрали миллионы пользовательских агентов и классифицировали их здесь для вас на основе многих вещей, которые мы обнаруживаем о них — операционная система, браузер, тип оборудования, тип браузера и так далее.

Просмотрите базу данных пользовательских агентов

И анализатор пользовательских агентов, и база данных пользовательских агентов работают на основе миллионов пользовательских агентов, собранных с whatismybrowser.com и API.

Вы можете просмотреть их организованную коллекцию ниже, выполнить поиск в коллекции через API, здесь вы можете проанализировать определенный пользовательский агент.

Вы пытаетесь обнаружить посетителей вашего сайта с помощью Windows 11? Вы не можете сделать это только с помощью пользовательских агентов. Прочтите о будущем обнаружения браузера и узнайте , как обнаруживать Windows 11 с помощью клиентских подсказок . Если вам нужно профессиональное решение, которое избавит вас от необходимости иметь дело с причудами, несоответствиями и тонкостями, ознакомьтесь с нашим API обнаружения браузера. Мы используем комбинацию строк User Agent, заголовков Client Hints и Javascript, чтобы обеспечить чрезвычайно точное и перспективное обнаружение браузера для вашего веб-сайта.

• • Хром (11 275 897)
  • Приложение Facebook (7 063 620)
  • Android WebView (4 056 236)
  • Инстаграм (3 270 395)
  • Опера (1 691 159)
  • Край (1 037 441)
  • Браузер UC (456 756)
  • Браузер на базе Webkit (410 384)
  • Firefox (403 814)

  Просмотреть все названия программного обеспечения

• • Андроид (27 217 775)
  • iOS (3 493 337)
  • Окна (2 318 715)
  • Линукс (249,164)
  • macOS (192 143)
  • Mac OS X (121 987)
  • Пожарная ОС (30 943)
  • Симбиан (29 659)
  • ОС Chrome (14 059)

  Просмотреть все операционные системы

• • Apple iPhone (1 423 953)
  • Редми (724 183)
  • Motorola Moto G (621 752)
  • Леново (299 782)
  • Apple iPad (284 306)
  • БРАУЗЕР Huawei (265 843)
  • Redmi Note 8 (229 837)
  • Apple iPhone 11 (205 296)
  • Apple iPhone 7 (156 540)

  Просмотреть все операционные платформы

• • Веб-браузер (18 324 391)
  • Браузер в приложении (15 499 920)
  • Заявка (49 809)
  • Гусеничный (28 778)
  • Анализатор (13 869)
  • Монитор объекта (9 842)
  • Медиаплеер (7 159)
  • Библиотека программного обеспечения (6 335)
  • Бот (1116)

  Просмотреть все типы программного обеспечения

• • Мобильный (8,765,980)
  • Телефон (6 958 283)
  • Компьютер (3 302 287)
  • Планшет (616 093)
  • Устройство для чтения электронных книг (33 677)
  • Сервер (26 163)
  • ТВ (8 385)
  • Музыкальный плеер (2893)
  • Игровая приставка (1737)

  Просмотреть все типы оборудования

• • Мигание (10 781 785)
  • WebKit (8 470 115)
  • Геккон (255 296)
  • Трезубец (56 098)
  • EdgeHTML (44 142)
  • НетФронт (7896)
  • Престо (3824)
  • Гоанна (891)
  • ХТМЛ (133)

  Просмотреть все имена механизмов компоновки

Вместо того, чтобы просматривать огромный список типов пользовательских агентов, которые вам нужны, используйте интерфейс поиска базы данных для запроса API вместо того, чтобы загружать и загружать огромный дамп базы данных. Зарегистрируйте учетную запись Pro или Enterprise, чтобы начать.

Вы можете выполнять подробный поиск агента пользователя, включая уточнение по имени и версии программного обеспечения/браузера, имени и версии операционной системы, типу программного обеспечения (браузер, бот, приложение и т. д.), типу оборудования и т. д. Вы можете легко найти группы пользовательских агентов, которые соответствуют вашим критериям поиска.

Если вам нужно интегрировать парсер пользовательского агента непосредственно на ваш веб-сайт или в систему, то очень просто использовать API. Он бесплатен для использования и имеет платные уровни для большего доступа и лучших функций. Это позволяет вам идентифицировать браузер, ОС и устройство, которое есть у ваших пользователей. Узнать больше.

Если вы хотите получить копию базы данных из 219 351 311 пользовательских агентов, вы можете легко загрузить ее. Это позволит вам делать такие вещи, как расширенная фильтрация и поиск, определять тенденции в пользовательских агентах, выполнять статистический анализ и другие интересные приложения.