Парсер групп id вконтакте: Парсинг ID участников нескольких групп ВК

alexxlab

VkCommunityParser

Привет! Не так давно, я делал обзор на программу ВКМультиСендер и при ее использовании возникли некоторые проблемы, а именно поиск сообществ в вконтакте для рассылки сообщений. Сейчас эта проблема решена, благодаря софту — VkCommunityParser, который представляет собой настраиваемый парсер групп, пабликов и встреч вконтакте с фильтрами, которые можно настроить под конкретную задачу.

Начнем обзор программы. На момент публикации поста последней версией является билд под номером — v1.2.1.

Скачать программу можно с блога разработчика — mestage.ru, или постучавшись по следующим контактам в скайп — mestage-soft. Программа 100% бесплатная. При первом запуске вам предложат ввести логин/пароль от аккаунта вконтакте, который будет использоваться для сбора сообществ. Дело это кстати относительно безобидное и вероятность бана сведена почти к нулю.

Авторизация в программе VkCommunityParser

Жмем кнопку войти и если логин/пароль подходят — вас перебросит на главное окно программы. Софт поддерживает автоматическое уведомления о новой версии, так что если при первом запуске вы получите сообщение о том, что ваша копия программы не является последней — то лучше обновиться.

Рабочее окно VkCommunityParser

Интерфейс прост до безобразия. В колонку «поисковые фразы» вам необходимо вбить список ключевых слов, по которым будут искаться группы/паблики/встречи вконтакте. Вводятся они по принципу 1 ключевое слово или фраза — одна строчка. Максимального порога нет, я работал с базой ключей свыше 1000 слов и программа нормально себя показала, не зависнув и собрав необходимую информацию.

Чуть ниже вы выбираете, что конкретно будете парсить, а также тип сбора — ссылки на сообщества или только ID сообществ. Можно установить критерий — «только с открытыми стенами».

Вторая колонка это тонкие настройки парсинга. За один запрос можно спарсить до 1000 сообществ в социальной сети вконтакте, так что рекомендую критерий «сообществ с одного запроса» оставить без изменений = 1000.

В поле страна можно задать GEO расположения группы, паблика или встречи — Россия, Беларусь, Казахстан, Украина.

Для более глубокого поиска можно выставить ID города и собирать сообщества относящиеся к конкретному населенному пункту.

Далее можно выставить количество участников. Понятное дело, что «мертвые» группы-однодневки с 1-5 участниками врятли вас заинтересуют, поэтому выставляйте на своей усмотрение. Я лично не работаю с группами с числом участников менее 150.

Далее можно выставить метод сортировки — по скорости роста, по количеству лайков, комментариев и тд.

Вот в принципе и все. Останется лишь загрузить ключевые слова в VkCommunityParser и нажать кнопку старт. Остальную работу ВККомьюнитиПарсер сделает за вас. Вам лишь будет достаточно скопировать результаты в буфер обмена и начать с ними работать.

На сегодняшний момент VkCommunityParser — лучший бесплатный сборщик пабликов, групп и встреч в социальной сети вконтакте. Остается надеяться, что софт останется бесплатным и будет продолжать развиваться.

сбор id групп вк | Bablosoft

Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you may not be able to execute some actions.

Please download a browser that supports JavaScript, or enable it if it’s disabled (i.e. NoScript).

  1. Home
  2. BrowserAutomationStudio
  3. Делитесь приложениями
  4. org/Breadcrumb»> сбор id групп вк

This topic has been deleted. Only users with topic management privileges can see it.


  • Сделал небольшой сборщик id групп vk. Вариант тестовый если заинтересует кого-нибудь возможно усовершенствовать.
    Стартовый урл должен быть вида https://m.vk.com/trahowasiya?act=members
    нужно ввести количество страниц + 1 то есть если страниц 10 нужно указать 11 в противном случае файл отчета не запустится. Я понимаю что это не удобно но так и не смог сделать чтобы автоматом прибавляло) папка должна находиться по адресу C:\test (можно изменить в коде если нужно) в папке файл str.

    txt в нем находятся номера страниц.
    после удачного парсинга открывается блокнот с собранными id
    Если кто посоветует как прибавить +1 к ресурсу было бы супер. Буду рад любым откликам. Делал по мотивам поста http://community.bablosoft.com/topic/398/помогите-реализовать-xpath-парсинг-или-иной но реализация своя так сказать

    сам архив 0_1475316112591_test.rar

  • @Стас Хорошая реализация, посмотрим что взять или доработать. Я вот ещё подумал, делать парсинг не из мобильной версии а со страницы Api.vk , вот пример ссылки — api.vk.com/method/groups.getMembers.xml?group_id=officialpages&connections&offset=0&access_token= (officialpages это ид нужной группы) .

    в строчках UID это id пользователей.
    Что удобно — это 1000 участников на одной странице. После сбора можно добавлять к offset 1000 для просмотра следующих 1000 юзверей. Только как отсеять лишнюю инфу вида тегов.

  • @zombroid266 интересно не знал о таком варианте

  • @zombroid266 регудяркой можно вытащить айдшники

  • org/Comment»>

    @DrPrime не подскажешь где можно ознакомиться с регулярками ? Понять что за зверь )

  • @zombroid266
    https://youtu.be/UkNvH-QNyxc вот видео по созданию регулярок. Что бы применить в софте есть раздел с регулярными выражениями. Например, в этом случае сохраняешь ответ сервера в переменную, а переменную парсишь созданной регуляркой и сохраняешь результат в новую переменную. Дальже уже делаешь с ней то что нужно

  • org/Comment»>

    @DrPrime спасибо ) буду пробовать

  • Финальная версия парсера пользователей из группы, взял у тебя способ извлечения пользователей со страницы. 0_1475477499700_mvkpars-final.xml
    Понимаю что это никому ненужное, начинал работу лишь чтобы начать осваивать софт и создать первый скрипт, спасибо всем кто помогал отвечая на вопросы.
    Теперь приступлю к парсингу из api.vk =)

  • org/Comment»>

    @zombroid266 Не согласен что никому не нужно. Чем больше примеров тем проще как обучаться так и реализовывать что то свое.

  • единственное что понял, так это первую ссылку на api вконтакте… как это с помощью программы сделать — ничего не понятно к сожалению(((

Loading More Posts

10
Posts

5205
Views

Log in to reply

 

  • 5

    6
    Votes

    5
    Posts

    331
    Views

  • 2

    3
    Votes

    2
    Posts

    305
    Views

  • 25

    14
    Votes

    25
    Posts

    4492
    Views

  • 5

    5
    Votes

    5
    Posts

    1914
    Views

  • 22

    7
    Votes

    22
    Posts

    1276
    Views

  • 4

    0
    Votes

    4
    Posts

    293
    Views

  • 15

    4
    Votes

    15
    Posts

    380
    Views

  • 1

    0
    Votes

    1
    Posts

    114
    Views

Скрапинг и парсинг данных чата Telegram с помощью TeleParser

Скрапинг и парсинг данных чата Telegram с помощью TeleParser https://github. com/artmih34/TeleParser

Ссылка на инструмент: https://github.com/artmih34/TeleParser

Прежде всего, мы хотели бы пожелать нашим читателям счастливого Нового года, и огромное спасибо, что вернулись на нашу страницу, чтобы прочитать наш самый первый Обзор инструмента OSINT за 2022 год.

Без дальнейших церемоний мы сразу приступим и представим очень легкую, но эффективную утилиту Python под названием TeleParser. Это утилита с одной функцией, которая использует Telegram API для извлечения данных чата Telegram из каналов и групп, а затем представляет очищенные данные в формате CSV или JSON. Одна из очень важных причин, по которой мы представляем этот инструмент, заключается в том, что он совпадет с предстоящим вебинаром нашего стратегического партнера Paliscope, посвященным аналитике чата. Поэтому мы настоятельно рекомендуем нашим читателям зарегистрироваться для просмотра вебинара, запланированного на 26 января, путем регистрации по этой ссылке: https://www. paliscope.com/2022/01/12/live-webinar-learn-how-to- собирать-и-анализировать-данные-чата-из-открытых-источников-paliscope/.

К настоящему моменту многие из наших читателей правильно укажут, что веб-приложение Telegram предоставляет пользователям возможность экспортировать данные чата из групп, каналов и отдельных взаимодействий вместе с любыми загруженными медиафайлами, включая изображения, видео и GIF-файлы. В настоящее время экспортированные данные чата, которые предоставляет Telegram, представлены в формате HTML или JSON. Хотя JSON представляет собой в некотором роде структурированный формат, который может позволить цифровым исследователям анализировать содержащиеся в нем данные; К сожалению, для Telegram это не так. Итак, если возникнет ситуация, когда цифровым следователям потребуется проанализировать канал Telegram, который может содержать несколько тысяч сообщений, наиболее эффективным способом для этого обычно является использование стороннего инструмента анализа, такого как Paliscope YOSE. Тем не менее, цифровому исследователю необходимо сначала структурировать данные чата Telegram в формате, который можно соответствующим образом обрабатывать и анализировать. Выполнение этого вручную может занять невероятное количество времени, вплоть до того, что может возникнуть вопрос о том, стоит ли такая задача требуемых времени и ресурсов. Тем не менее, предмет данного обзора инструмента OSINT — TeleParser — поможет решить эту задачу эффективно и быстро.

Как упоминалось ранее, TeleParser — это легкая утилита, которую можно запускать без установки каких-либо необходимых модулей. Однако эта утилита потребует от пользователя ввода учетных данных Telegram API в файле config.ini. Затем утилиту можно запустить, просто вызвав python teleparser.py . С этого момента утилита запросит ввод идентификатора целевого канала или группы. После этого парсер запустится и соберет все доступные данные чата, а затем представит извлеченные данные в файле CSV или JSON.

Итак, теперь наши читатели могут спросить, что можно сделать с этими данными после их извлечения? Во время тестирования утилиты мы просмотрели чат, связанный с ультраправой организацией, в результате чего был создан CSV-файл размером 91 МБ. Теперь этот файл можно проанализировать вручную либо в Microsoft Excel, либо для наших более опытных пользователей — обработать с помощью языка программирования «R». Вместо этого мы решили использовать сверхмощный искусственный интеллект Paliscope YOSE для визуализации извлеченных данных чата — результаты были просто фантастическими.

В общем и целом, TeleParser — это утилита, которая заслуживает большой похвалы благодаря своей готовой к использованию и простой в использовании функциональности. В общей сложности мы смогли использовать TeleParser для очистки чуть менее 100 каналов и групп Telegram за один день. Это указывает не только на риск использования Telegram ультраправыми группами для распространения ненавистнического и расистского контента, но и на тот факт, что у цифровых следователей есть прекрасная возможность использовать данные чата из приложения для обмена мгновенными сообщениями и соответствующим образом анализировать их. В целом, команда OS2INT настоятельно рекомендует TeleParser. На этом этапе мы еще раз рекомендуем нашим читателям подписаться на предстоящие веб-семинары Paliscope, чтобы узнать больше о том, как вы можете очищать данные чата с помощью утилит OSINT, таких как TeleParser, а затем использовать Paliscope YOSE для анализа таких данных с помощью встроенной функции Chat Analytics. . Наши читатели могут зарегистрироваться для участия в первой из двух частей серии вебинаров по URL-адресу: https://www.paliscope.com/2022/01/12/live-webinar-learn-how-to-collect-and-analyze- чат-данные-из-открытых-источников-paliscope/.

Автор

Джозеф Джонс | Основатель OS2INT и директор по развитию потенциала в Paliscope

Джозеф Джонс — бывший оператор британской военной разведки и бывший офицер разведки Национального агентства по борьбе с преступностью с более чем 16-летним опытом сбора разведывательной информации и проведения расследований. Он имеет степень бакалавра (с отличием) в области разведки и кибербезопасности Стаффордширского университета, а также является внешним экспертом Агентства Европейского Союза по подготовке сотрудников правоохранительных органов (CEPOL), Европейского агентства пограничной и береговой охраны (FRONTEX), Агентства Европейского Союза по кибербезопасности. (ENISA) и Expertise France.

Эксклюзив — Подробная информация о расследовании Group-IB нового поколения вредоносного ПО для POS-терминалов

Пьерлуиджи Паганини, главный редактор

Group-IB: Новое поколение вредоносного ПО для POS-терминалов — банкоматы в интересах хакера, крупные США банки скомпрометированы

Согласно статистике Group-IB, одной из ведущих компаний в области безопасности и компьютерной криминалистики, современные киберпреступники начали использовать специфическое вредоносное ПО для банкоматов и POS-терминалов для целевых атак.

Большинство из них организованы с помощью инсайдеров в лице сотрудников, которые имеют доступ к POS для локального обслуживания или обновления его программного обеспечения. Лишь немногие заражения были обнаружены с помощью целенаправленных удаленных атак на кассы, работающие под управлением Windows XP/Windows Embedded с доступом по RDP/VNC, или уязвимостей в сетях банкоматов, подключенных к VPN-каналам банков или сетям GSM/GPRS.

Ранее исследователь безопасности McAfee Чинтан Шах сообщил банковскому сообществу о vSkimmer, похожем на трояна вредоносном ПО, предназначенном для заражения компьютеров под управлением Windows, к которым подключены считыватели платежных карт.

В конце 2012 года израильская компания Seculert уведомила о вредоносном ПО Dexter, используемом для анализа дампов памяти определенных процессов, связанных с программным обеспечением POS, в поисках данных кредитной карты Track 1 / Track 2.

Несколько дней назад Group-IB обнаружила новый тип POS-вредоноса «DUMP MEMORY GRABBER by Ree[4]», написанный на чистом C++ без использования каких-либо дополнительных библиотек. IT поддерживает все версии Microsoft Windows, включая версии x64, и использует mmon.exe для сканирования оперативной памяти на треки и данные кредитных карт.

Рис.1 – вредоносная программа имеет собственные интеллектуальные функции для удаления сторонней информации, чтобы POS логировала вредоносную программу только с скомпрометированными данными кредитных карт

По описанию автора, добавляет себя в автозапуск по умолчанию тайм-аут через 3 часа. Журнал перехваченных дампов передается через FTP-шлюз с указанием даты. Этот вариант может быть изменен в уведомлении по электронной почте по запросу клиента.

Дамп памяти граббера Панель администратора

 Group-IB и ее CERT (CERT-GIB) обнаружили частное видео с демонстрацией панели администратора этой новой вредоносной программы для POS-терминалов.

Клиенты крупных банков США, таких как Chase (Ньюарк, Делавэр), Capital One (Вирджиния, Ричмонд), Citibank (Южная Дакота), Union Bank of California (Калифорния, Сан-Диего), Nordstrom FSB Debit ( Скоттсдейл, штат Аризона), были скомпрометированы этой вредоносной программой, вот некоторые фрагменты данных, извлеченные из загруженного видео на одном из самых известных подпольных форумов:

На следующем изображении эксклюзивный скриншот, связанный с компрометацией тысяч кредитных карт, скриншот панели администратора «BlackPOS», 23 марта 2013 г. из-за языка и интересного фактора в видео, который очень сложно обнаружить – около 01:44 появилась ссылка на внутреннюю систему обмена сообщениями одной из самых известных социальных сетей в России – Вконтаке. ру.

Рис. 3 – Автор следующей вредоносной программы для торговых точек и ссылка на профиль Вконтакте во время демонстрации панели администратора вредоносной программы для торговых точек

Похоже, хакер общался с одним из своих друзей через Вконтакте и забыл закрыть активное окно Интернет-браузера. Профилирование по идентификатору Вконтакте (http://vk.com/id93371139) раскрывает нам личность под анонимным ником «Вагнер Рихард».

Рис.4 – Автор вредоноса использует анонимный никнейм в Вконтакте для общения со своими друзьями

Хакер упоминает ссылку в группе для заказов на DDoS-атаки, что может характеризовать его как одного из фигурантов крупной киберпреступной группировки.

Рис. 5 — Анонимная группа в социальной сети для заказов на DDoS-атаки (http://vk.com/the_ddos_attack)

Ранее было создано несколько подобных групп, связанных с DDoS-атаками, но все они ранее были забанены.

Рис. 6 – 7 человек входят в состав выявленной группы киберпреступников, в том числе автор вредоносного ПО для торговых точек с ником «Wagner Richard», он является администратором группы

На картинке выше показаны 7 участников обнаруженной группы киберпреступников, в том числе автор вредоносного ПО для торговых точек с ником «Wagner Richard», он является администратором группы, 8-й участник был найден по разделу «Нравится».

Рис. 7 – полное раскрытие участников, большинство из которых относятся к российской хактивистской деятельности, связанной с группой Anonymous, которая активно освещалась в российских СМИ во время выборов Президента

8-й участник найден по разделу «Нравится» .

Рис. 8 — 8-й участник найден по разделу «Нравится»

Расценки на DDoS-атаку от банды начинаются от 2 долларов в час, что просто шокирует (22 доллара — в день, 220 долларов — в неделю), а также упоминается, что они торгуют частным DDoS-ботом за 800 долларов США.

В соответствии со спецификацией услуги, хакеры также используют методы обхода защиты сервисов от DDoS, таких как QRator, Cloudfare, Cisco Guard).

Рис. 9 – Согласно спецификации сервиса, хакеры также используют методы обхода защиты сервисов от ddos, таких как QRator, Cloudfare, Cisco Guard)

, что доказывает, что в большинство киберпреступлений вовлечена молодежь.

«Мы нашли один из C&C для следующего POS-зловреда, но на самом деле были заражены сотни POS/ATM, и мы все еще изучаем этот вопрос», – сказал Андрей Комаров, руководитель международных проектов CERT-GIB CTO .

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *