Как люди помогают технологиям в Яндекс Картах / Хабр

На днях пользователи Яндекс Карт получили возможность актуализировать данные о доступности организаций. Например, можно указать, оборудован ли пандусом вход в парикмахерскую или есть ли в торговом центре специализированный туалет. Для начала мы попросили пешеходов Яндекса разметить первые 400 тысяч организаций в 73 городах.

Я Данис Гаязов из внутреннего сервиса Crowd, команды полевого краудсорсинга. Полевого, потому что мы работаем «в поле», то есть не в офисе. Сегодня по случаю запуска я расскажу, зачем Картам пешеходы и как они помогали и помогают делать сервисы более полезными.

_{Результат работы пешехода на заре проекта схем ТЦ}

Согласитесь, во время поездки или прогулки неприятно уткнуться в шлагбаум, забор или любое другое препятствие, не обозначенное на карте. Как его обойти, чтобы не заплутать — понять сложно. Приходится двигаться наобум и терять время на поиски.

Чтобы такие ситуации происходили реже, а карты городов стали удобнее и ближе к реальности, сотни людей ежедневно ходят по улицам, аэропортам, ТЦ и вокзалам в своих городах. Мы называем их пешеходами.

Как в Картах появились пешеходы

Наша база организаций ежедневно пополняется и обновляется. Информация поступает разными способами: с помощью ML обработки данных с панорам и зеркал, с официальных сайтов, от пользователей Карт и от представителей самих компаний. Однако у многих организаций нет ни сайта, ни публично доступного телефона, ни геопривязки. Компания существует, но аудитория Карт о ней ничего не знает.

Отправлять сотрудников «в поля», чтобы они собрали нужные данные, было бы неправильно. Да и не во всех городах такое возможно. Однако сама идея полевых исследований показалась нам интересной, и мы решились на эксперимент.

Сначала мы несколько раз в год нанимали людей в разных городах, чтобы они проверяли информацию об организациях, которые есть на Картах.

Но вскоре поняли: такие проверки должны быть регулярными, потому что данные быстро устаревают.

Весной 2017 года в Казани вышел на работу первый «пешеход»: человек, который в буквальном смысле слова пешком ходил к интересующим нас объектам и присылал требуемую информацию о них.

^{Первый пешеход в Казани}

Эксперимент оказался удачным, и мы решили расширить штат полевых сотрудников. В апреле пешеходов стало трое, в мае — десять, а уже к концу года разнообразные задания выполняли две сотни пешеходов в разных городах. Быстрый рост произошёл из-за удобства формата и разнообразия открывшихся перед нами возможностей. Пешеходы помогли нам собирать не только сведения о компаниях в любом районе любого города, но и много других данных, включая картографические.

Почему это важно? Попробую объяснить. Вы наверняка понимаете, что для построения маршрута в Яндекс Картах сервису нужно знать сетку дорог. Для каждого типа маршрута — своя сетка. Автомобильный включает в себя все виды дорог — от внутриквартальных проездов до магистралей.

А пешеходный — тротуары и тропинки, «зебры», лестницы, арки в зданиях, а также автомобильные дороги, доступные для пешеходов.

Нанести на карту все доступные пешеходам пути — непростая задача. Во-первых, их действительно много — только в окрестностях вашего дома, скорее всего, более десятка тропинок. Во-вторых, о большинстве из них, в отличие от автомобильных дорог, знают только местные жители. Как же тогда появляются эти тропинки на картах? Благодаря пешеходам. Они лично проходят эти маршруты, а потом наносят их на карту. Проходы сквозь дворы, дорожки в парках, тропинки — всё это добавляется в базу Карт и используется для построения маршрутов. Работа масштабная: только за первый год пешеходы прошли 130 тысяч километров.

Как работают пешеходы

Пешеходы мобильны: могут дойти до нужного места, чтобы получить интересующую нас информацию. Например, уточнить график работы организации, расположение входа, наличие пандуса, номер телефона вашей любимой кофейни или обувной мастерской.

Пешеходы — очень важные для нас помощники, поэтому мы не гоняем их по всему населённому пункту, чтобы собрать информацию. Города поделены на части: кварталы, микрорайоны, торговые центры. Каждый пешеход обходит свой участок, проверяя имеющиеся данные и добавляя новые.

На старте проекта работа была организована просто: пешеход посещал место и передавал нам информацию.

Изначально наш проект представлял собой большой geoJSON-файл, который хранился на сервере и содержал в себе геометрию всех заданий для обхода. Для управления этим файлом мы написали простую HTML-страницу, где можно было работать с полигонами: просматривать, создавать, изменять и удалять.

Но с ростом проекта мы поняли, что это решение не покрывает всех наших потребностей. Из основных проблем:

• Нестабильная работа. Наша инфраструктура на тот момент располагалась не в облаках, а на отдельной машине, которая иногда сбоила. Каждый такой сбой приводил к тому, что мы не могли вовремя назначить пешеходу полигон. Возникали простои в работе.
• Отсутствие многопользовательского режима. Веб-страница при загрузке скачивала geoJSON целиком, специалист выполнял в нём нужные операции и загружал обновлённый файл обратно на сервер. Если двое специалистов вносили изменения одновременно, то сохранялись только самые поздние.
• Жёсткая привязка инфраструктуры к конкретному сервису. Мы могли использовать этот инструмент только для Карт. Избавившись от такого ограничения, мы могли бы помочь любым сервисам, которым нужны данные об офлайне.
• Невозможность развиваться и добавлять новые функции. Архитектура не предполагала каких-либо изменений и каждый раз приходилось лепить «костыли», чтобы изменить хоть что-то.

Мы обратились за помощью к коллегам, которые помогают строить Толоку и другие инструменты для сбора оценок. Они за три месяца написали нам полноценный бэкенд с базой данных, удобный API для работы с ней и другие нужные функции (но полноценный фронтенд всё-таки пришлось делать самим). Когда MVP был готов, мы приступили к важному этапу, длившемуся не меньше полугода — интеграции в существовавшие процессы и полному переезду на новое серверное решение. Также добавили то, чего не было в предыдущей системе: многопользовательский доступ; чтобы координатор одного города не мог управлять и назначать полигоны в другом городе; поиск по полигонам и много других изменений. И в декабре 2019 года мы полностью закончили работу над новой системой.

От организаций к лавочкам и схемам ТЦ

После модернизации мы смогли эффективнее использовать возможности пешеходов, а заодно увеличили их количество. Сейчас пешеходы обходят вверенную им территорию, собирая данные. Они:

1. Актуализируют информацию об организациях:
   
   • Проставляют входы в организации.
   • Делают фотографии фасадов.
   • Уточняют названия, адреса, телефоны, сайты, время работы организаций.
   • Собирают информацию о Wi-Fi, ИНН, ОГРН, меню, доступности городской среды для маломобильных людей.
2. Добавляют отсутствующие организации со сбором всех перечисленных выше атрибутов, специализацией, а также датой открытия организации.
3. Исправляют ошибки в имеющихся у нас адресных данных.
4. Добавляют на карту заборы, шлагбаумы, лестницы, скамейки, пандусы и так далее.
5. Собирают информацию о нумерации подъездов в жилых домах.
6. Определяют зону видимости электронных билбордов.

Детализация карт помогает спланировать велопрогулку или оптимально рассчитать маршрут движения курьера. Благодаря пешеходам можно увидеть, как срезать путь и не наткнуться на огороженную территорию или шлагбаум. Кроме того, банально удобно знать, где в парке можно присесть на скамейку и в каких заведениях есть пандусы для родителей с колясками и людей на инвалидных колясках. С 2019-го мы стали показывать внутренние планы крупных ТЦ, вокзалов и аэропортов. Об этом стоит рассказать подробнее.

Отдельно про торговые центры

Сориентироваться внутри здания порой труднее, чем на улице, особенно если это многоэтажный торгово-развлекательный комплекс. Без схемы не обойтись.

Мы начали со схем 29 крупных торговых центров в Москве и ближайшем Подмосковье, а затем отправились в крупные ТЦ в городах-миллионниках. Пешеходы шли на объекты с распечатанными на бумаге поэтажными схемами зданий из Карт. Они проверяли правильность расположения стен, организаций и разных объектов инфраструктуры — лифтов, туалетов, стоек информации. Обновленные схемы сканировали и передавали картографам для чистовой отрисовки.

Сейчас у нас есть подробные схемы около 1000 торговых центров, вокзалов и аэропортов. На них можно найти всё: от магазинов и ресторанов до стоек с газировкой. С помощью таких схем легко спланировать поход в ТЦ — не придётся гадать, на каком этаже искать нужный магазин или блуждать по галереям в поисках туалета.

Но согласитесь, когда схема рисуется от руки, это не очень похоже на технологичное решение Яндекса. Надо было что-то менять, и с этим «помогла» пандемия. Когда торговые центры по всей стране закрылись почти на три месяца, мы полностью переработали концепцию и разработали более совершенное решение: пешеходы получили возможность делать пометки об изменениях на карте в своих смартфонах. Эти пометки автоматически выгружаются в виде гипотез в Народную карту — сервис, позволяющий пользователям самостоятельно рисовать карты и уточнять их. Гипотезы проверяют, а потом добавляют пометки в базу данных Карт и наносят на схему здания.

Так процесс актуализации схем пошёл в разы быстрее. Сначала пешеходы обошли все крупные торговые центры, вокзалы и аэропорты в городах-миллионниках, а затем начали проходить все города, принося на Карты миллионы новых объектов из реального мира.

Как мы добились полноты и качества собираемых данных

Казалось бы, всё просто. Пешеходы записывают информацию и передают её нам, после обработки на Картах появляется новый объект. Но возникает вопрос контроля. Как определить, что пешеход действительно собрал всю информацию и ничего не придумал?

В крупных городах, где много пешеходов и заданий для них, мы могли контролировать качество поступающей информации, делая выборки и самостоятельно перепроверяя отдельные полигоны. В городах поменьше это невозможно: там работает 1–2 пешехода, и проверять каждого вручную — слишком сложно и долго.

Нужно было понять, как пешеходы обходят полигоны, что может стать метрикой качества и как её автоматизировать. Мы исходили из того, что необходимым условием хорошей полноты добавлений организаций является качественный и полный обход полигона.

Так появилась метрика «доходимости», которая считается на основе логов обхода территории. Доходимость — это соотношение двух площадей: участка полигона, который действительно обошёл пешеход, и того, который он должен был исследовать. Чем тщательнее пешеход прошёл свой участок карты, тем выше доходимость обхода.

В качестве исходных данных мы взяли информацию о перемещении пешеходов (во время обхода полигонов) из AppMetrica и геометрию домов из базы Карт. А полигоны замостили сеткой из квадратов, размер которых подобрали экспериментально.

В область, которую нужно было исследовать, попадают все квадраты с домами, так как пешеход должен обойти все дома полигона. В область, которую фактически обошёл пешеход, записываем все квадраты, на которые попали треки пешехода.

В итоге мы получили реальную информацию о том насколько тщательно пройдена вся территория. Теперь для городов без координатора используем эту метрику.

Помимо сбора данных мы готовим и визуализацию обхода каждого полигона на карте, что помогает при работе с пешеходами. Дополнительным плюсом новой метрики стала скорость получения обратной связи. Ведь ранее, чтобы увидеть полноту обхода, нам приходилось ждать результатов повторного обхода координатора.

---

Сейчас пешеходов уже несколько сотен в 80 городах и пяти странах. За четыре года работы они прошли сотни тысяч километров.

Мы активно работаем над повышением детализации Карт, привлекая новых пешеходов, развиваем и готовим новые проекты, уже далеко не всегда связанные со справочными данными и картами.

Предоставление лица прокси-службе вредоносных программ «Без лица» — Кребс о безопасности

За последние семь лет прокси-служба на основе вредоносного ПО, известная как « Faceless », продавала анонимность бесчисленному количеству киберпреступников. Менее чем за доллар в день клиенты Faceless могут направлять свой вредоносный трафик через десятки тысяч скомпрометированных систем, рекламируемых в сервисе. В этом посте мы рассмотрим подсказки, оставленные владельцем Faceless за последнее десятилетие, в том числе те, которые могут помочь раскрыть лицо этого имени.

Страница поиска прокси внутри службы анонимности на основе вредоносных программ Faceless. Изображение: spur.us.

Райли Килмер является соучредителем Spur.us, компании, которая отслеживает тысячи сетей VPN и прокси и помогает клиентам идентифицировать трафик, проходящий через эти службы анонимности. Килмер сказал, что Faceless стала одной из самых надежных подпольных прокси-служб на основе вредоносных программ, главным образом потому, что ее прокси-сеть традиционно включала в себя большое количество скомпрометированных устройств «Интернета вещей», таких как серверы обмена медиа, которые редко включаются в вредоносные программы или списки блокировки спама.

Килмер сказал, что когда Spur впервые начали изучать Faceless, они заметили, что почти каждый интернет-адрес, который Faceless рекламировал для аренды, также появлялся в поисковой системе IoT Shodan.io как устройство для обмена мультимедиа в локальной сети, которое каким-то образом было доступно для Интернета. .

«Мы могли бы надежно найти [отпечатки пальцев] этих устройств для обмена мультимедиа в Shodan и найти те же самые системы для продажи на Faceless», — сказал Килмер.

В январе 2023 года веб-сайт сервиса Faceless заявил, что готов платить за информацию о ранее незадокументированных уязвимостях безопасности в устройствах IoT. Те, у кого есть нулевой день IoT, могут рассчитывать на оплату, если их эксплойт задействует не менее 5000 систем, которые можно идентифицировать с помощью Shodan.

Уведомления, размещенные для пользователей Faceless, рекламирующие службу рассылки электронных писем и запрашивающие уязвимости нулевого дня в устройствах Интернета вещей.

Недавно Faceless продемонстрировал амбиции, выходящие за рамки простой продажи доступа к плохо защищенным устройствам IoT. В феврале Faceless повторно запустила сервис, который позволяет пользователям сбрасывать на кого-то электронную бомбу, в результате чего почтовый ящик жертвы заполняется десятками тысяч нежелательных сообщений.

А в марте 2023 года Faceless начал продавать сервис для поиска номеров социального страхования (SSN), который, как утверждается, обеспечивает доступ к «крупнейшей базе данных SSN на рынке с очень высоким процентом попаданий».

Килмер сказал, что Faceless хочет стать универсальным центром мошенничества для киберпреступников, которые ищут украденные или искусственные удостоверения для совершения операций в Интернете, а также временным прокси-сервером, географически близким к продаваемому удостоверению. В настоящее время Faceless продает этот пакетный продукт за 9 долларов — 8 долларов за личность и 1 доллар за прокси.

«Они пытаются быть этим универсальным магазином для анонимности и персон», — сказал Килмер. «Служба в основном говорит: «Вот SSN и прокси-соединение, которое должно соответствовать местоположению этого пользователя и иметь смысл для разных веб-сайтов» 9.0005

MRMURZA

Faceless — это проект от MrMurza , особо болтливого участника более дюжины русскоязычных форумов по киберпреступности за последнее десятилетие. По данным компании Flashpoint, специализирующейся на киберразведке, MrMurza активно работает в российском подполье как минимум с сентября 2012 года. Flashpoint заявила, что MrMurza, по-видимому, активно участвует в деятельности ботнетов и «дропах» — мошеннических банковских счетах, созданных с использованием украденных идентификационных данных, которые часто используются в схемы отмывания денег и обналичивания денег.

Faceless вырос из популярного сервиса анонимности под названием iSocks , который был запущен в 2014 году и рекламировался на нескольких российских криминальных форумах как прокси-сервис, который клиенты могли использовать для маршрутизации своего вредоносного веб-трафика через взломанные компьютеры.

Flashpoint сообщает, что за несколько месяцев до выхода iSocks в сеть MrMurza разместил на русскоязычном криминальном форуме сообщение Verified с просьбой найти серьезного партнера для помощи в открытии прокси-сервиса, отметив, что у них есть ботнет, работающий на вредоносном ПО, которое собирает прокси. с 70-процентным уровнем заражения.

Реклама MrMurza’s Faceless на русскоязычном криминальном форуме ProCrd. Изображение: Darkbeast/Ke-la.com.

В сентябре 2016 года MrMurza разослал сообщение всем пользователям iSocks, в котором говорилось, что услуга скоро будет заменена Faceless, и что существующие пользователи iSocks могут зарегистрироваться в Faceless бесплатно, если они сделают это так быстро — до того, как Faceless начал взимать плату с новых пользователей. регистрационный сбор от 50 до 100 долларов.

Verified и другие русскоязычные криминальные форумы, на которых присутствовал MrMurza, были взломаны на протяжении многих лет, а контактные данные и личные сообщения просочились в сеть. В личном сообщении 2014 года администратору Verified, объясняя свою добросовестность, MrMurza сказал, что он получил многолетние положительные отзывы как продавец украденных итальянских кредитных карт и поставщик услуг по доставке.

MrMurza сообщил проверенному администратору, что на протяжении многих лет использовал псевдоним AccessApproved на нескольких других форумах. MrMurza также сообщил администратору, что номер его счета в ныне несуществующей виртуальной валюте Liberty Reserve был U1018928 .

По данным разведывательной компании Intel 471, пользователь AccessApproved присоединился к российскому криминальному форуму Zloy в январе 2012 года с интернет-адреса в Магнитогорске, Россия. В личном сообщении 2012 года, в котором AccessApproved спорил с другим киберпреступником из-за неудачной сделки, AccessApproved попросил оплатить его по адресу Liberty Reserve U10189.28.

В 2013 году федеральные следователи США арестовали Liberty Reserve и обвинили ее основателей в содействии отмыванию миллиардов долларов в отмывании денег, связанных с киберпреступностью. Дело Liberty Reserve велось в судебном порядке в Южном округе Нью-Йорка, который в 2016 году опубликовал список информации о счетах (PDF), связанный с тысячами адресов Liberty Reserve, которые, по утверждению правительства, были причастны к отмыванию денег.

Этот документ указывает на учетную запись Liberty Reserve, на которую претендует MrMurza/AccessApproved — U1018928 — был присвоен в 2011 году « Панов Вадим », который использовал адрес электронной почты [email protected] .

ПАНОВ

Constella Intelligence, фирма по анализу угроз, которая отслеживает взломанные базы данных, сообщает, что адрес [email protected] использовался для учетной записи «Хакерок» в бухгалтерской службе klerk.ru, которая была создана с интернет-адреса в Магнитогорске. Пароль, выбранный этим пользователем, был « 1232 ».

Помимо продажи доступа к взломанным компьютерам и банковским счетам, как MrMurza, так и AccessApproved подрабатывали на криминальных форумах, продавая одежду от популярных ритейлеров, которые отказывались доставлять товары напрямую в Россию.

На одном из киберпреступных форумов, где у AccessApproved были покупатели одежды, участники форума создали длинную дискуссионную ветку, чтобы помочь пользователям идентифицировать входящие электронные письма, связанные с различными услугами повторной доставки, рекламируемыми в их сообществе. Переотправители, как правило, полагаются на большое количество людей в Соединенных Штатах и ​​Европе, помогающих пересылать посылки за границу, но во многих случаях уведомления о покупках и деталях доставки будут пересылаться клиентам службы повторной доставки с постоянной учетной записи электронной почты. 9У gg4u и AccessApproved была еще одна ниша: перепродажа строго контролируемых веществ, таких как гормон роста человека и анаболические стероиды, от поставщиков химикатов в Китае.

Поиск в Constella по адресу [email protected] и множеству вариаций этого адреса показывает, что эти учетные записи циклически повторяли одни и те же пароли, в том числе 055752403k , asus666 , 01091987h и относительно слабый пароль 1232 (напомним, что 1232 выбрал тот, кто зарегистрировал аккаунт lesstroy@mgn. ru на Klerk.ru).

Constella говорит, что адрес электронной почты [email protected] основывался на паролях asus666 и 01091987h. Пароль 01091987h также использовался [email protected] , который также предпочитал пароль 24587256 .

Constella далее сообщает, что владелец гораздо более короткого адреса [email protected] также использовал пароль 24587256. Кроме того, было обнаружено, что пароль 2318922479 был привязан как к [email protected], так и к [email protected]. .

Адреса электронной почты [email protected], [email protected] и [email protected] использовались для регистрации учетных записей социальных сетей Вконтакте для Дениса ***@VIP*** Панкова . Есть ряд других учетных записей Вконтакте, зарегистрированных на [email protected], и множество вариантов этого адреса под другим именем. Но ни один из этих других профилей не связан с реальными личностями.

Интеллект-карта, упрощающая исследование, описанное здесь.

ПАНЬКОВА

Данные Constella показывают, что адреса электронной почты [email protected] и [email protected] использовали довольно уникальный пароль denis250485 , который также использовался для адреса электронной почты [email protected] и почти

десятки вариантов у других русскоязычных почтовых провайдеров.

В регистрационных документах Российской Федерации за 2016 год указан адрес электронной почты [email protected], принадлежащий Панкову Денису Викторовичу , 25.04.19 г.р.85. Это объясняет часть «250485» любимого пароля Панкова. В регистрационных записях также указано, что в 2016 году автомобиль Панькова был зарегистрирован в Подмосковье.

Российские регистрационные записи показывают, что [email protected] связан с ИП Панков Денис Викторович , ныне несуществующей транспортной компанией в Вологодской области, регионе на юге России, который имеет протяженную границу с западным Казахстаном.

В более поздних записях на ИП Панкова Дениса Викторовича указано микропредприятие с таким названием в г. Омске, основным видом деятельности которого является «розничная торговля по почте или через Интернет». Согласно российским корпоративным документам, это предприятие было ликвидировано в 2021 году9.0005

Обратный поиск пароля на «denis250485» через Constella показывает, что этот пароль использовался более чем 75 адресами электронной почты , большинство из которых являются некоторыми вариантами [email protected] — например, [email protected], или [email protected].

В 2012 году кто-то разместил ответы на анкету от имени Дениса Викторовича Панкова на русскоязычном дискуссионном форуме о породах китайских хохлатых собак. В сообщении говорилось, что Панков ищет щенка определенной породы и является жителем Красногорска, города, примыкающего к северо-западной границе Москвы.

В сообщении говорилось, что Панков был тогда 27-летним менеджером в рекламной компании, и с ним можно связаться по адресу электронной почты gaihnik@mail. ru.

GAIHNIK

Constella Intelligence показывает, что [email protected] зарегистрирован в ныне несуществующей службе почтового маркетинга Smart Responder с адреса в Гагарине, что примерно в 115 милях к западу от Москвы.

Еще в 2015 году пользователь Gaihnik25 был забанен в онлайн-игре World of Tanks за нарушение условий игры, запрещающих «бот-фарминг» или автоматическое использование большого количества учетных записей игроков для получения преимущества, которое обычно связанные с обналичиванием игровых счетов или инвентаря.

Последние несколько лет некто под ником Gaihnik25 размещал сообщения на русскоязычном хакерском форуме Gerki[.]pw , в ветках обсуждения программного обеспечения, предназначенного для «грубой силы» или массовой проверки онлайн-аккаунтов на слабые или скомпрометированные пароли.

Новый участник российского хакерского форума Nohide[.]Space под ником Gaihnik недавно комментировал прокси-сервисы, программное обеспечение для проверки учетных данных и продажу взломанных списков рассылки. Первый пост Гайника на форуме касался частного софта для проверки аккаунтов World of Tanks.

Адрес [email protected] показывает, как много адресов электронной почты, связанных с Панковым, также были связаны с явно вводящими в заблуждение личностями во «ВКонтакте» и в других местах. Constella обнаружила, что этот адрес был привязан к аккаунту Вконтакте Дмитрия Закарова .

Поисковая система Microsoft Bing сообщает, что [email protected] принадлежит 37-летнему Денису Панкову, но если щелкнуть профиль этого пользователя на Mail.ru, откроется профиль гораздо более старшего человека по имени Гаврил Закаров . Однако, когда вы входите в учетную запись Mail.ru и просматриваете этот профиль, вы видите, что большинство фотографий профиля учетной записи принадлежат гораздо более молодому человеку.

Многие из тех же фотографий появляются в профиле онлайн-знакомств на веб-сайте Dating.ru для пользователя Гайхник, он же «Денчик», который говорит, что он 37-летний Телец из Гагарина, который любит гулять на природе, оставаться допоздна и в Интернете.