Яндекс, Москва — Как мы делаем Яндекс / Статьи / Хабр
antoshkkaУровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 12KБлог компании Яндекс Open source *C++ *Проектирование и рефакторинг *Управление разработкой *
Прошло больше полугода с момента выхода фреймворка для C++ 🐙 userver в open-source. За это время мы многое узнали, на многом настрадались, а главное — получили много приятных сюрпризов.И мы решили об этом написать. Рассказ будет полезен тем, кто ведёт или планирует вести свой open-source проект или занимается контрибьютами. Остальным будет интересно почитать про чужое набивание шишек и что вообще open-source даёт проекту.
Всего голосов 60: ↑59 и ↓1 +58
Комментарии 26
AlvinerУровень сложности Простой
Время на прочтение 10 мин
Количество просмотров 10KБлог компании Яндекс Разработка веб-сайтов *Python *Программирование *VueJS *
Всем привет! Меня зовут Иван Ситкин, я бэкенд-разработчик в Едадиле. Сегодня я хочу поделиться с вами историей написания очередной панели администрирования и как из этого мы собрали подходящие подходы и практики.
Для начала давайте вспомним, что же это за панели. Панель администрирования (или админка) — это приложение, которое используется для управления и настройки приложения. То есть это такой продукт для продукта. Панели администрирования нужны для различных целей, например, для создания и редактирования контента, настройки параметров продукта или управления пользователями.
Но иногда в проектах важна скорость и ресурсов на создание админки с привлечением команды фронтенда откровенно не хватает. И тогда бэкендеру приходится брать процесс в свои руки.
А теперь вы готовы погрузиться в эту кроличью нору.
Читать далееВсего голосов 29: ↑26 и ↓3 +23
Комментарии 68
PolinaBelУровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 7. 6KБлог компании Яндекс Разработка мобильных приложений *Геоинформационные сервисы *Транспорт
Аналитика
Наверняка каждый из нас был в ситуации, когда во время непогоды или после многолюдного футбольного матча цены на такси в приложении были значительно выше обычного. При таких обстоятельствах было бы здорово найти попутчика, чтобы разделить цену поездки, но непонятно, как это сделать.
Меня зовут Полина Белобородова, в Яндекс Go я руковожу командой аналитики новых продуктов в рамках эффективности платформы. И сегодня расскажу про то, как мы придумывали, тестировали и запускали тариф для поездок с попутчиками «Вместе».
Всего голосов 39: ↑35 и ↓4 +31
Комментарии 53
yulia-dolgunУровень сложности Простой
Время на прочтение 8 мин
Количество просмотров 2.2KБлог компании Яндекс Веб-дизайн *HTML *Usability *Accessibility *
Всем привет! Меня зовут Юля Долгун, я фронтенд-разработчик из Поиска. Одна из моих задач — поддерживать доступность в поиске по товарам для пользователей с различными ограничениями здоровья.
Прошлой осенью Яндекс улучшил доступность в ряде своих сервисов. Наша команда тоже принимала участие в этом проекте — исправляла баги доступности и помогала с этим другим разработчикам. Среди всех ошибок некоторые повторялись чаще всего — о них и пойдёт речь в этой статье. Я расскажу, где они скрываются, а также как и почему их нужно исправлять.
Читать далееВсего голосов 27: ↑27 и ↓0 +27
Комментарии 2
ovchinkinВремя на прочтение 7 мин
Количество просмотров 35KБлог компании Яндекс Геоинформационные сервисы *Машинное обучение *Транспорт Урбанизм
Раздел «Транспорт» — один из самых популярных в Яндекс Картах: там автобусы, троллейбусы и трамваи перемещаются прямо по карте в реальном времени, а для каждой остановки есть виртуальное табло. Можно посмотреть, сколько ещё ждать транспорт, или понять, когда лучше выходить из дома, чтобы его не пропустить. А если оказались в незнакомом районе — узнать, как быстрее добраться домой, и сразу найти ближайшую остановку или станцию метро.
Меня зовут Антон Овчинкин, я руководитель группы разработки пешеходной и транспортной навигации. Сегодня я расскажу, что у «Транспорта» под капотом, какие алгоритмы отвечают за то, чтобы автобусы появлялись на карте, двигались по ней плавно и реалистично, а прогноз был максимально точным.
Читать далееВсего голосов 108: ↑106 и ↓2 +104
Комментарии 166
tailerУровень сложности Сложный
Время на прочтение 38 мин
Количество просмотров 9.8KБлог компании Яндекс Высокая производительность *Серверное администрирование *DNS *
Привет, меня зовут Сергей Качеев, я старший разработчик в отделе сетевой инфраструктуры Яндекса. Сегодня я расскажу целый сетевой детектив о том, как мы искали баг, который убивал DNS сервер Unbound. Приготовьтесь, он будет долгим.
Всё началось с того, что мне предложили помочь ребятам из команды DNS найти такие метрики и наборы запросов, по которым будет однозначно понятно, какие настройки влияют на производительность Unbound и какие запросы вызывают у него проблемы.
В самом начале на графиках нагрузочного тестирования я увидел очень плохие результаты: случайным образом абсолютно все запросы нагрузочного теста таймаутились, но сервер, который был под нагрузкой, никак не реагировал на проблему. Как выяснилось позже, по чистой случайности я допустил ошибку в конфигурации нашего плагина Pandora, и в итоге он сам ходил в DNS на каждый запрос, чтобы узнать ip адрес тестируемого сервера. Возможно, это сыграло мне на руку и помогло найти первую из проблем, а потом и вовсе задало вектор поисков остальных багов. А в Unbound их накопилось достаточно.
Читать далееВсего голосов 95: ↑95 и ↓0 +95
Комментарии 8
MaprapuH 000Z» title=»2023-04-18, 11:01″>18 апр в 11:01Время на прочтение 5 мин
Количество просмотров 8.8KБлог компании Яндекс Гаджеты Умный дом Интернет вещей DIY или Сделай сам
В продажу поступили наши новые устройства с поддержкой протокола Zigbee: обновлённая Станция Макс, Яндекс Хаб и комплект датчиков. Но сегодня на Хабре мы поговорим не о них, а о важном изменении в платформе умного дома, о котором нас многие просили.Меня зовут Марат Мавлютов, я руковожу разработкой умного дома Яндекса. Раньше все созданные пользователями сценарии работали в облаке. Даже те, которые затрагивали устройства и датчики с поддержкой Zigbee. Теперь такие сценарии будут храниться локально, прямо на колонке или хабе. Они работают значительно быстрее облачных и даже в том случае, если интернет в квартире отключат.
Под катом я расскажу о том, как это реализовано, какой путь мы прошли и что там с поддержкой протокола Matter.
Всего голосов 38: ↑37 и ↓1 +36
Комментарии 40
arturyakovlev 000Z» title=»2023-04-17, 10:01″>17 апр в 10:01Время на прочтение 6 мин
Количество просмотров 19KБлог компании Яндекс Браузеры Машинное обучение *Искусственный интеллект Изучение языков
Привет, меня зовут Артур Яковлев, я делаю голосовой перевод видео в Яндекс Браузере. Примерно с лета я работаю над тем, чтобы научить Браузер переводить с китайского на русский. Почему мы посчитали это важной и интересной задачей? Дело в том, что китайская часть интернета содержит значительное количество видеоконтента, который за пределами страны почти не смотрят.
Множество диалектов, влияющие на смысл тоны и грамматические нюансы — ряд особенностей китайского усложняют разработку распознавания речи. Сейчас я коротко расскажу читателям Хабра о трудностях языка и объясню, как мы их преодолели.
Всего голосов 114: ↑107 и ↓7 +100
Комментарии 56
tochillinУровень сложности Средний
Время на прочтение 8 мин
Количество просмотров 3. 1KБлог компании Яндекс Высокая производительность *Анализ и проектирование систем *Алгоритмы *Машинное обучение *
Через любую высоконагруженную систему ежесекундно проходит огромный поток трафика. Релизы, хотфиксы, ddos-атаки, невалидные и ухудшающие эксперименты и многие другие события могут привести к проблемам, которые влияют на пользователей. Поэтому такие ситуации не терпят задержек.
Можно провести простую аналогию: если вы чем-то заболели, то лучше узнать об этом как можно раньше и тем самым минимизировать побочные эффекты после и в процессе выздоровления. Так и в сервисе: будь то баннерная крутилка, поиск, маркетплейс или онлайн-доставка пиццы.
Меня зовут Владимир Точилин, я работаю в группе развития рекламных продуктов и стабильности. Вместе со своим коллегой, Александром Самусенко, я расскажу, как мы создали новый инструмент realtime-детекции разладок в проде рекламных технологий. Мы работаем с системой, где на отдельные кластеры нагрузка превышает 1000000 RPS.
Историю будет интересно прочитать аналитикам, разработчикам и менеджерам любого уровня.
Читать далееВсего голосов 19: ↑19 и ↓0 +19
Комментарии 5
Уровень сложности Простой
Время на прочтение 7 мин
Количество просмотров 14KБлог компании Яндекс Управление персоналом *Карьера в IT-индустрии
Мнение
Хабр, привет! Меня зовут Настя Абрашитова, я руководитель службы инструментов репозитория в Яндексе. Однажды ко мне пришёл мой знакомый, назовём его Леонид. Он долгое время работал в небольшой компании. Он решил посоветоваться, стоит ли ему увольняться со своей работы или есть смысл остаться.
С одной стороны, Леонид занимался одним и тем же годами, и ему было скучно. А ещё ему давно не повышали зарплату, которая была ниже рынка. С другой стороны, по его словам, у него были отличные карьерные перспективы. Когда он задумался о смене работы, его СTO сказала, что в ближайшее время собирается уйти на заслуженный отдых и видит в роли своего преемника именно Леонида.
Я решила уточнить, когда это должно случиться. Леонид немного погрустнел и сказал, что они не обсуждали конкретную дату. Более того, этот разговор проходил примерно за два года до того. Я спросила: было ли с тех пор что-то сделано, что приблизило Леонида к позиции СTO? Оказалось, что ничего.
Кажется, история совершенно дикая. Но подобное происходит не редко. Поэтому важно уметь отличать настоящие обещания от пустых. В этом посте я дам несколько советов, которые помогут избежать ситуации, в которую попал Леонид.
Читать далееВсего голосов 72: ↑68 и ↓4 +64
Комментарии 18
maxim_babenkoВремя на прочтение 14 мин
Количество просмотров 40KБлог компании Яндекс Open source *C++ *Big Data *
Привет! Меня зовут Максим Бабенко, я руковожу отделом технологий распределённых вычислений в Яндексе. Сегодня мы выложили в опенсорс платформу YTsaurus — одну из основных инфраструктурных BigData-систем, разработанных в Яндексе.
YTsaurus — результат почти десятилетнего труда, которым нам хочется поделиться с миром. В этой статье мы расскажем историю возникновения YT, ответим на вопрос, зачем нужен YTsaurus, опишем ключевые возможности системы и обозначим область её применения.
В Github-репозитории находится серверный код YTsaurus, инфраструктура развёртывания с использованием k8s, а также веб-интерфейс системы и клиентский SDK для распространённых языков программирования — C++, Java, Go и Python. Всё это — под лицензией Apache 2.0, что позволяет всем желающим загрузить его на свои серверы, а также дорабатывать его под свои нужды.
Читать далееВсего голосов 219: ↑218 и ↓1 +217
Комментарии 31
duran-duranВремя на прочтение 4 мин
Количество просмотров 33KБлог компании Яндекс Клиентская оптимизация *Браузеры Компьютерное железо Видеокарты
Всем привет! Меня зовут Максим Смирнов, я руковожу командой, которая работает над производительностью Яндекс Браузера и отвечает за его графическую подсистему. В этой статье я расскажу об одном неочевидном улучшении, которое наша команда внедрила в Браузер для Windows. Если описать его в двух словах, то нам удалось улучшить стабильность и производительность браузера, убедив драйверы видеокарт, что наше приложение — это Google Chrome.
Читать далееВсего голосов 175: ↑174 и ↓1 +173
Комментарии 78
gbizВремя на прочтение 24 мин
Количество просмотров 54KБлог компании Яндекс JavaScript *Программирование *Интерфейсы *Браузеры
Про асинхронность JavaScript написано много статей, документации и книг. Но вся информация сильно распределена по интернету, поэтому сложно быстро и полностью разобраться, что к чему, и составить цельную картину в голове. Не хватает одного исчерпывающего гайда. Именно эту потребность я и хочу закрыть своей статьёй.- Цикл событий
Задачи, тики и Web API
Очередь задач
16,6 миллисекунды на задачу
Обработка больших задач
Микрозадачи
requestAnimationFrame
requestIdleCallback
Сравнение очередей
Цикл событий в Node. js - Функции обратного вызова
Ад обратных вызовов
Не выпускайте Залго
Жёсткая сцепленность
Проблема доверия - Обещания
Цепочки обещаний и проброс отказа
Неявное поведение
Возвращение нового обещания
Спрятанный try/catch
Thenable-объекты
Статические методы
Promise.all
Promise.race
Promise.any
Promise.allSettled
Промисификация
Обещания или функции обратного вызова?
Корутины - Async/await
Верхнеуровневый await и асинхронные модули
Обработка ошибок
Не все await одинаково полезны - Заключение
Всего голосов 78: ↑78 и ↓0 +78
Комментарии 25
antoshkkaВремя на прочтение 8 мин
Количество просмотров 26KБлог компании Яндекс Программирование *C++ *Компиляторы *
С момента моей прошлой публикации состоялось уже две встречи международного комитета по стандартизации C++.Комитет занимался полировкой C++23:
static operator[]
;static constexpr
вconstexpr
-функциях;- безопасный range-based for;
- взаимодействие
std::print
с другими консольными выводами; - монадический интерфейс для
std::expected
; static_assert(false)
и прочее.
std::get
иstd::tuple_size
для агрегатов;#embed
;- получение
std::stacktrace
из исключений; - stackful-корутины.
Подробности
Всего голосов 54: ↑53 и ↓1 +52
Комментарии 34
DarkMeFoDyУровень сложности Средний
Время на прочтение 16 мин
Количество просмотров 4. 1KБлог компании Яндекс Блог компании Конференции Олега Бунина (Онтико) Промышленное программирование *Управление разработкой *Управление проектами *
Куда и зачем смотреть, что поменять, чтобы в два раза ускорить командное время от взятия задачи в работу до её попадания в артефакты продакшена? Как при этом не мучить бесполезной рутиной команду, а сделать её счастливее? Для этого нужно автоматизировать подсчёты Cycle Time и научиться правильно читать графики. Посмотрим, как это сделать.
Меня зовут Никита Дубко, я беларус и мастер подземелий в D&D. А ещё — доброжелюбный бородач из подкаста «Веб-стандарты» и руководитель службы разработки HR Tech Яндекса. Моя задача — оптимизация процессов. О том, как я это делаю, и пойдёт речь в статье. Текст написан по мотивам моего доклада на TeamLead Conf 2022.
Всего голосов 27: ↑26 и ↓1 +25
Комментарии 6
elezarkunУровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 9. 5KБлог компании Яндекс Производство и разработка электроники *Умный дом Звук Голосовые интерфейсы *
В недавнем апдейте прошивки для Яндекс Станции Макс мы добавили поддержку вывода звука по кабелю HDMI при просмотре фильмов. Если у вашего телевизора хорошая акустика (или к нему подключена качественная аудиосистема), теперь можно слушать аудиодорожку через неё. Это обновление мы выпустили только сейчас, потому что оно потребовало нетривиальных технических решений. Например, нужно было сделать эхоподавление для HDMI. Вот об этом и поговорим — сначала обсудим историю технологий и проблемы с подавлением собственного звука устройства, а затем перейдём к нашему решению.
Всего голосов 35: ↑35 и ↓0 +35
Комментарии 12
aglazkovВремя на прочтение 6 мин
Количество просмотров 80KБлог компании Яндекс Высокая производительность *Сетевые технологии *Облачные сервисы *Сетевое оборудование
Ретроспектива
6 февраля пользователи могли заметить частичную недоступность сервисов Яндекса. Проблема возникла из-за каскадного сбоя в работе сетевого оборудования.Основной пик пришёлся на период с 17:03 до 17:50, когда общие потери трафика достигали 40%. Кроме того, в период с 17:03 до 17:13 наблюдалась практически полная потеря IPv6 трафика. Инцидент удалось устранить к 21:30.
Как это произошло и какие выводы мы из этого извлекли — ответим на эти вопросы и поделимся нашим опытом.
Читать дальше →Всего голосов 234: ↑229 и ↓5 +224
Комментарии 74
USSRCOLORMUSICВремя на прочтение 9 мин
Количество просмотров 10KБлог компании Яндекс Производство и разработка электроники *Старое железо Звук
Ретроспектива
Если вбить в поисковик слово «цветомузыка», вы увидите многочисленные объявления о продаже советского дискотечного оборудования, которое наверняка помнят те, чьё детство пришлось на 80-е. Колонки с лампочками, вращающиеся ночники, цветные фонари были тогда почти в каждом доме.В больших концертных залах проходили цветомузыкальные концерты, а в Казани и других городах проводились научные конференции, на которых учёные делились достижениями в сфере цветомузыкальной инженерии. Цветомузыкальные технологии использовались для решения проблемы сенсорной депривации во время долгих космических полетов. Проще говоря, чтобы не сойти с ума в космическом корабле, космонавты проводили время перед светорелаксирующими экранами.
Меня зовут Роман Крылов, я восстанавливаю и коллекционирую советские цветомузыкальные устройства. С декабря в Яндекс Музее в Москве и Санкт-Петербурге проходит выставка моей коллекции, она завершится 31 января. В этой статье я расскажу об экспонатах, но сначала немного поговорим об истории появления самой цветомузыки.
Всего голосов 66: ↑66 и ↓0 +66
Комментарии 79
anazartaВремя на прочтение 11 мин
Количество просмотров 25KБлог компании Яндекс Поисковые технологии *Обработка изображений *Машинное обучение *Искусственный интеллект
Привет, Хабр. Меня зовут Саша, в прошлый раз я рассказывал сообществу про поиск организаций в Яндексе. В этот раз мы вновь поговорим про поиск, но уже совершенно другого рода. Сегодня расскажем про «Поиск по архивам». Этот проект вырос из моего личного интереса к истокам семьи, но в итоге (хочется верить!) поможет тысячам других таких же пользователей чуть больше узнать о своих корнях.
Генеалогическое исследование — очень трудоёмкий процесс. Информация о родственниках разбросана по разным архивам, запросы на получение данных могут обрабатываться долго, а доступ даже в открытые архивы ограничен. Несмотря на то что оцифровка архивных документов ведётся уже более десяти лет, по ним не так-то просто искать — придётся отсматривать вручную множество сканов в надежде найти фамилию предка.
Чтобы упростить этот процесс, мы научились превращать в текст сканы архивных документов. Основная сложность этой задачки заключалась в том, что текст в архивах написан от руки. Машинописный текст всё-таки создан по предсказуемым правилам: автор использует набор уже известных шрифтов. А рукописный текст уникальный, потому что каждый человек пишет по-своему. Кроме того, архивные документы написаны не просто от руки, но и на дореволюционном русском языке, который существенно отличается от современного.
Решению этой задачи мы и посвятим историю. А поможет мне с ней Таня @miryable из команды, которая уже много лет развивает в Яндексе технологию оптического распознавания символов (OCR).
Читать далееВсего голосов 145: ↑144 и ↓1 +143
Комментарии 103
yafinderВремя на прочтение 13 мин
Количество просмотров 53KБлог компании Яндекс Ненормальное программирование *Программирование *Промышленное программирование *
Мнение
Уже несколько лет я замечаю, что программисты и программистские инструменты делятся на две разные культуры:Изначально я человек первой культуры и очень долгое время считал вторую несерьёзной. Пару-тройку лет назад я окончательно понял, что ошибался. Многие «старички» ошибаются в ту же сторону, а в последние годы ещё большее число людей ошибаются в обратную. Знакомство с соседней культурой и понимание, почему дела в ней делаются так, как там принято, превратит вас в лучшего разработчика.
Всего голосов 190: ↑172 и ↓18 +154
Комментарии 106
Yandex Cloud — Блог компании на vc.ru
Инструкция: собираем и визуализируем статистику Telegram‑чатов с помощью инструментов Yandex Cloud
Рассказываем, как за несколько шагов собрать статистику по Telegram с помощью сервиса Yandex Cloud Functions и визуализировать её в Yandex DataLens.
Yandex Cloud сделал репост
Битрикс24 представил официальную интеграцию с Yandex DataLens
Это первый официальный BI-коннектор с CRM от облачной платформы Yandex Cloud. Теперь пользователи Битрикс24 могут визуализировать свои данные в несколько кликов
Из бизнеса по эвакуации машин в разработчика виртуальных ассистентов. История EORA
За несколько лет EORA превратилась из фирмы по эвакуации машин в компанию, которая разрабатывает чат-боты и цифровые аватары для Яндекса, «Сбера» и «Додо Пиццы». Гендиректор EORA рассказывает, как это произошло и с чем помогло облако.
Такой Лору видели на экранах посетители офиса Glorax в Санкт-Петербурге
Железка с Wi-Fi — ещё не IoT: как делать по-настоящему умные устройства
Многие производители пытаются сделать свои устройства умнее. Но подрядчики затягивают сроки и не учитывают особенности бренда, а переведённые китайские системы не подходят российским пользователям. Сооснователь Syncleo Михаил Приэль рассказал, как делать успешные IoT-проекты в облаке.
На чём вузы и онлайн-школы учат специалистов по ML. 4 основных продукта
Узнали у вузов и EdTech-проектов, как они учат студентов на курсах по машинному обучению. Рассказываем про главные инструменты, которые нужно освоить, если вы хотите стать специалистом по ML.
От малярии до гражданских конфликтов: к чему приводит природное явление Эль-Ниньо и как ИИ помогает его предсказывать
Как и зачем специалисты Высшей школы экономики и Школы анализа данных Яндекса учатся предсказывать появление климатической аномалии в Тихом океане.
Во время Эль-Ниньо нагревается поверхностный слой воды в центре Тихого океана
Единый инструмент управления проектами: как работает Yandex Tracker на примере инцидент-менеджмента
Как перейти от обработки инцидентов в режиме «А-а-а-а!» к прозрачному процессу, где можно контролировать статусы, назначать ответственных и проверять результат. И как привести к такой схеме все остальные задачи. Рассказывает вице-президент по надёжности платформы YCLIENTS.
Инцидент-менеджмент при отсутствии регламента управления процессом
От специалиста поддержки до тимлида: куда расти в саппорте
Работу в технической поддержке облачного провайдера можно сравнить с трудом терапевта: нужно достаточно глубоко разбираться во всех областях. Тимлид группы инженеров технической поддержки Yandex Cloud Михаил Дымсков c коллегами рассказывают, куда приводит инженеров траблшутинг.
Общаться прозрачнее и работать быстрее: применяем методики Agile в Yandex Tracker
Два наиболее популярных пути в Agile — Scrum и Kanban. Рассказываем, как работать с ними в сервисе управления проектами Yandex Tracker.
Какой он — Developer Advocate: разбираемся, где правда, а где миф
Developer Advocate платформы Yandex Cloud Антон Черноусов рассказывает, кто в ИТ-компаниях объединяет разработчиков технологических продуктов и тех, кто использует эти продукты в своих проектах.
Как стартапу выжить в 2023 году: сокращайте расходы и берите плюшки от корпораций
2022 год стал провальным в истории венчурных рынков, стартапам понадобились новые источники финансирования. Руководитель грантовой программы Yandex Cloud рассказывает, какие результаты она показала и что это говорит о рынке.
Заказал дрель — получил молоток: как голосовой ассистент помог делать в разы меньше ошибок при сборке заказов
Речевые технологии обычно используются в банках и в любых службах поддержки. В сети магазинов «Империя инструмента» голосовой помощник помогает сотрудникам склада собирать заказы.
Yandex Mega Leak: инсайдерская атака или атака с нарушением данных?
Недавно новый пользователь на форуме Breached создал тему под названием «источник yandex git». Тема, которая быстро привлекла большое внимание, содержала 44,7 ГБ скомпрометированного исходного кода Git, принадлежащего российскому технологическому гиганту Яндекс. Согласно сообщению, утекший код содержит весь исходный код Яндекса, кроме правил защиты от спама.
Исходный пост с BreachForums, в котором были слиты внутренние исходные коды ЯндексаПосле публикации исходного кода Яндекс сделал заявление, утверждая, что бывший сотрудник несет ответственность за кражу и утечку конфиденциальных данных, и отрицая, что это было результатом взлома их систем.
Тот факт, что информация была передана бесплатно, может подтвердить их заявление, но мы решили более внимательно изучить это дело.
Что такое внутренняя угроза?
Прежде чем мы ответим на этот вопрос, давайте сначала обсудим внутреннюю угрозу. Этот термин относится к людям с законным доступом к внутренним инструментам, информации или системам в организации, которые намеренно злоупотребляют этим доступом (используя законные учетные данные) для получения финансовой или личной выгоды. Злонамеренными инсайдерами часто являются нынешние или бывшие сотрудники, подрядчики или деловые партнеры.
Как и другие киберпреступники, инсайдеры-злоумышленники также обращаются к глубокой и темной сети, чтобы обсудить и поделиться своей деятельностью. Как и другие киберпреступники, некоторые инсайдеры мотивированы финансовой выгодой, а другие стремятся отомстить своему нынешнему или бывшему работодателю, корпоративному шпионажу в пользу конкурента или шпионажу в национальном масштабе.
Как уже было сказано, поскольку скомпрометированные данные Яндекса предлагались бесплатно, последние мотивы звучат более актуально. Но мы решили использовать наши данные даркнета, чтобы посмотреть, сможем ли мы найти какие-либо признаки, подтверждающие или опровергающие заявление Yanedx.
Была ли утечка Яндекса следствием внутренней угрозы?
Поскольку четких доказательств того, что утечка данных Яндекса была скомпрометирована бывшим сотрудником, нет, мы решили проверить, сможем ли мы найти потенциальные киберугрозы для Яндекса в даркнете. Те, которые могли бы предоставить еще одну альтернативу тому, что их системы могли быть взломаны.
Мы использовали Cyber API Webz.io для поиска и обнаружили сотни тысяч упоминаний Яндекса в злонамеренных обсуждениях на этих платформах, некоторые из которых также могут привести к утечке данных.
Среди упоминаний:
- Взлом веб-сервисов по запросу
- Утечка учетных данных (таких как учетные записи, файлы cookie, внутренние базы данных, комболисты)
- Украденные цифровые отпечатки пальцев
- Финансовое мошенничество
- Браузер привет взлом
- Уязвимости
- Фишинг как a service
Давайте посмотрим на несколько примеров таких сообщений, которые мы нашли в даркнете.
Пример №1: Украден цифровой отпечаток пальца на Российском рынке
Внутренний (служебный) домен Яндекса («yandex-team.ru») был продан на даркнет-маркете «Русский рынок» в рамках похищенных цифровых отпечатков пальцев. Украденная информация, полученная с помощью вредоносного ПО Racoon, включает IP-адреса и историю посещенных страниц, а также потенциально может включать данные браузера пользователя, такие как файлы cookie, данные для входа на посещаемые веб-сайты и другие сведения об ОС.
Украденный цифровой отпечаток пальца, который может принадлежать сотруднику Яндекса, проданный на РБТакого рода данные, которые, как мы подозреваем, принадлежат сотруднику Яндекса в Беларуси в данном конкретном случае, могут предоставить злоумышленникам злонамеренный доступ к сети компании в случае их получения.
Пример № 2: Утечка данных сотрудников
Мы использовали нашу конечную точку DBD (обнаружение утечки данных), чтобы также проверить, можем ли мы найти какую-либо идентифицированную личную информацию (PII), принадлежащую сотрудникам Яндекса и другим руководителям, которая была украдена в результате предыдущих утечек данных. .
Мы провели поиск домена «yandex-team.ru», в результате которого были обнаружены сотни различных электронных писем с этим доменом, которые были утекли в результате различных нарушений, а также другие скомпрометированные поля, такие как имена пользователей и пароли.
Это скриншот поиска, который мы провели в DBD Webz.io домена «yandex-team.ru». основано на предположении, что многие люди используют один и тот же пароль для нескольких учетных записей в Интернете.В следующем примере показан адрес электронной почты сотрудника Яндекса, который был украден вместе с логином и паролем. Это было обнаружено при взломе российской электронной коммерции «Алло Интернет», который был опубликован несколько месяцев назад на BreachForums.
Аккаунт электронной почты одного из сотрудников Яндекса, просочившийся в даркнет , снимок взят из DBD Webz.ioВнутренняя угроза или взлом?
Трудно определить, была ли утечка Яндекса результатом внутренней угрозы или взлома, поскольку нет убедительных доказательств ни одной из этих причин. Что мы знаем точно, так это то, что всем организациям, включая Яндекс, необходимо отслеживать злонамеренные обсуждения в даркнете, чтобы предотвратить утечку данных в будущем. Глубокая и темная сеть — это важные пространства, за которыми нужно следить, чтобы защитить конфиденциальные организационные данные и репутацию организации.
Яндекс и проблемы конфиденциальности данных | Аваст
Горячие темыСеть блоггеров по безопасности SBN News
от блога Avast, 8 апреля 2022 г.Частные данные могут быть собраны из тысяч приложений для Android и iOS с помощью Яндекса, ведущей поисковой системы в России, по данным исследователей безопасности. Вопрос вращается вокруг того, как эти данные могут быть доступны российским госорганам. Помимо того, что Яндекс является поисковым порталом, он также создает комплект для разработки программного обеспечения (SDK) под названием AppMetrica, который занимается аналитикой использования приложений и маркетингом и похож на Google Firebase. SDK был включен в более чем 52 000 различных приложений, включая игры и приложения для обмена сообщениями.
Спонсорство доступноБолее тревожным является то, что этот SDK был использован для создания 2000 новых приложений, которые были недавно добавлены в магазины приложений после российского вторжения в Украину, а также используются в сотнях VPN, включая 21 из них, недавно добавленных после вторжение. Похоже, эти приложения предназначены для отслеживания перемещений украинских пользователей. Исследователи, чьи утверждения были подтверждены независимо, обнаружили, что данные сотен миллионов пользователей собираются и отправляются на серверы как в России, так и в Финляндии.
Яндекс признал, что его программное обеспечение собирает информацию об устройстве, сети и IP-адресе, но эти элементы собираются только после получения согласия пользователя и агрегируются, и что «наши принципы конфиденциальности и безопасности данных строги, и мы никогда не выдавали никаких информацию о пользователе, и нас никогда не просили сделать это». Компания приветствовала независимый аудит своих процессов сбора данных. В своей документации он описывает, что разработчики приложений могут отключить отслеживание пользователей; однако это означает, что некоторые разработчики уже могут включить отслеживание до предоставления согласия.
Статья, изначально опубликованная британским изданием Financial Times, привлекла внимание Google, который «признал, что ему предстоит еще много работы, чтобы обеспечить пользователям прозрачность того, какие SDK используются для создания приложений, и заявил, что проведет расследование». Apple рекламировала свои рекомендации по прозрачности отслеживания приложений для разработчиков, но исследователи нашли множество способов обойти эти рекомендации, например, используя отпечатки пальцев устройства или холста. После российского вторжения поставщик мобильных игр Gismart и VPN Opera удалили код AppMetrica SDK из своих приложений в качестве меры предосторожности, даже до того, как стало известно о его возможном злоупотреблении.
У пользователей нет простого способа определить, используется ли SDK их мобильными приложениями, без доступа к различным инструментам разработчика, хотя с внедрением соответствующих законодательных рамок, законов и политик эта информация постепенно становится все более доступной. доступны пользователям. Например, в ЕС многие из этих функций отслеживания регулируются GDPR, который налагает строгие ограничения на то, какие данные отслеживаются и как их можно обрабатывать. Все, что нарушает это соответствие, потенциально может быть оштрафовано ЕС, а также может быть обнаружено различными поставщиками средств безопасности.
Жестокая правда заключается в том, что такие библиотеки отслеживания в той или иной форме очень распространены в большинстве мобильных приложений. В этом вопросе доверие пользователя в конечном итоге передается разработчикам приложений, поэтому реальный вопрос заключается в том, кому доверять.
Освежите свои методы обеспечения конфиденциальности мобильных данных
Ондрей Дэвид, аналитик вредоносных программ и разработчик Android в Avast, предлагает несколько советов, которые следует учитывать, чтобы обеспечить максимальную безопасность ваших данных.
«Придерживайтесь известных брендов, с которыми вы знакомы, и обязательно ознакомьтесь с их лицензионными соглашениями и условиями. Особенно обратите внимание на разделы этих материалов, посвященные конфиденциальности и обработке данных, поскольку компании обычно обязаны информировать пользователя о том, как обрабатываются и хранятся их данные, и из этого можно извлечь много подсказок. Обычно используемые SDK для отслеживания также перечислены в этих документах».
Кроме того, Дэвид советует людям использовать функции, связанные с конфиденциальностью, которые предоставляют современные устройства — это включает в себя отключение отслеживания рекламы в настройках ОС, включение доступа к приложению только при его использовании (или при необходимости), а не автоматическое предоставление разрешений приложениям просто потому что они просят их, и проверяя настройки приложения на наличие соответствующих настроек конфиденциальности и рекламы. Это означает, что нужно уделять особое внимание этим разрешениям, когда вы запускаете приложение после его установки.