О сетевой аварии в Яндексе / Хабр

6 февраля пользователи могли заметить частичную недоступность сервисов Яндекса. Проблема возникла из-за каскадного сбоя в работе сетевого оборудования.

Основной пик пришёлся на период с 17:03 до 17:50, когда общие потери трафика достигали 40%. Кроме того, в период с 17:03 до 17:13 наблюдалась практически полная потеря IPv6 трафика. Инцидент удалось устранить к 21:30.

Как это произошло и какие выводы мы из этого извлекли — ответим на эти вопросы и поделимся нашим опытом.

Ход инцидента

Граничные маршрутизаторы — это то место, где проходит граница между разными сетями связи. От их работы зависит связность между Яндексом и сетями, которые обеспечивают подключение конечных пользователей.

Мы столкнулись с четырьмя проблемами, три из которых связаны друг с другом, а четвёртая, похоже, просто произошла одновременно с ними:

• аппаратный сбой граничного маршрутизатора;
• последовавший за этим сбой подсистемы лукапа и аварийные перезагрузки линейных карт на трёх других георазнесённых граничных маршрутизаторах;
• сбой ПО на пяти маршрутизаторах внутри дата-центров Яндекса;
• нестабильность контрольного протокола BFD из-за флапа MAC-адресов внутри CLOS-фабрики на М9.

Проблема №1

Началом инцидента мы считаем аппаратный отказ на одном из граничных маршрутизаторов, который привёл к его полному отключению.

Немного теории. Современный маршрутизатор состоит из набора различных плат:

• управляющих,
• линейных, на которых есть интерфейсы,
• фабрик коммутации, которые соединяют всё воедино.

Кому интересно, более подробно можно почитать в блоге на linkmeup.

6 февраля в 17:03:30 на одном из наших граничных маршрутизаторов вышла из строя управляющая плата или её «ответная» часть, на которой расположена фабрика коммутации и вся машинерия для контроля состояния аппаратных компонентов. Мы до сих пор не знаем точной причины, потому что оживить коробку так и не удалось. По итогу маршрутизатор был потерян полностью.

Эту проблему могла бы предотвратить резервная управляющая плата, но она отказала ещё 22 января, а работы по её замене были запланированы, но не завершены. Вообще, отключение резервных плат не влияет на прохождение трафика, поэтому её заменили не сразу. Отчасти это связано с тем, что место расположения маршрутизатора обслуживается не нашей службой Smart Hands, а сторонними выездными инженерами. Кроме того, отказ одного маршрутизатора не должен был стать критичной проблемой, потому что все пиринги зарезервированы маршрутизаторами на других точках присутствия. В прошлом такие аварии не приводили к заметным для пользователей инцидентам, но не в этот раз.

Проблема №2

Обычно распределение нагрузки между оставшимися маршрутизаторами обрабатывается штатно: сессии и соседства контрольных протоколов (BGP, IS-IS) должны были уйти по таймауту, а трафик — перейти на резервный маршрут. Пользователи не должны такого замечать, но кое-что пошло не так — ниже разберёмся, что именно.

Полная потеря связности с отказавшим маршрутизатором привела к падению протокольных соседств IS-IS — это заняло около секунды. А вот отзыв BGP-маршрутов занял несколько больше: связность внутри нашей автономной системы организована с помощью рефлекторов, поэтому системе потребовалось некоторое время на обработку событий падения BGP-сессий между рефлекторами и отказавшим маршрутизатором, а также на отзыв маршрутов с других бордеров.

Таким образом, в течение нескольких секунд все оставшиеся в живых пограничные маршрутизаторы оказались в ситуации, когда BGP-маршрут ещё присутствовал, а вот IS-IS маршрут, необходимый для его корректного рекурсивного разрешения, — уже нет.

Рекурсивное разрешение маршрута в BGP — это процесс вычисления актуального выходного интерфейса и выходной инкапсуляции для BGP-маршрута. Он производится исходя из значений протокольного Next-hop маршрута и актуального состояния таблиц маршрутизации. Происходит однократно либо в момент создания маршрута, либо значимого изменения его атрибутов. Необходим для программирования корректной записи в FIB.

Lookup (или лукап) — это процесс поиска подходящей записи в таблицах маршрутизации, коммутации и других (например, FIB, LFIB, ARP Adjacencies, IPv6 ND Table) на основании значения адреса назначения IP-пакета. В современных аппаратных маршрутизаторах это происходит индивидуально для каждого пакета: то есть за короткое время — скажем, секунду — на высоконагруженном маршрутизаторе этот процесс повторяется огромное количество раз.

В таких условиях BGP-маршрут в нашей конфигурации рекурсивно разрешился не самым очевидным образом. Из-за отсутствия IS-IS маршрута разрешение происходило через маршрут по умолчанию, который, в свою очередь, был статическим. Он указывал в таблицу маршрутизации, с которой и начался процесс нашего рекурсивного лукапа.

Круг замкнулся: в FIB маршрутизаторов сформировалась замкнутая цепочка логических next-hop, приводившая к тому, что процесс лукапа над пакетом не завершался за разумное время.

С точки зрения способности пограничных маршрутизаторов отправлять трафик у этой ситуации были следующие последствия:

• у пакетов, которым выпадал этот маршрут, не было ни единого шанса «вынырнуть» из маршрутизатора;
• что ещё хуже — все имеющиеся аппаратные ресурсы линейных карт были заняты бесконечным лукапом крайне небольшого числа пакетов.

Это, мягко говоря, нештатное состояние линейных карт, когда подсистема лукапа фактически блокирована, спровоцировало ряд аварийных перезагрузок этих самых карт. И это только усугубило нестабильность и увеличило потери внешнего трафика.

Мы считаем такое поведение некорректным и связываем его с багом операционной системы вендора сетевого оборудования, потому что проблема возникла только на части маршрутизаторов и определённом типе линейных карт.

Локализация этой проблемы заняла около 10 минут. Ещё через 10 минут мы приняли решение вручную перезагрузить часть маршрутизаторов. Эти действия позволили восстановить связность. Мы воспроизвели похожую ситуацию в лаборатории днём позже, выработали для неё решение и раскатили его на весь парк устройств.

Проблема №3

Вскоре после того, как пограничные маршрутизаторы оправились от предыдущей проблемы и её прямых последствий, стала заметна частичная потеря трафика на маршрутизаторах на границе наших дата-центровых фабрик.

У этой проблемы была несколько иная природа: дело в том, что неделей ранее мы начали плановое обновление ПО на этих маршрутизаторах и к 6 февраля у нас было пять обновлённых устройств. В итоге мы выяснили, что потери трафика локализуются как раз на них.

Нестабильность в сети кратно увеличила количество изменяющейся маршрутной информации. Из-за этого появились маршруты, застрявшие в очереди от процесса, который реализовывал протоколы маршрутизации к ядру, которое, в свою очередь, должно было записать итоговые изменения в программный FIB, а затем и в аппаратный.

Мы продолжаем выяснять детали, но можем утверждать, что с высокой долей вероятности это ещё один баг в ПО одного из наших устройств. После даунгрейда проблема была решена.

Проблема №4

Но и это был ещё не конец инцидента: коллеги из Yandex Cloud сообщили о потерях части трафика сервиса объектного хранилища через одну из магистральных площадок. Сначала мы исследовали проблему на граничных маршрутизаторах, подозревая возврат первой проблемы с линейными картами, но эта гипотеза не подтвердилась.

Потом мы посмотрели, что происходит на транзитных устройствах, и выяснили, что на подключении между магистралью и бордером циклически переустанавливается контрольный протокол BFD и это приводит к постоянному перестроению сети.

Искать причину мы сразу стали на промежуточных коммутаторах CLOS-фабрики, потому что ранее уже наблюдали похожую проблему с пиринговыми партнёрами в той же локации.

Наша догадка подтвердилась: мы увидели MAC-флаппинг, только источником теперь был DHCP-пакет, прилетевший со стороны магистрали на М9. В обычной ситуации такого быть не должно — у нас нет DHCP серверов в локации M9.

Мы уже знали, как исправить эту проблему: выключить DHCP-протокол на коммутаторах CLOS-фабрики на точке присутствия М9, которую мы используем для увеличения количества пиринговых портов. В прошлом мы уже поставили заплатку в виде аксесс-листа на все внешние пиринговые порты, запрещающего DHCP-пакеты на вход в фабрику. Но мы не ожидали, что такие пакеты могут прийти изнутри, из-за чего эта проблема и возникла.

Чтобы избежать повторения данной проблемы, мы выключили функциональность DHCP на коммутаторах пиринговой фабрики. Защищаться на портах в сторону нашей сети мы не видим смысла, потому что не хотим блокировать пользовательский трафик.

Таким образом, этот инцидент не связан напрямую с тремя вышеописанными, но мог каким-то косвенным образом быть вызван ими. В любом случае в обновлённой конфигурации он больше не появится.

Итог

В ходе инцидента мы столкнулись с рядом нетривиальных проблем, которые мы смогли быстро детектировать и локализовать.

Мы приняли ряд мер, которые не позволят подобному инциденту произойти вновь. Заменили отказавший маршрутизатор на полностью рабочий. Научились воспроизводить аварийную ситуацию в нашей лаборатории. В будущем она будет исправлена на уровне операционной системы производителя сетевого оборудования.

Мы уже достаточно давно думаем над диверсификацией граничных маршрутизаторов, чтобы баги, специфичные для конкретной конфигурации, не приводили к каскадной аварии. Но, к сожалению, используемая нами функциональность медленно разрабатывается другими производителями. Стратегически мы планируем:

• внедрить второго вендора на этом участке сети;
• проработать вопрос упрощения сетевого дизайна;
• улучшить систему квалификации вендорского ПО.

Мы опубликовали этот разбор, потому что считаем важным объяснять причины серьёзных аварий. Полезно не только рассказывать о достижениях, но и признавать слабые места. В конечном счёте это поможет нам извлечь урок и защитить пользователей от подобных аварий в будущем, а также помочь другим компаниям в диагностике сложных сетевых сбоев.

Яндекс – Блог TRINET

Яндекс – Блог TRINET

Яндекс 4834 Читать 3 минут

Сниппет — это блок информации о странице сайта, которая отображается в результатах поиска. Он состоит из заголовка и описания страницы, а также может содержать дополнительную информацию о сайте. Качественно проработанный и привлекательный сниппет позволяет получить более высокий CTR (click-through rate…Read more

Google, SEO, Яндекс 9412 Читать 10 минут

Яндекс.Директ и Google AdWords – это инструменты для запуска рекламных кампаний по продвижению бизнеса в интернете. Многие пользователи сталкиваются с проблемой выбора между двумя этими сервисами. Поэтому мы подробно разберем и сравним эти популярные системы контекстной рекламы. Рассмотрим следующие особенности…Read more

Google, SEO, Семантика, Яндекс 2852 Читать 7 минут

В этой статье мы расскажем, как важно при создании и SEO-оптимизации сайта ориентироваться на удобство его использования со стороны посетителя. Ведь именно посетителю сайта — реальному человеку, должно быть легко и удобно покупать на вашем интернет-ресурсе. Для поисковых роботов также…Read more

Google, Аналитика, Контекст, Яндекс 1477 Читать 6 минут

Если вы не думаете о будущем, у вас его не будет. А если вы пришли в рекламное агентство и вам отказались делать прогноз – то у ваших рекламных инвестиций будущее одно: быть выброшенными на ветер. Чтобы обезопасить свой бизнес, 9…Read more

Google, SEO, Яндекс 90051 Читать 3 минут

Зачем нужна информация об истории сайта в прошлом Историю любого сайта можно посмотреть в интернете. Для этого достаточно, чтобы ресурс существовал хотя бы пару дней. Это может понадобиться в следующих случаях: Если необходимо купить домен, который уже был в использовании,…Read more

Google, SEO, Яндекс 5902 Читать 6 минут

Что такое частотность поисковых запросов Частотность – это количественная величина, показывающая сколько раз пользователь обращался к поисковой системе с конкретным запросом. Как правило, рассчитывается за последний месяц. Зная спрос, SEO-специалист поймет, есть ли поисковый спрос, нужно ли создавать посадочную страницу,…Read more

Google, SEO, Яндекс 2092 Читать 4 минут

Что такое карта сайта Карта сайта – это список страниц сайта, который создается для пользователя или для поисковой системы. Его можно сравнить с содержанием книги, которое быстро помогает найти нужную часть или страницу. Отличие XML от HTML карты сайта Есть…Read more

Google, Контекст, Яндекс 672 Читать 2 минут

Как показывает практика, большинство специалистов особое внимание уделяют подготовке и оптимизации рекламы на поиске. Если речь идет о контексте, то настройка сетевой рекламной кампании не в приоритете. Проверкой качества занимаются крайне редко, менее интенсивно, а иногда и вовсе отказываются от…Read more

Все лица, заполнившие сведения, являющиеся персональными данными на сайте https://www.trinet.ru/ и его поддоменах, а также разместившие иную информацию на сайте https://www.trinet.ru/ и его поддоменах, подтверждают свое согласие на обработку персональных данных и их передачу Оператору обработки персональных данных – ООО «Комплексный интернет-маркетинг» (Юридический адрес: 197022, г. Санкт-Петербург, пр. Медиков, д. 9, лит. Б, пом. 12-Н, ч. 214.1).

Пользователь дает свое согласие на обработку его персональных данных, а именно совершение действий, предусмотренных пунктом 3 части 1 статьи 3 Федерального закона от 27.07.2006 № 152-ФЗ «О персональных данных», и подтверждает, что, давая такое согласие, он действует свободно, своей волей и в своем интересе.

1. ОПРЕДЕЛЕНИЕ ТЕРМИНОВ
   1. В настоящей Политике конфиденциальности используются следующие термины:
      1. «Администрация сайта Компании (далее – Администрация сайта)» – уполномоченные сотрудники на управление сайтом, действующие от имени «ООО «Комплексный интернет-маркетинг», которые организуют и (или) осуществляет обработку персональных данных, а также определяют цели обработки персональных данных, состав персональных данных, подлежащих обработке, действия (операции), совершаемые с персональными данными.
      2. «Персональные данные» — любая информация, относящаяся к прямо или косвенно определенному или определяемому физическому лицу (субъекту персональных данных).
      3. «Обработка персональных данных» — любое действие (операция) или совокупность действий (операций), совершаемых с использованием средств автоматизации или без использования таких средств с персональными данными, включая сбор, запись, систематизацию, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передачу (распространение, предоставление, доступ), обезличивание, блокирование, удаление, уничтожение персональных данных.
      4. «Конфиденциальность персональных данных» — обязательное для соблюдения Оператором или иным получившим доступ к персональным данным лицом требование не допускать их распространения без согласия субъекта персональных данных или наличия иного законного основания.
      5. «Пользователь сайта (далее Пользователь)» – лицо, имеющее доступ к Сайту, посредством сети Интернет и использующее Сайт Компании.
      6. «Cookies» — небольшой фрагмент данных, отправленный веб-сервером и хранимый на компьютере пользователя, который веб-клиент или веб-браузер каждый раз пересылает веб-серверу в HTTP/HTTPS-запросе при попытке открыть страницу соответствующего сайта.
      7. «IP-адрес» — уникальный сетевой адрес узла в компьютерной сети, построенной по протоколу IP.
2. ОБЩИЕ ПОЛОЖЕНИЯ
   1. Использование Пользователем сайта https://www.trinet.ru/ и его поддоменов означает согласие с настоящей Политикой конфиденциальности и условиями обработки персональных данных Пользователя.
   2. В случае несогласия с условиями Политики конфиденциальности Пользователь должен прекратить использование сайта https://www.trinet.ru/ и его поддоменов.
   3. Настоящая Политика конфиденциальности применяется только к сайту https://www.trinet.ru/ и его поддоменов. Компания не контролирует и не несет ответственность за сайты третьих лиц, на которые Пользователь может перейти по ссылкам, доступным на сайте Компании.
   4. Администрация сайта не проверяет достоверность персональных данных, предоставляемых Пользователем сайта.
3. ПРЕДМЕТ ПОЛИТИКИ КОНФИДЕНЦИАЛЬНОСТИ
   1. Настоящая Политика конфиденциальности устанавливает обязательства Администрации сайта Компании по неразглашению и обеспечению режима защиты конфиденциальности персональных данных, которые Пользователь предоставляет по запросу Администрации сайта при вводе данных в формы обратной связи на сайте https://www.trinet.ru/ и его поддоменов или при оформлении заказа на приобретение услуг Компании.

   2. Персональные данные, разрешённые к обработке в рамках настоящей Политики конфиденциальности, предоставляются Пользователем путём заполнения форм обратной связи на сайте ООО «Комплексный интернет-маркетинг» и включают в себя следующую информацию:

      1. фамилию, имя, отчество Пользователя;
      2. контактный телефон Пользователя;
      3. адрес электронной почты (e-mail) Пользователя;
4. ЦЕЛИ СБОРА ПЕРСОНАЛЬНОЙ ИНФОРМАЦИИ ПОЛЬЗОВАТЕЛЯ
   1. Персональные данные Пользователя Администрация сайта Компании может использовать в целях:
      1. Для оформления заказа и (или) заключения Договора оказания услуги дистанционным способом с ООО «Комплексный интернет-маркетинг».
      2. Предоставления Пользователю доступа к персонализированным ресурсам Сайта.
      3. Установления с Пользователем обратной связи, включая направление уведомлений, запросов, касающихся использования Сайта, оказания услуг, обработка запросов и заявок от Пользователя.
      4. Определения места нахождения Пользователя для обеспечения безопасности, предотвращения мошенничества.
      5. Подтверждения достоверности и полноты персональных данных, предоставленных Пользователем.
      6. Уведомления Пользователя Сайта о состоянии Заказа.
      7. Обработки и получения платежей, подтверждения налога или налоговых льгот, оспаривания платежа, определения права на получение кредитной линии Пользователем.
      8. Предоставления Пользователю эффективной клиентской и технической поддержки при возникновении проблем связанных с использованием Сайта.
      9. Предоставления Пользователю с его согласия, обновлений продукции, специальных предложений, информации о ценах, новостной рассылки и иных сведений от имени Веб-студии или от имени партнеров Веб-студии.
      10. Осуществления рекламной деятельности с согласия Пользователя.
      11. Предоставления доступа Пользователю на сайты или сервисы партнеров с целью получения продуктов, обновлений и услуг.
5. СПОСОБЫ И СРОКИ ОБРАБОТКИ ПЕРСОНАЛЬНОЙ
   1. Обработка персональных данных Пользователя осуществляется без ограничения срока, любым законным способом, в том числе в информационных системах персональных данных с использованием средств автоматизации или без использования таких средств.
   2. Пользователь соглашается с тем, что Администрация сайта вправе передавать персональные данные третьим лицам, в частности, курьерским службам, организациями почтовой связи, операторам электросвязи, исключительно в целях выполнения заказа Пользователя, оформленного на Сайте ООО «Комплексный интернет-маркетинг».
   3. Персональные данные Пользователя могут быть переданы уполномоченным органам государственной власти Российской Федерации только по основаниям и в порядке, установленным законодательством Российской Федерации.
   4. При утрате или разглашении персональных данных Администрация сайта информирует Пользователя об утрате или разглашении персональных данных.
   5. Администрация сайта принимает необходимые организационные и технические меры для защиты персональной информации Пользователя от неправомерного или случайного доступа, уничтожения, изменения, блокирования, копирования, распространения, а также от иных неправомерных действий третьих лиц.
   6. Администрация сайта совместно с Пользователем принимает все необходимые меры по предотвращению убытков или иных отрицательных последствий, вызванных утратой или разглашением персональных данных Пользователя.
6. ОБЯЗАТЕЛЬСТВА СТОРОН
   1. Пользователь обязан:
      1. Предоставить информацию о персональных данных, необходимую для пользования Сайтом.
      2. Обновить, дополнить предоставленную информацию о персональных данных в случае изменения данной информации.
   2. Администрация сайта обязана:
      1. Использовать полученную информацию исключительно для целей, указанных в п. 4 настоящей Политики конфиденциальности.
      2. Обеспечить хранение конфиденциальной информации в тайне, не разглашать без предварительного письменного разрешения Пользователя, а также не осуществлять продажу, обмен, опубликование, либо разглашение иными возможными способами переданных персональных данных Пользователя, за исключением п.п. 5.2. и 5.3. настоящей Политики Конфиденциальности.
      3. Принимать меры предосторожности для защиты конфиденциальности персональных данных Пользователя согласно порядку, обычно используемого для защиты такого рода информации в существующем деловом обороте.
      4. Осуществить блокирование персональных данных, относящихся к соответствующему Пользователю, с момента обращения или запроса Пользователя или его законного представителя либо уполномоченного органа по защите прав субъектов персональных данных на период проверки, в случае выявления недостоверных персональных данных или неправомерных действий.
7. ДОПОЛНИТЕЛЬНЫЕ УСЛОВИЯ
   1. Администрация сайта вправе вносить изменения в настоящую Политику конфиденциальности без согласия Пользователя.
   2. Новая Политика конфиденциальности вступает в силу с момента ее размещения на Сайте, если иное не предусмотрено новой редакцией Политики конфиденциальности.
   3. Все предложения или вопросы по настоящей Политике конфиденциальности следует сообщать по адресу [email protected]
   4. Действующая Политика конфиденциальности размещена на странице по адресу https://www.trinet.ru/politika_konfidencialnosti/
8. ОФЕРТА ВИДЕОХОСТИНГА
   1. Передаваемые права третьим лицам
   2. Размещая пользовательский контент посредством использования наших услуг, вы предоставляете каждому пользователю Сервиса неисключительную, безвозмездную, действующую во всем мире лицензию на доступ к вашему Контенту и его использование в пределах, допускаемых функционалом Сервиса, в том числе на отображение его с помощью плеера Сервиса на сайтах третьих лиц посредством технологии embed (iframe), а также разрешаете создание временных технических копий контента и видео-превью такого контента.

Системный администратор Яндекса уличен в продаже доступа к учетным записям электронной почты

Яндекс, европейская многонациональная технологическая компания, наиболее известная как самая используемая поисковая система в России, обнаружила брешь в системе безопасности, которая привела к компрометации почти 5000 учетных записей электронной почты Яндекса.

Компания заявляет, что обнаружила брешь после плановой проверки своей службой безопасности. Они обнаружили, что один из их системных администраторов, имеющий доступ к учетным записям клиентов, позволял третьим лицам просматривать некоторые из этих учетных записей «для личной выгоды». В своем официальном пресс-релизе Яндекс дал понять, что платежные реквизиты не были скомпрометированы.

При таком большом внимании к внешним угрозам, таким как программы-вымогатели и BEC, легко забыть, что одна из самых больших угроз, с которыми сталкиваются организации, не пытается проникнуть в их сеть, а была приглашена внутрь.

Текущее а бывшие сотрудники, подрядчики, деловые партнеры, поставщики, сторонние поставщики и поставщики услуг — все они являются потенциальными инсайдерами. И им не нужно быть технологически подкованными, чтобы выполнять «внутреннюю работу».

На самом деле, некоторые инсайдеры даже не являются злонамеренными. Наиболее распространенной причиной инцидентов является небрежность сотрудников, например злоупотребление правами доступа или общее невнимание к сохранению конфиденциальности и безопасности конфиденциальной информации, что может доставить работодателям много головной боли. Это может быть дополнительно усугублено отсутствием эффективных программ обучения кибербезопасности и конфиденциальности или полным отсутствием преднамеренной культуры безопасности.

Небрежные и небрежные сотрудники (или то, что другие называют «случайными внутренними угрозами») чаще всего не имеют никакого намерения причинить вред своим организациям; злонамеренные сотрудники, с другой стороны, сознательно действуют против своих работодателей в личных целях.

Согласно отчету 2020 Cost of Insider Threats: Global Report Института Ponemon, самой дорогостоящей инсайдерской угрозой является кража учетных данных, устранение которой обходится в среднем почти в 875 000 долларов США. Мало того, количество случаев кражи учетных данных утроилось за последние 5 лет. С растущим спросом на сотрудников, которые готовы поделиться секретами компании с преступниками, не будет преувеличением ожидать, что дела, связанные с этим, будут появляться чаще. Ведь хорошо платят.

«Сотрудники всегда являются главной мишенью для злоумышленников, независимо от того, нацелены ли они на использование их машины или личности или активно вербуют их на форуме с закрытым исходным кодом», — сказал Брэндон Хоффман, директор по информационной безопасности в Netenrich, компании по управлению ИТ-услугами. , в интервью Threatpost. «Было несколько случаев, когда мы видели, как недовольный сотрудник размещал сообщения в даркнете, стремясь установить контакт, где они могли бы «обналичить» свое кредитное плечо в качестве сотрудника».

Организационные нарушения стали главной темой новостных агентств, многие из которых касаются сторонних лиц, проникающих внутрь частных сетей либо с помощью силы (взлом), либо с помощью социальной инженерии (фишинг). В условиях нынешней пандемии и того, что все работают удаленно, выявление внутренних угроз стало более сложной задачей, чем когда-либо. Это должно сделать предприятия более бдительными и решительными в борьбе с инсайдерскими угрозами до того, как они произойдут. Для тех, кто не знает, с чего начать, вот хорошее место: посмотрите на модель нулевого доверия и посмотрите, как вы можете адаптировать ее в своей организации.

Яндекс, Москва — Как мы делаем Яндекс / Статьи / Хабр

Шапелез 9 сен 2021 в 12:02

Время чтения 7 мин

Просмотров 15K

Яндекс корпоративный блог Qrator Labs Корпоративный блог Qrator Labs Информационная безопасность *ИТ-инфраструктура *Сетевые технологии *

Введение

За последние пять лет практически не было атак глобального масштаба на уровне приложений .

За этот период отрасль научилась справляться с атаками на сетевом уровне с высокой пропускной способностью, включая атаки на основе усиления. Это не означает, что ботнеты теперь безвредны.

В конце июня 2021 года компания Qrator Labs начала замечать в Интернете признаки новой атакующей силы — ботнета нового типа. Это совместное исследование, которое мы провели вместе с Яндексом, чтобы уточнить особенности средства реализации DDoS-атак, возникающих практически в режиме реального времени.

Подробнее

Всего голосов 28: ↑28 и ↓0 +28

Комментарии 0

Диревиус 10 фев 2020 в 12:38

Время чтения 11 мин

просмотров 4.6K

Корпоративный блог Яндекс Разработка мобильных приложений *Тестирование мобильных приложений *Компьютерное железо своими руками

Вы не сможете должным образом протестировать и отладить мобильные приложения без тестовых устройств, которых должно быть много, учитывая, как один и тот же код может вести себя по-разному на разных моделях. Так как же нам отслеживать эти устройства? Как быстро предоставить разработчикам и тестировщикам нужные им смартфоны, настроенные так, как им нужно, и без лишней волокиты?

Я Алексей Лавренюке. За эти годы у меня было много шапок: один из авторов Яндекс.Танка, спикер по нагрузочному тестированию и парень, рассчитывавший энергопотребление мобильными телефонами. Сейчас я разработчик Яндекс.Ровер в команде беспилотных автомобилей.

После телефонов и до Яндекс.Ровера был Гиперкуб.

Несколько лет назад руководитель отдела мобильной разработки зашел в отдел нагрузочного тестирования и упомянул о проблеме с тестовыми устройствами: телефоны имеют тенденцию необъяснимым образом мигрировать с одного стола на другой. Выбрать подходящее устройство, а затем найти его стало проблемой. У нас уже был опыт работы с мобильными устройствами, начиная с создания цифрового амперметра для расчета энергопотребления, поэтому мы решили помочь нашим коллегам и быстро соорудить удобную штуковину. Мы рассчитывали, что все это займет не более трех месяцев. О, как мы ошибались. Позвольте мне рассказать вам, что мы действительно были в для.

^{_{»Кьюб Даллас»}}

Подробнее →

Всего голосов 13: ↑12 и ↓1 +11 9000 3

Комментарии 2

o6CuFl2Q 23 янв 2020 в 19:50

Время чтения 20 мин

Просмотров 6.8K

Яндекс корпоративный блог Открытый код *Алгоритмы *Большие данные *Машинное обучение *

Пользователи ClickHouse уже знают, что самым большим его преимуществом является высокая скорость обработки аналитических запросов. Но подобные заявления должны быть подтверждены надежным тестированием производительности. Вот о чем мы хотим поговорить сегодня.

Мы начали проводить тесты в 2013 году, задолго до того, как продукт стал доступен с открытым исходным кодом. Тогда, как и сейчас, нас больше всего беспокоила скорость обработки данных в Яндекс. Метрике. Мы хранили эти данные в ClickHouse с января 2009 года. Часть данных была записана в базу данных, начиная с 2012 года, а часть была конвертирована из OLAPServer и Metrage (структуры данных, ранее использовавшиеся Яндекс.Метрикой). Для тестирования мы взяли первое подмножество случайным образом из данных за 1 миллиард просмотров страниц. У Яндекс.Метрики на тот момент не было запросов, поэтому мы придумали интересующие нас запросы, используя все возможные способы фильтрации, агрегирования и сортировки данных.

Производительность ClickHouse сравнивалась с аналогичными системами, такими как Vertica и MonetDB. Во избежание предвзятости тестирование проводил сотрудник, не участвовавший в разработке ClickHouse, а частные случаи в коде не оптимизировались до получения всех результатов. Мы использовали тот же подход, чтобы получить набор данных для функционального тестирования.

После того, как ClickHouse был выпущен с открытым исходным кодом в 2016 году, люди начали сомневаться в этих тестах.

Подробнее →

Всего голосов 11: ↑9и ↓2 +7

Комментарии 4

o6CuFl2Q 25 июн 2019 в 17:42

Время чтения 23 мин

Просмотров 12K

Корпоративный блог Яндекс Высокая производительность *Открытый исходный код *C++ *Большие данные *

При выполнении запросов в ClickHouse можно заметить, что профилировщик часто показывает функцию LZ_decompress_fast вверху. Что происходит? Этот вопрос заставил нас задуматься, как выбрать лучший алгоритм сжатия.

ClickHouse хранит данные в сжатом виде. При выполнении запросов ClickHouse старается делать как можно меньше, чтобы экономить ресурсы процессора. Во многих случаях все потенциально трудоемкие вычисления уже хорошо оптимизированы, плюс пользователь написал хорошо продуманный запрос. Тогда все, что осталось сделать, это выполнить декомпрессию.

Так почему декомпрессия LZ4 становится узким местом? LZ4 кажется чрезвычайно легким алгоритмом: скорость распаковки данных обычно составляет от 1 до 3 ГБ/с на процессорное ядро, в зависимости от данных. Это намного быстрее, чем обычная дисковая подсистема. Более того, мы используем все доступные ядра ЦП, а распаковка масштабируется линейно по всем физическим ядрам.

Подробнее →

Всего голосов 23: ↑21 и ↓2 +19

Комментарии 1

груда мыслей 6 мая 2019 в 16:46

Время чтения 8 мин

Просмотров 8K

Корпоративный блог Яндекс Разработка мобильных приложений *Дизайн мобильных приложений *Дизайн

Меня зовут Владимир, и я занимаюсь разработкой мобильного интерфейса для Яндекс Почты. В наших приложениях какое-то время была тёмная тема, но она была неполной: тёмными были только интерфейс и простые электронные письма. Сообщения с произвольным форматированием оставались светлыми и выделялись на фоне темного интерфейса, ночью режет глаза нашим пользователям.

Сегодня я расскажу вам, как мы решили эту проблему. Вы узнаете о двух простых методах, которые не сработали у нас, и о методе, который, наконец, помог — адаптивном перекрашивании страницы.