Блог Яндекса
У Яндекса будет новая главная. Что изменится
23 августа, 10:10
Яндекс договорился о продаже Дзена и Новостей компании VK. Сделку планируется закрыть в течение нескольких месяцев. Когда все формальности будут улажены, на наших сервисах произойдут важные изменения. Дзен и Новости переедут на портал dzen.ru, который будет принадлежать VK, а у Яндекса появится новая главная страница — ya.ru. Основой новой главной станет поиск.
Яндекс Клаб
23 августа, 10:09
Сервис доставки еды и продуктов Delivery Club становится частью Яндекса. Мы сохраним бренд «Деливери», заказы по-прежнему можно будет делать привычным способом — на сайте и в приложениях. При этом сервис перейдёт на единую технологическую платформу с Яндекс Едой. Руководитель Яндекс Еды Роман Маресов рассказывает, что изменится для пользователей, ресторанов и курьеров.
Внимание, это не Алиса
28 июля, 14:40
В последнее время мы получаем много сообщений о звонках от имени Алисы.
Люди видят незнакомый номер, берут трубку и слышат голос, похожий на голос нашей голосовой помощницы. Он предлагает что-нибудь заманчивое, например заработать на акциях. Хотим предупредить: это злоумышленники. Наша Алиса не вступает в разговоры по телефону и не имеет к этим звонкам никакого отношения.
Яндекс Карты собирают данные о доступности
6 июля, 11:00
В Картах появился инструмент, с помощью которого можно отмечать места с доступной средой. Например, указать, есть ли в кафе пандус и специализированный туалет. Чтобы передать данные, потребуются минута времени и камера. Информация о доступности пригодится многим, в первую очередь людям с инвалидностью и родителям с маленькими детьми.
Стажировки или летние школы: что выбрать
17 июня, 15:00
Мы продолжаем набор на стажировку и в летние школы Академии Яндекса (их четыре: три для разработчиков и одна для менеджеров). И то и другое рассчитано на начинающих специалистов, которые хотят попробовать себя в Яндексе.
Требования к кандидатам примерно одинаковые, и чтобы выбрать было проще, мы решили рассказать, что общего у школ и стажировок и в чём они отличаются.
Яндекс выражает соболезнования родным, близким и коллегам Владимира Габриеляна и Сергея Мерзлякова
7 июня, 10:21
Компания «Яндекс» выражает искренние соболезнования родным и близким Владимира Габриеляна и Сергея Мерзлякова, а также всей команде VK. Владимир и Сергей были нашими коллегами и партнёрами. Они много лет создавали компанию, сервисами которой пользуются миллионы людей. Это потеря для всего российского IT-рынка.
Пульт управления баннерами
13 апреля, 13:30
На баннерах, которые показывает Рекламная сеть Яндекса, теперь есть значок с тремя точками — [⋮]. Это своего рода пульт управления рекламными объявлениями. С его помощью можно взаимодействовать с рекламой, например скрыть неинтересную или узнать подробности про интересную. Сигналы, которые пользователи отправляют через «пульт», помогают нам повысить качество рекламы.
Данные, которые мы не уберегли, и уроки, которые мы извлекли
24 марта, 12:00
Руководитель Яндекс Еды Роман Маресов — об утечке данных из сервиса и том, что делает Яндекс, чтобы такого не повторилось.
Про облигации Яндекса
4 марта, 12:25
Яндекс не находится под санкциями. Но четыре последних дня американская биржа NASDAQ не производит торги нашими акциями. Как публичная компания, мы обязаны предупреждать держателей наших акций про все возможные риски — даже гипотетические, которые могут никогда не реализоваться.
Поиск по видео: что меняется
14 февраля, 15:30
В декабре мы рассказали, что вскоре в поиске по видео произойдут изменения. Они касаются наших партнёров — площадок, на которых размещается видеоконтент. Сегодня новые правила вступают в силу. Они будут определять, как отображается в поисковой выдаче принадлежащий таким площадкам контент, а также какое видео можно или нельзя посмотреть непосредственно в поиске.
ФАС, Яндекс и интернет-компании договорились закончить спор мировым соглашением
19 января, 20:45
Андрей Стыскин — о мировом соглашении, которое положит конец спору «о колдунщиках», новых форматах интеграции для партнёров в поиске Яндекса и программе грантов для малого бизнеса.
Браузер с нейрофонами
20 декабря 2021, 13:00
Мы пополнили коллекцию фонов для Браузера. На новых картинках — красивые пейзажи, которые выглядят как настоящие, но никогда не существовали в действительности. Их создала наша нейронная сеть. Если посмотреть на изображение в течение нескольких секунд, можно увидеть, как постепенно преображается ландшафт: на месте гор возникает равнина, а там, где были луга, вырастает лес.
Большое обновление московских панорам
17 декабря 2021, 15:45
В 2021 году мы пересняли 95% московских панорам. Съёмки начались в апреле и продолжались вплоть до декабря, когда открылись новые станции БКЛ. Новые фотографии охватывают свыше восьми тысяч километров улиц и дорог. На снимках — реконструированный Балчуг и «ГЭС-2», «Большая глина № 4» и площадь Павелецкого вокзала, новые автотрассы и транспортные узлы.
Яндекс рассказывает и показывает
8 декабря 2021, 12:15
Представляем YaC 2021. Это большой фильм о технологиях Яндекса и людях, которые их создают.
Вместе с Тиграном Худавердяном и Ириной Шихман вы побываете на полигоне беспилотников и на складе Маркета, заглянете внутрь сервера, узнаете, как калибруют лидары, а главное, увидите, как идеи сотрудников превращаются в продукты. Новости тоже будут: мы покажем Станцию второго поколения и расскажем о новых умениях Алисы.
Поиск Яндекса по видео меняет правила работы с партнёрами для борьбы с пиратством
1 декабря 2021, 16:42
Несколько лет назад мы подписали антипиратский меморандум и реализуем его механизмы в поиске. За это время мы удалили более 24 млн ссылок на пиратский контент. Теперь мы делаем следующий шаг — меняем политику по работе с партнёрами в поиске по видео, чтобы работать с теми, кто разделяет наше отношение к пиратству и создаёт процедуры, которые помогают с ним бороться.
Новые языки закадрового перевода
30 ноября 2021, 11:31
Технология перевода видео начала поддерживать немецкий, французский и испанский. Теперь видео на этих языках — видеоблоги, записи телепередач, интервью, документальное кино и так далее — можно смотреть с автоматическим закадровым переводом.
Перевод работает в Яндекс.Браузере для Windows, macOS, Linux и Android и приложении Яндекс для Android и iOS.
Позвонить Кузе, узнать о технологиях прошлого и поучаствовать в турнире по ретроиграм: Музей Яндекса приглашает на фестиваль «Демодуляция»
26 ноября 2021, 11:00
В эту субботу, 27 ноября музей Яндекса проведёт третий фестиваль «Демодуляция», посвящённый легендарным компьютерам, технологиям и видеоиграм.
В 2021 году фестиваль пройдёт одновременно онлайн и офлайн. Главным гостем «Демодуляции» станет создатель «Тетриса» Алексей Пажитнов.
Беспилотный флот Яндекса перешёл на собственные лидары: почему это важно и что в них особенного
23 ноября 2021, 17:00
Мы оснастили беспилотные автомобили нового поколения своими лидарами — одним из основных сенсоров, с помощью которых «видит» автомобиль. Они детальнее видят объекты и способны подстраиваться под разные ситуации на дороге в реальном времени. Рассказ о том, как мы делали лидар, что он умеет и почему собственный лидар так важен для дальнейшего развития беспилотных технологий.
Как мы создавали третье поколение роботов-курьеров
17 ноября 2021, 17:00
Мы выпустили на улицы третье поколение роверов, наших роботов-курьеров. Их уже можно встретить в Москве и Иннополисе. Роверы стали выглядеть иначе: у них новый корпус, новая подвеска и светодиодные фары, а отсек стал более вместительным — например, в него теперь помещается 6 пицц и 2 двухлитровые бутылки газировки. В этом посте — рассказ про то, как мы создавали роботов.
Беспилотное такси в Иннополисе: цифры и факты
12 ноября 2021, 09:00
Многие москвичи видели на улицах беспилотные автомобили Яндекса. Но столица — не единственный город, где можно их встретить. Машины ездят и в Иннополисе, причём здесь на них можно не только посмотреть, но и прокатиться самому. В Иннополисе четвёртый год работает беспилотное такси Яндекса, и для местных поездка без водителя — не аттракцион, а обычное дело.
СправкаВсе блоги сервисов© 2013–2022 «Яндекс»У Яндекса будет новая главная. Что изменится — Блог Яндекса
Блог Яндекса
23 августа, 10:10
Яндекс договорился о продаже сервисов Дзен и Новости компании VK.
Это повлечёт за собой несколько важных изменений. Они случатся не прямо сейчас, а после того, как мы закроем сделку — то есть в течение нескольких месяцев.
Обновлено 12.09.2022. Мы закрыли сделку по продаже Дзена и Новостей: их владельцем стала компания VK. Теперь на месте yandex.ru будет портал dzen.ru, который принадлежит VK. Нашей новой главной стала ya.ru. Это основная точка входа в сервисы Яндекса, например Почту или личный кабинет Яндекс ID.
Дзен и Новости переедут на dzen.ru
Это большой медиапортал, который будет принадлежать VK. На dzen.ru можно будет узнавать новости и следить за любимыми блогерами. Все ваши комментарии, лайки, подписки и настройки сохранятся — лента будет выглядеть так, как вы привыкли. Также на dzen.ru разместится строка поиска от Яндекса.
Новой главной страницей Яндекса станет ya.ru
Яндекс впервые в своей истории поменяет главную страницу. Новая главная будет жить на ya.ru, а её основой станет поиск.
Пользователям будут доступны универсальный поиск — чтобы искать что угодно и где угодно, поисковые вертикали — чтобы находить, например, картинки или товары, и Алиса — чтобы быстро получать ответы. Новая главная продолжит быть точкой входа в сервисы Яндекса, например Почту. Также отсюда можно будет попасть в личный кабинет Яндекс ID. Посмотреть, как это будет выглядеть, можно уже сейчас — на new.ya.ru.
Старая главная прекратит существование
В будущем, открывая yandex.ru, вы будете попадать не на главную страницу Яндекса, а на портал dzen.ru. Главная будет доступна на ya.ru.
Приложения Яндекс продолжат работу
В приложении для iOS всё будет как раньше, только без Дзена и Новостей. Приложение для Android поменяет название на Яндекс Старт и будет функционировать как браузер, с возможностью выбрать стартовую страницу в настройках. Позже для Android выйдет ещё одно приложение. Оно будет называться Яндекс с Алисой. О нём мы отдельно расскажем чуть позже.
Яндекс Еда объединится с Delivery Club
Покупка Delivery Club — часть сделки с VK. Яндекс сохранит бренд Delivery Club, вы по-прежнему сможете заказывать еду на сайте и в приложениях. При этом сервис перейдёт на единую технологическую платформу с Яндекс Едой. Что это означает для пользователей, ресторанов и курьеров, мы рассказали в отдельном посте.
Пока всё остаётся по-старому
Изменения начнут происходить только после того, как мы закроем сделку. Нам предстоит уладить все формальности и получить согласие Федеральной антимонопольной службы. Это займёт как минимум месяц.
Изменения не затронут остальные сервисы Яндекса
Вы можете продолжать строить маршруты в Картах, слушать любимые треки на Музыке, делать покупки на Маркете, смотреть кино и сериалы на Кинопоиске, вызывать такси в приложении Яндекс Go и пользоваться другими нашими сервисами. Они продолжат работать так, как работали.
главная страница
СправкаВсе блоги сервисов© 2013–2022 «Яндекс»Блог компании Яндекс
Как Яндекс хранит данные пользователей
1 апреля, 14:10
Яндекс очень серьезно относится к безопасности данных и следует строгим правилам защиты данных, чтобы обеспечить безопасность данных наших пользователей и защиту их конфиденциальности.
Читать дальше
Нет комментариев
Помогаем спасти вымирающий язык с помощью Яндекс Переводчик
20 декабря 2021, 12:35
Якутский язык является коренным языком, на котором говорят на некоторых из самых северных территорий мира, с населением менее полумиллиона человек. в настоящее время используют его в своей повседневной жизни. Занесенный в список исчезающих языков, якутский рискует исчезнуть с лица земли, унеся с собой уникальную культуру и самобытную групповую идентичность.
Подробнее
Комментариев нет
Еще одна конференция 2021: Новая страница Еще один разговор с еще одной главой. Это мероприятие позволяет нам подвести итоги наших усилий, поделиться достижениями и заглянуть в прошлое, настоящее и будущее.
Читать дальше
Нет комментариев
Суперкомпьютеры Яндекса Топ участников из России и Восточной Европы среди самых мощных вычислительных систем мира
16 ноября 2021, 09:01
Три суперкомпьютера Яндекса опережают другие работы из России и Восточной Европы в списке ТОП500, а самый мощный суперкомпьютер компании Червоненкис входит в двадцатку лучших в мире
Читать дальше
3 Нет комментариев
Яндекс Анонсирует Вторую Конференцию по Образованию 10 ноября
8 Ноябрь 2021, 12:07
Вторая образовательная конференция Яндекса, ЯЦ/э, состоится 10 ноября онлайн.
Читать далее
Нет комментариев
Сотрудники Яндекса стали победителями международного студенческого конкурса по программированию
15 октября 2021, 13:06
Валерия Рябчикова, младший разработчик программного обеспечения торговой платформы Яндекс.Маркет, стала победителем 594 900 -й Международный студенческий чемпионат по программированию (ICPC) в Москве в составе команды из трех человек, представляющих Нижегородский университет.
Подробнее
Нет комментариев
Яндекс запускает Фонд Ильи Сегаловича для поддержки образования в области математики и информационных технологий
13 сентября 2021, 17:05
Сегодня мы запускаем Фонд Ильи Сегаловича. Новый проект Яндекса, носящий имя сооснователя компании Ильи Сегаловича, будет поддерживать организации и общественные инициативы, занимающиеся развитием доступного качественного образования в области математики и информационных технологий. В Фонд также войдут все некоммерческие образовательные проекты Яндекса.
Подробнее
Нет комментариев
Яндекс выпускает новое обновление поиска
10 июня 2021, 14:49
Яндекс обновил свою поисковую систему, добавив в нее семейство генеративных нейронных сетей, а также более 2100 других улучшений.
Подробнее
Нет комментариев
Третья премия имени Ильи Сегаловича Награждает новых победителей
7 июня 2021, 18:31
На третьей ежегодной церемонии вручения Премии имени Ильи Сегаловича каждому из шести лауреатов был вручен по одному миллиону рублей в знак признания их выдающегося вклада к прикладным и теоретическим исследованиям в области информатики и смежных областях.
Подробнее
Нет комментариев
Яндекс.Браузер предоставил пользователям контроль над сторонними файлами cookie сторонние файлы cookie через простую панель управления, встроенную в Яндекс.Браузер. Новая функция повышает конфиденциальность пользователей и предоставляет пользователям контроль над тем, с кем они делятся своими данными, в то же время позволяя рекламодателям обращаться к своим потенциальным клиентам
Подробнее
Нет комментариев
Яндекс обновил логотип, чтобы отразить текущую экосистему онлайн- и оффлайн-сервисов
15 апреля 2021, 15:28
Яндекс представил обновленный логотип на русском и английском языках.
Обновленный логотип отражает наше превращение из поисковой системы в экосистему продуктов и услуг для повседневной жизни.
Подробнее
5 комментариев
Музыка сфер: Яндекс Музыка использует алгоритмы для превращения космических тел в искусство
12 апреля 2021, 13:30
Яндекс.Музыка выпустила «Звук звезд» — плейлист аудиокомпозиций, созданный к 60-летию первого полета человека в космос.
Подробнее
Комментариев нет
Еще один разговор 2020: Яндекс рассказывает о том, что важно и как это все работает
25 ноября 2020, 18:15
В этом году наша ежегодная корпоративная конференция Еще одна конференция (ЯК) о технологиях и инновациях, превратилась в «Еще один разговор» — виртуальное мероприятие, которое сочетает в себе презентацию наших новейших продуктов и технологий с открытым и откровенным разговором о нашей культуре и ценностях. Руководители ключевых сервисов Яндекса рассказывают об мыслительном процессе своих продуктов, обсуждают свои планы и стремления и показывают, чего они добились за прошедший год.
Они также обсуждают проблемы, с которыми они столкнулись, и то, как им удалось их преодолеть.
Подробнее
Нет комментариев
YAC
Открыта регистрация на Кубок Яндекса — Международный чемпионат Яндекса по спортивному программированию
17 августа 2020, 13:40 место с 19 октября по 7 ноября этого года. Регистрация открыта до 25 октября на сайте Яндекс Кубка. Зарегистрироваться Сегодня!
Подробнее
Нет комментариев
Турецкий хакатон по цифровой музыке помогает стимулировать инновации в Яндекс Музыке
14 августа 2020 г., 14:49
Яндекс Музыка выступила спонсором музыкального онлайн-хакатона в Университете Озиегин в Турции. Хакатон был посвящен открытию и взаимодействию с социальной музыкой. Студенты и выпускники инженеров, маркетинга, бизнеса, социальных наук, архитектуры и дизайна потратили 72 часа на то, чтобы превратить свои идеи в практические решения. С помощью наставников Яндекса каждая из 13 команд-участниц представила интересную концепцию продукта, готовую к дальнейшему тестированию и проверке в реальных условиях.
Подробнее
Нет комментариев
Премия имени Ильи Сегаловича отмечает выдающиеся таланты в области компьютерных наук
9 июля 2020, 11:00
Ежегодная церемония вручения Премии имени Ильи Сегаловича состоялась во второй раз, на этот раз – онлайн. Премия, учрежденная Яндексом в прошлом году в честь наследия одного из ее соучредителей Ильи Сегаловича, отмечает особые достижения в компьютерных науках и смежных областях и присуждается молодым исследователям и ученым, работающим в России, Казахстане или Беларуси.
Подробнее
Нет комментариев
Илья Сегалович, YSDA, Y-DATA, Образовательная Инициатива
Яндекс раскрывает планы новой штаб-квартиры в Москве
19 июня 2020, 14:36
Жизнь постепенно возвращается к нормальной жизни , сейчас мы анонсируем проект нашего нового московского дома.
Подробнее
Нет комментариев
офис, штаб-квартира, Яндекс.Драйв
Классная комната с Яндекс.Школой
6 мая 2020, 19:32
В связи с закрытием школ и миллионами детей, оставшихся дома во время вспышки COVID-19, сообщества во всем мире сталкиваются с проблемой обеспечения того, чтобы их дети могли продолжать учиться.
У Яндекса более тридцати образовательных программ, от раннего образования до курсов для выпускников. Мы рады применить наш тринадцатилетний опыт в этой области, чтобы помочь семьям справиться с проблемами домашнего обучения. Совместно с Центром педагогического мастерства в Москве мы создали бесплатную образовательную онлайн-платформу «Яндекс.Школа», чтобы помочь ученикам, учителям и родителям изучать школьную программу со своих компьютеров и смартфонов дома.
Подробнее
Нет комментариев
образование,COVID-19
Борьба со взвинчиванием цен и удовлетворение спроса в электронной торговле во время COVID-19
31 марта 2020, 15:53
По мере распространения COVID-19 неопределенная ситуация многие люди спешат и запасаются товарами первой необходимости. Поскольку это приводит к дефициту и пустым полкам, у людей все чаще возникают проблемы с поиском товаров первой необходимости. Благодаря дополнительным заказам на дом онлайн-покупки стали еще более важной услугой для пользователей.
Подробнее
Нет комментариев
COVID-19,Яндекс.Маркет,Беру,электронная коммерция
Как Яндекс отвечает на помощь во время COVID-19
25 марта 2020, 15:17
Вспышка COVID-19 меняет жизни миллиардов людей по всему миру. Эта ситуация призвала людей и организации по всему миру внести свой вклад, чтобы помочь сообществам во всем мире. Сейчас больше, чем когда-либо, люди обращаются к подключенным интеллектуальным сервисам, чтобы помочь им преодолеть это неопределенное время. Здесь, в Яндексе, мы работаем над адаптацией наших инструментов, которые помогают потребителям и компаниям ориентироваться в онлайн- и офлайн-мире, под современные реалии. Несмотря на то, что наше сообщество из более чем 10 000 членов команды переходит на работу из дома, мы усердно работаем над поиском решений, которые помогут людям в эти трудные времена.
Подробнее
Нет комментариев
COVID-19,Яндекс.Такси,Яндекс.Еда,Алиса,поиск
Все блоги сервиса Яндекс© 2013–2022 «Яндекс»Яндекс, Москва — Как мы делаем Яндекс / Статьи / Хабр
Шапелез 
000Z» title=»2021-09-09, 12:02″> 9 сентября 2021 в 12:02
Яндекс корпоративный блог Qrator Labs Корпоративный блог Qrator Labs Информационная безопасность *ИТ-инфраструктура *Сетевые технологии *
Введение
За последние пять лет приложений глобального масштаба практически не было -слойные атаки.
За этот период отрасль научилась справляться с атаками на сетевом уровне с высокой пропускной способностью, включая атаки на основе усиления. Это не означает, что ботнеты теперь безвредны.
В конце июня 2021 года компания Qrator Labs начала замечать в Интернете признаки новой атакующей силы — ботнета нового типа. Это совместное исследование, которое мы провели вместе с Яндексом, чтобы уточнить особенности средства реализации DDoS-атак, возникающих практически в режиме реального времени.
Подробнее
Всего голосов 28: ↑28 и ↓0 +28
Просмотров15K
Комментарии 0
Диревиус 
000Z» title=»2020-02-10, 12:38″> 10 февраля 2020 в 12:38
Яндекс корпоративный блог Разработка мобильных приложений *Тестирование мобильных приложений *Компьютерное железо своими руками
Вы не сможете должным образом протестировать и отладить мобильные приложения без тестовых устройств, которых должно быть много, учитывая как один и тот же код может вести себя по-разному на разных моделях. Так как же нам отслеживать эти устройства? Как быстро предоставить разработчикам и тестировщикам нужные им смартфоны, настроенные так, как им нужно, и без лишней волокиты?
Я Алексей Лавренюке. За эти годы я побывал во многих шляпах: один из авторов Яндекс.Танка, спикер по нагрузочному тестированию и парень, рассчитывавший энергопотребление мобильными телефонами. Сейчас я разработчик Яндекс.Ровер в команде беспилотных автомобилей.
После телефонов и до Яндекс.Ровера был Гиперкуб.
Несколько лет назад руководитель отдела мобильной разработки зашел в отдел нагрузочного тестирования и упомянул о проблеме с тестовыми устройствами: телефоны имеют тенденцию необъяснимым образом мигрировать с одного стола на другой.
Выбрать подходящее устройство, а затем найти его стало проблемой. У нас уже был опыт работы с мобильными устройствами, начиная с создания цифрового амперметра для расчета энергопотребления, поэтому мы решили помочь нашим коллегам и быстро соорудить удобную штуковину. Мы рассчитывали, что все это займет не более трех месяцев. О, как мы ошибались. Позвольте мне рассказать вам, что мы действительно были в для.
» Dallas Cube »
Читать дальше →
Всего голосов 13: ↑ 12 и ↓ 1 +11
Вид4.3k
Комментарии и ↓ 1 +11
. 2o6CuFl2Q
Яндекс корпоративный блог Открытый код *Алгоритмы *Большие данные *Машинное обучение *
Пользователи ClickHouse уже знают, что его самым большим преимуществом является высокая скорость обработки аналитических запросов.
Мы начали проводить тесты в 2013 году, задолго до того, как продукт стал доступен с открытым исходным кодом. Тогда, как и сейчас, нас больше всего беспокоила скорость обработки данных в Яндекс.Метрике. Мы хранили эти данные в ClickHouse с января 2009 года. Часть данных была записана в базу данных, начиная с 2012 года, а часть была конвертирована из OLAPServer и Metrage (структуры данных, ранее использовавшиеся Яндекс.Метрикой). Для тестирования мы взяли первое подмножество случайным образом из данных за 1 миллиард просмотров страниц. У Яндекс.Метрики на тот момент не было запросов, поэтому мы придумали интересующие нас запросы, используя все возможные способы фильтрации, агрегирования и сортировки данных.
Производительность ClickHouse сравнивалась с аналогичными системами, такими как Vertica и MonetDB. Во избежание предвзятости тестирование проводил сотрудник, не участвовавший в разработке ClickHouse, а частные случаи в коде не оптимизировались до получения всех результатов.
После того, как ClickHouse был выпущен с открытым исходным кодом в 2016 году, люди начали сомневаться в этих тестах.
Подробнее →
Всего голосов 11: ↑9и ↓2 +7
просмотров6,4K
комментариев 4
o6CuFl2Q
Яндекс корпоративный блог Высокая производительность *Открытый исходный код *C++ *Большие данные *
При выполнении запросов в ClickHouse можно заметить, что профилировщик часто показывает функцию LZ_decompress_fast вверху . Что здесь происходит? Этот вопрос заставил нас задуматься, как выбрать лучший алгоритм сжатия. ClickHouse хранит данные в сжатом виде. При выполнении запросов ClickHouse старается делать как можно меньше, чтобы экономить ресурсы процессора.
Во многих случаях все потенциально трудоемкие вычисления уже хорошо оптимизированы, плюс пользователь написал хорошо продуманный запрос. Тогда все, что осталось сделать, это выполнить декомпрессию.
Так почему же декомпрессия LZ4 становится узким местом? LZ4 кажется чрезвычайно легким алгоритмом: скорость распаковки данных обычно составляет от 1 до 3 ГБ/с на процессорное ядро, в зависимости от данных. Это намного быстрее, чем обычная дисковая подсистема. Более того, мы используем все доступные ядра ЦП, а распаковка масштабируется линейно по всем физическим ядрам.
Подробнее →
Всего голосов 23: ↑21 и ↓2 +19
Просмотров11K
Комментарии 1
груда мыслей
Яндекс корпоративный блог Разработка мобильных приложений *Дизайн мобильных приложений *Дизайн
Меня зовут Владимир, и я разрабатываю мобильный фронтенд для Яндекс Почты.