Запросы яндекс в реальном времени – Запросы к Яндекс в прямом эфире / Habr

Компания Яндекс — Главные новости — Яндекс ищет в реальном времени

Интернет, 9 июля 2010 года. Яндекс разработал и внедрил новую поисковую технологию, которая позволяет находить совсем свежие документы — через минуты после их появления в интернете.

Достаточно много поисковых запросов (от 2% в спокойные дни до 8% в дни важных событий) посвящено событиям, которые случились совсем недавно. Задавая эти запросы, пользователи ожидают найти в том числе и документы, которые были созданы только что. Чтобы хорошо отвечать на такие запросы, Яндекс, во-первых, научился выявлять их среди общего потока, и во-вторых, внедрил нового поискового робота — Orange. Orange работает в режиме реального времени. Он умеет находить свежие документы, как только они появились в интернете, индексировать их и выкладывать на поисковые сервера буквально за несколько секунд.

Некоторые сайты интернета обновляются не очень часто, а на других — например, на новостных ресурсах — новые документы создаются постоянно. Orange обходит такие сайты и добавляет новые документы в поиск по мере их появления, без задержек.

Чтобы определять, нужна ли свежая информация в ответ на те или иные запросы, Яндекс разработал несколько детекторов. Они анализируют самую разную информацию — например, тематику сообщений в СМИ или рост количества поисковых запросов по той или иной теме.

«В интернете сейчас все больше real-time информации, которая нужна людям прямо сейчас. И мы хотим дать им возможность находить её прямо сейчас, — говорит Федор Романенко, менеджер качества поиска. — Это только первый шаг, конечно, мы будем улучшать качество поиска по новостным запросам и дальше. Новая технология дает возможность делать это сравнительно легко».

Робот Orange и технология поиска в реальном времени были разработаны специалистами из Yandex.Labs — калифорнийского офиса компании — в сотрудничестве с разработчиками из московского офиса. Подробнее о новых технологиях можно почитать в блоге Яндекса.

Контакты
Компания «Яндекс»
Пресс-служба
Очир Манджиков, Дина Литвинова
Тел: +7 (495) 739-7000
Электронная почта: [email protected]

yandex.ru

Компания Яндекс — Технологии — Архитектура ответа на вопрос

Каждый день пользователи задают Яндексу десятки миллионов запросов, и поисковая система должна не только точно отвечать, но и быстро обрабатывать весь этот поток. Для этого Яндекс использует заранее подготовленные данные — индекс. Безусловно, поиск с помощью индекса ускоряет процесс ответа пользователю, как, например, предметный указатель в книге помогает быстрее найти нужное слово. Но размеры самого «предметного указателя» в поиске — огромны. Чтобы обрабатывать такие объемы данных и делать это быстро, Яндекс использует тысячи серверов. Сервера объединены в кластеры и даже в кластеры кластеров.

Архитектура поиска Яндекса устроена так, что к уже существующим серверам можно легко добавлять новые — для новых данных из постоянно растущего интернета.

Все пользовательские запросы сначала попадают в компьютерную систему «метапоиск». Метапоиск обрабатывает каждый запрос в реальном времени — выясняет все необходимые данные про запрос (из какого региона он был задан, к какому классу относится и т.п.), проводит лингвистическую обработку. Затем метапоиск проверяет, формировались ли в последнее время результаты поиска для этого запроса. Результаты поиска по часто задаваемым запросам некоторое время хранятся в памяти метапоиска, а не формируются каждый раз заново. И если вновь пришедший запрос оказался популярным, метапоиск покажет пользователю заранее сохраненные результаты.

Если же ответа в памяти нет, то метапоиск передаёт запрос на сервера другой компьютерной системы — «базового поиска». На базовом поиске хранится слепок интернета, по которому ищет Яндекс, — поисковая база. Она разбита на части, которые хранятся на разных серверах — искать ответ одновременно по нескольким частям базы данных быстрее, чем по всей базе целиком. Кроме того, у каждого сервера есть несколько копий. Это позволяет распределять нагрузку и не терять данные — если один из серверов не сможет своевременно ответить, информация всё равно найдется на дублирующих серверах. Из тысяч серверов базового поиска метапоиск выбирает наименее загруженные – таким образом, чтобы вместе они содержали целую поисковую базу.

Каждый из серверов отдаёт список документов, в которых есть слова из запроса, обратно в метапоиск. Там они объединяются, ранжируются с помощью технологии и попадают на страницу результатов поиска.

Благодаря такой организации поиск Яндекса может отвечать пользователю за доли секунды.

yandex.ru

Запрос - Технологии Яндекса

common

Метаданные запроса.

Да
version

Версия API Локатора: 1.0.

Да
api_key

Ключ доступа к API Локатора.

Да
gsm_cells

Массив объектов, каждый из которых описывает одну соту. Необходим хотя бы один объект в массиве.

Нет
countrycode

Код страны.

Да
operatorid

Код сети мобильной связи.

Да
cellid

Идентификатор соты.

Да
lac

Код местоположения.

Да
signal_strength

Уровень сигнала, измеренный в месте нахождения мобильного устройства. Отрицательное число, выраженное в децибелах к милливатту — dBm. Элемент зарезервирован для будущего использования.

Нет
age

Время в миллисекундах с момента получения данных через программный интерфейс мобильного устройства. Элемент зарезервирован для будущего использования.

Нет
wifi_networks

Массив объектов, каждый из которых описывает одну точку доступа Wi-Fi. Необходим хотя бы один объект.

Нет
mac MAC-адрес в символьном представлении без разделителей. Например: 123456789ABC. Да
signal_strength

Уровень сигнала, измеренный в месте нахождения мобильного устройства. Отрицательное число, выраженное в децибелах к милливатту — dBm. Элемент зарезервирован для будущего использования.

Нет
age

Время в миллисекундах с момента получения данных через программный интерфейс мобильного устройства. Элемент зарезервирован для будущего использования.

Нет
ip

Содержит IP-адрес.

Нет
address_v4

IP-адрес мобильного устройства, назначенный оператором мобильного интернета.

Если IP-адрес отсутствует или некорректен, Локатор будет использовать адрес отправителя из заголовка IP-пакета. Этот адрес может быть подменен прокси-сервером, через который прошел IP-пакет.

Да

yandex.ru

Прямой эфир поисковых запросов от Яндекс

Недавно столкнулся с необходимостью определения того,

как себя ведут пользователи, пытаясь что-либо найти; как они составляют поисковый запрос? что ищут чаще всего? и наткнулся на замечательный сервис исследований от Яндекса.  А именно, прямая трансляция запросов к поиску Яндекса.


Сам ресурс:http://company.yandex.ru/researches/interes/

В прямом эфире можно посмотреть тысячи запросов, вводимых пользователями  в яндекс по всему миру!

Сервис, в целом — помогает понять психологию пользователей. Подобная информация может оказаться крайне полезной для понимания того, как среднестатистический пользователь составляет поисковый запрос и что чаще всего ищет. Незаменимый инструмент в копилке веб-разработчика, так сказать.  Свои наблюдения можно использовать в SEO, в формировании разночастотных запросов, да и, в целом, очень познавательно. Все-таки весело наблюдать, как в России львиная доля запросов — это: «скачать бесплатно»«смотреть онлайн», готовые рефераты, вконтакте, одноклассники и т.д.

Чего уж там, на это можно смотреть часами, зачитывая мантры.

Согласно информации от Google за 2012 год, топ поисковых запросов  в России выглядит так:

Да-да, так и есть)

keass.ru

Яндекс ищет в реальном времени

Яндекс разработал и внедрил новую поисковую технологию, которая позволяет находить совсем свежие документы — через минуты после их появления в интернете.

Достаточно много поисковых запросов (от 2% в спокойные дни до 8% в дни важных событий) посвящено событиям, которые случились совсем недавно. Задавая эти запросы, пользователи ожидают найти, в том числе и документы, которые были созданы только что. Чтобы хорошо отвечать на такие запросы, Яндекс, во-первых, научился выявлять их среди общего потока, и во-вторых, внедрил нового поискового робота — Orange. Orange работает в режиме реального времени. Он умеет находить свежие документы, как только они появились в интернете, индексировать их и выкладывать на поисковые сервера буквально за несколько секунд.

Некоторые сайты интернета обновляются не очень часто, а на других — например, на новостных ресурсах — новые документы создаются постоянно. Orange обходит такие сайты и добавляет новые документы в поиск по мере их появления, без задержек.

Чтобы определять, нужна ли свежая информация в ответ на те или иные запросы, Яндекс разработал несколько детекторов. Они анализируют самую разную информацию — например, тематику сообщений в СМИ или рост количества поисковых запросов по той или иной теме.

«В интернете сейчас все больше real-time информации, которая нужна людям прямо сейчас. И мы хотим дать им возможность находить её прямо сейчас, — говорит Федор Романенко, менеджер качества поиска. — Это только первый шаг, конечно, мы будем улучшать качество поиска по новостным запросам и дальше. Новая технология дает возможность делать это сравнительно легко».

Робот Orange и технология поиска в реальном времени были разработаны специалистами из Yandex.Labs — калифорнийского офиса компании — в сотрудничестве с разработчиками из московского офиса. Подробнее о новых технологиях можно почитать в блоге Яндекса.

www.seonews.ru

Исследования Яндекса — 50 российских городов с точки зрения поиска Яндекса

В Сочи — море, в Санкт-Петербурге — музеи, в Москве — Кремль, в Туле — самовары, в Рязани — грибы с глазами, а в Петропавловске-Камчатском — полночь. У людей есть те или иные ассоциации со многими российскими городами — даже с теми, в которых они никогда не были. Мы решили посмотреть, как выглядят 50 крупнейших городов с точки зрения пользователей Яндекса из других мест. Взяли все поисковые запросы с названиями этих городов за год, с августа 2016 по август 2017, и выяснили, откуда больше всего ищут каждый город, какие города больше всего ищут в нём, а также выбрали примеры популярных слов и словосочетаний.

Сразу перейти на страницу города

Оказалось, что про Сочи действительно часто спрашивают в связи с морем и пляжем, а про Тулу — в связи с пряниками и самоварами. Москва больше интересует жителей других городов с точки зрения жизни и работы, во Владивостоке многие хотят продать или купить машину, а в Краснодар стремятся переехать.

Есть города, про которые спрашивают в первую очередь в связи с расположенными там предприятиями и их продукцией. Люди ищут мебель из Пензы, меха и шубы из Кирова, трикотаж и текстиль из Иванова, а в запросах про Ижевск часто встречаются слова «ружьё», «винтовка» и «пистолет». Другие города вызывают интерес благодаря учебным заведениям — например, в запросах про Томск, Омск и Ставрополь очень часто встречаются названия местных вузов. Некоторые города притягивают туристов. Во многих запросах про Санкт-Петербург упоминаются достопримечательности — особенно дворцы и мосты. Также ищут хостелы, отели, квартиры посуточно и другие места, где можно остановиться. Казанью и Калининградом также интересуются с точки зрения достопримечательностей и экскурсий, а Пермь, Самара и Астрахань ассоциируются с речными круизами.

На интерес к некоторым городам сильно повлияли значимые события, случившиеся там в течение года: много запросов про теракт в Санкт-Петербурге или отравление «Боярышником» в Иркутске.

Мы исследовали только запросы, которые касались непосредственно того или иного города. Не учитывали запросы про соответствующие регионы — например, [карта краснодарского края] или [полное название загса города сердобска пензенской области]. Также не рассматривали запросы с одноименными названиями улиц, станций метро, вокзалов, организаций, художественных произведений и футбольных клубов — скажем, [банки 1-я тверская-ямская], [электрички ярославского направления], [москва слезам не верит смотреть] или [ростов манчестер юнайтед 9 марта 2017].

Мы определили, во-первых, общее количество запросов про каждый из 50 крупнейших городов со всей России, а во-вторых — число запросов про него из каждого из остальных 49 больших городов. Затем для каждого города составили топы — те города, которые чаще всего ищут в нём, и те, из которых чаще всего ищут его.

Также мы составили облака слов и словосочетаний, характерных для запросов про этот город из других больших городов. Самые популярные слова и словосочетания схожи во всех городах — обычно это «официальный сайт», «прогноз погоды», а также названия интернет-сервисов и организаций. Поэтому мы взяли только те слова и словосочетания, которые попали в топ-500 не более чем в 10 городах. Из них выбрали характерные примеры — те, которые не связаны с названиями конкретных сервисов и организаций, кроме наиболее значимых — например, университетов и заводов.

yandex.ru

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *