Яндекс алгоритм: Алгоритм — Yandex Cup | Дропшиппинг

Содержание

Алгоритм. Примеры задач

A. Время в зазеркалье

Отправить решение задачи на платформе Яндекс.Контест

Условие задачи

В офисе, где работает Бомбослав, установлены стильные дизайнерские часы. Их циферблат имеет стандартную разметку: на окружности расположены 60 делений, соответствующих минутам, 12 из которых (начиная с расположенного вверх от центра окружности, далее равномерно с шагом в пять делений) сделаны крупнее остальных, то есть соответствуют часам. Стильными эти часы делает тот факт, что циферблат не содержит никаких цифр, так как предполагается, что всем хорошо известно, какое деление соответствует какому значению текущего времени.

Сегодня над рабочим местом Бомбослава повесили такие часы. Периодически поглядывая на них, он сначала заметил некоторую странность в направлении движения стрелок. Приглядевшись внимательнее, Бомбослав обнаружил, что на самом деле над его рабочим местом находится зеркало, а часы расположены на стене за его спиной. Это означает, что Бомбослав видит циферблат отражённым относительно вертикальной оси, проходящей через его центр. Теперь он хочет научиться быстро определять настоящее текущее время, зная время, которое показывается на отражённом циферблате.

Часы устроены таким образом, что обе стрелки движутся дискретно, то есть часовая стрелка всегда указывает на одно из 12 крупных делений, соответствующее текущему количеству часов, а минутная стрелка на одно из 60 делений, соответствующее текущему количеству минут.

Формат ввода

В единственной строке входных данных записаны два целых числа h и m(0≤h≤11, 0≤m≤59) — положение часовой стрелки и положение минутной стрелки в отражённом циферблате соответственно. h=0 означает, что часовая стрелка указывает вертикально вверх, h=3 соответствуют стрелке, направленной строго направо, h=6 — стрелка смотрит вертикально вниз, h=9 — строго налево. Аналогичные указания верны для минутной стрелки для значений m=0, m=15, m=30и m=45

Формат вывода

Выведите два целых числа x и y(0≤x≤11, 0≤y≤59) — реальное значение текущего времени на часах.

Пример 1

Пример 2

Примечания

На картинке изображён первый тестовый пример. Левый циферблат соответствует тому, что видит Бомбослав, а правый — реальному положению стрелок. Часовая стрелка изображена красным цветом, а минутная синим.

Решение

Решение

Рассмотрим движение «прямой» и «отражённой» стрелки. За то время, которое «прямая» стрелка повернётся на некоторый угол, «отражённая» повернётся на тот же угол, но в другую сторону, то есть суммарный угол поворота стрелок равен полному обороту. Для каждой стрелки независимо вычислим её позицию. Для часовой это 12 минус текущая позиция, а для минутной — 60 минус текущая позиция. В обоих случая надо не забыть заменить 12 или 60 на ноль.

B. Фактор палиндромности

Отправить решение задачи на платформе Яндекс.Контест

Условие задачи

Аркадий — большой фанат использования машинного обучения в любой задаче. Он верит в безграничную силу волшебства этой популярной молодой науки. Именно поэтому Аркадий постоянно придумывает всё новые и новые факторы, которые можно вычислить для различных объектов.

Напомним, палиндромом называется строка, которая одинаково читается от начала к концу и от конца к началу. Для каждой строки в своей базе данных Аркадий хочет найти самую короткую её подстроку, состоящую хотя бы из двух символов и являющуюся палиндромом. Если таких подстрок несколько, Аркадий хочет выбрать лексикографически минимальную.

Формат ввода

В единственной строке входных данных записана одна строка из базы Аркадия — непустая последовательность строчных букв английского алфавита. Длина строки составляет не менее 2 и не превосходит 200 000 символов.

Формат вывода

Выведите минимальную по длине подстроку строки из входных данных, состоящую хотя бы из двух символов и являющуюся палиндромом. Напомним, что среди всех таких строк Аркадий хочет найти лексикографически минимальную.

Пример 1

Пример 2

Примечания

Говорят, что строка a=a1a2 … an) лексикографически меньше строки b=b1b2 … bm) если верно одно из двух условий:

либо nm и a1=b1, a2=b2, …, an=bn, то есть первая строка является префиксом второй;
либо есть такая позиция 1≤i≤min(n,m), что a1=b1, a2=b2 …, ai-1=bi-1 и ai=bi, то есть, в первой позиции, в которой строки различаются, в первой строке стоит меньшая буква.

Решение

Решение

Пусть существует какая-то подстрока, являющаяся палиндромом. Если мы уберём первый и последний символ палиндрома, оставшаяся строка тоже будет палиндромом. Будем повторять процесс до тех пор, пока не останется строка из двух или трёх букв (в зависимости от чётности).

Подстрок длины два или три всегда линейное количество, и суммарная их длина также линейна, поэтому среди таких строк ответ можно выбрать наивным алгоритмом. Если же ни одна из подстрок такой длины не является палиндромом, то выведем -1.

C. Разделите их все

Отправить решение задачи на платформе Яндекс.Контест

Условие задачи

После работы Оля и Толя решили вместе сходить в тир. После прохождения вводного инструктажа и получения оружия они оказались на позициях для стрельбы, а напротив них находятся n мишеней. Все мишени можно считать фигурами, нанесёнными на бесконечную плоскость, при этом каждая мишень является кругом или прямоугольником, мишени могут накладываться и пересекаться произвольным образом.

Перед тем как начать стрельбу, Оля и Толя хотят убедиться, что они смогут однозначно идентифицировать результаты своих выстрелов.

Для этого они договорились провести прямую, которая поделит плоскость с мишенями на две части. Однако, чтобы никому не было обидно, они хотят провести прямую таким образом, чтобы каждая мишень была поделена ровно пополам, то есть для каждого круга и каждого прямоугольника должно быть верно, что прямая делит его на две фигуры равной площади. Когда Оля и Толя наконец закончили прорабатывать все условия разделения мишеней на две части, они начали сомневаться, что провести такую прямую вообще возможно, и просят вас ответить на этот вопрос.

Формат ввода

В первой строке входных данных записано целое число n(1≤n≤100 000) — количество мишеней. Каждая из последующих n строк содержит целое число ti(0≤ti≤1), обозначающее тип мишени. Если ti=0, то мишень является кругом и далее следуют три целых числа ri, xi и yi, определяющие радиус и координаты центра круга соответственно (1≤ri≤1000, −10 000≤xi, yi≤10 000) Если же ti=1, то мишень является прямоугольником, который затем определяют восемь целых чисел x1,i, y1,i, x2,i, y2,i, x3,i, y3,i, x4,i, y4,i — координаты всех четырёх вершин (−10 000≤xj,i, yj,i≤10 000), перечисленных в порядке обхода по часовой стрелке или против часовой стрелки. Гарантируется, что данные четыре вершины образуют прямоугольник ненулевой площади.

Формат вывода

Если существует прямая, которая поделит каждый из имеющихся кругов и прямоугольников на две части одинаковой площади, выведите “Yes”. В противном случае выведите “No”.

Пример 1

Пример 2

Пример 3

Решение

Решение

Для решения этой задачи нам потребуется простой геометрический факт, что прямая делит окружность на две равные части, если и только если она проходит через её центр. Аналогично для прямоугольника, прямая делит его на две части равной площади, если и только если она проходит через точку пересечения диагоналей. В обоих случаях достаточность следует из симметрии относительно этой точки, а необходимость может быть установлена проведением через эту точку прямой, параллельной данной.

Теперь нам требуется лишь проверить, правда ли, что все центры заданных во входных данных фигур лежат на одной прямой. Для удобства будем рассматривать удвоенные координаты центров, тогда для получения центра прямоугольника достаточно сложить координаты двух противоположных вершин.

Если среди построенного множества точек не более двух различных, то ответ точно положительный. В противном случае рассмотрим любую пару различных точек и проверим, что все остальные точки лежат на определяемой этой парой прямой. Наиболее удобный способ проверить, что три точки a, b и c (a≠b) лежат на одной прямой ~— использовать векторное произведение векторов b-a и c-a. Итоговая сложность решения: O(n).

D. Задача для собеседования

Отправить решение задачи на платформе Яндекс.Контест

Условие задачи

Алексей регулярно проводит собеседования с кандидатами на позицию стажёра. И хотя он провёл уже не одну сотню собеседований, в последнее время этот процесс даётся ему нелегко — кандидаты стали без труда решать все годами протестированные и отработанные задачи Алексея!

Делать нечего, и в преддверии очередного собеседования Алексей придумал новую задачу. Имеется числовая последовательность, на первом шаге состоящая из двух чисел 1. На каждом следующем шаге между каждыми двумя соседними элементами добавляется новый элемент, равный их сумме. После первых нескольких шагов последовательность выглядит следующим образом:

• 1 1
• 1 2 1
• 1 3 2 3 1
• 1 4 3 5 2 5 3 4 1

На собеседовании Алексей хочет попросить кандидата написать программу, которая по заданному числу n будет определять, сколько раз число n будет встречаться в последовательности на n-м шаге? Алексей ещё не научился решать свою задачу, но слышал, что кандидат, с которым он сейчас будет проводить собеседование, добился высоких результатов в спортивном программировании, поэтому, скорее всего, легко справится с этим вопросом.

Формат ввода

Во входных данных записано единственное число n(1≤n≤1013).

Формат вывода

Выведите одно целое число, равное количеству вхождений числа n в описанную в условиях последовательность на шаге n.

Пример 1

Пример 2

Решение

Решение

Докажем несколько лемм.

Лемма 1. Числа, оказавшиеся на каком-то шаге соседними, являются взаимно простыми.

Докажем по индукции. База очевидна (1 и 1 взаимно просты). Пусть доказано для n шагов. Все числа, выписанные на n+1 -м шаге, являются суммой двух соседних на n-м шаге чисел, то есть суммой двух взаимно простых чисел. Но НОД (a+b, b)=НОД (a, b)=1. Лемма доказана.

Лемма 2. Никакая упорядоченная пара соседних чисел (a, b) не может возникнуть в последовательности более одного раза (ни на одном шаге, ни на разных).

Пусть это не так, тогда отметим номер k шага, на котором в первый раз возникло повторение (то есть повторилась пара, существующая на этом или на предыдущем шаге). Пусть пара (p, q) возникла на k-м и на i≤k -м шаге. Но тогда, если p>q , то p было построено как сумма соседей q и p-q (если pq , то q было построено как сумма p и q-p ), то есть на k-1 -м и на i-1-м шагах также существовало повторение, что противоречит нашему предположению. Лемма доказана.

Лемма 3. Любая упорядоченная пара взаимно простых чисел неизбежно будет соседней на некотором шаге.

Пусть мы имеем числа pq, стоящие рядом на некотором шаге и пусть p>q (без ограничения общности). Тогда p было получено как сумма p-q+q , то есть на предыдущем шаге рядом стояли p-q и q. Если p-qq , то два шага назад справа от q стояло число 2q-p , если p-q>q , то слева от p-q стояло число p-2q и так далее. Так как p и q взаимно просты, то на каком-то шаге этот процесс, по сути являющийся разновидностью алгоритма Евклида, приведёт к тому, что с одной стороны окажется 1, а с другой — некоторое натуральное число. Но пара (1, x) или (x, 1) для любого x будет соседней последовательности на x-м шаге. А так как действия восстанавливаются однозначно, то это значит, что и исходная пара (p, q) в какой-то момент встретится в качестве соседней.

Таким образом, каждая упорядоченная пара взаимно простых чисел ровно один раз встречается в качестве соседей в заданной последовательности. Поэтому задача сводится к подсчёту количества упорядоченных пар взаимно простых чисел, дающих в сумме n. Так как если p и n взаимно просты, то и p и (n-p взаимно просты, то количество таких пар можно поставить в однозначное соответствие количеству чисел, взаимно простых с n, или значению функции Эйлера от n.

Подсчёт же количества таких чисел является известной задачей и опирается на мультипликативность функции Эйлера: если n=p1k1·p2k2· … ·pnkn , то взаимно простых с n чисел будет (p1k1-p1k1-1)·(p2k2-p2k2-1)· … (pnkn-pnkn-1) Раскладываем n на простые множители за время O(n) .

E. Резервное копирование

Отправить решение задачи на платформе Яндекс.Контест

Условие задачи

Для обеспечения сохранности пользовательских данных Аркадий постоянно изобретает и тестирует новые схемы организации резервного копирования. В этот раз он пронумеровал все имеющиеся у него компьютеры с данными от 1 до n и для каждого компьютера с номером от 1 до n-1 назначил резервный компьютер pi При этом он строго соблюдал правило, что номер компьютера для резервного копирования всегда больше номера самого компьютера, то есть pi>i . По этой причине у компьютера с номером n компьютера для резервного копирования нет.

В ходе текущего эксперимента Аркадий выбрал некоторую конфигурацию значений pi и будет последовательно отключать компьютеры по одному каждую секунду. Эксперимент заканчивается, когда Аркадий отключает компьютер с номером n. Изначально на каждом компьютере находится некоторый блок данных размера 1. При отключении компьютера с номером x изначально расположенный на нём блок данных размера 1 передаётся на компьютер с номером px , при этом, если на компьютере номер x находились другие блоки данных (полученные от других компьютеров при их отключении), то они исчезают. Если же компьютер px уже отключен, то и блок данных с компьютера x никуда не передаётся и тоже исчезает.

Аркадий хочет, чтобы эксперимент продолжался как можно дольше, но он вынужден соблюдать ещё одно дополнительное ограничение: если на каком-либо компьютере собирается k блоков данных, то в целях сохранности железа этот компьютер необходимо тут же выключить в течение следующей

Формат ввода

В первой строке входных данных записано целое число t(1≤t≤20) — количество тестовых примеров.

Далее следует t описаний тестовых примеров, каждое описание начинается со строки содержащей два целых числа n и k(1≤n≤100 000, 2≤k≤10) — количество компьютеров, участвующих в эксперименте и предельное количество блоков данных на одном компьютере соответственно. Вторая строка содержит n-1 число p1, p2, … pn-1(i+1≤pi≤n) .

Формат вывода

Для каждого из t тестовых примеров выведите одно целое число — максимально возможную продолжительность эксперимента, то есть максимальный номер секунды, на которой Аркадий может отключить компьютер с номером n.

Пример

Решение

Решение

В задаче нам дано корневое дерево, на каждом шагу одна из вершин дерева удаляется. При этом, если корень вершины ещё не был удалён, его значение увеличивается на 1 (изначально все значения равны 1). Если значение какой-то вершины становится равным k, то именно она удаляется на следующем шаге. Требуется максимизировать номер шага на котором будет удалена корневая вершина.

Заметим, что если у корневой вершины менее k-1 потомка, то можно удалить все вершины дерева, перед тем как трогать вершину номер n. В противном случае все дети корня разделяются на три множества: те, чьи поддеревья будут удалены полностью, те, у которых корень останется нетронутым, и одно поддерево, после удаления корня которого мы удаляем и саму вершину n. Сделаем обход в глубину нашего дерева и будем поддерживать три значения динамического программирования:

a(v) равняется количеству вершин, которые можно удалить в данном поддереве, если можно удалить вершину v и не обязательно последней. Несложно заметить, что a(v) равняется размеру поддерева.

b(v) равняется количеству вершин, которые можно удалить в данном поддереве, если вершина v должна остаться нетронутой. Равняется a(v)-1 , если у вершины v менее k-1 сына. В противном случае нужно выбрать каких-то k-2 потомка, для которых будет использовано значение a(u) и для всех остальных использовать b(u) . В качестве таких k-2 потомков выгодно взять вершины с максимальной разницей a(u)-b(u) .

c(v) равняется количеству вершин, которые можно удалить в данном поддереве, если можно удалить вершину v, но она должна быть последней удалённой вершиной поддерева. Величина c(n) и будет являться ответом на задачу. Требуется выбрать какие-то k-2 потомка, для которых будет использовано значение a(u) , одного потомка, для которого мы используем c(u) и для всех остальных к ответу добавится b(u) . Переберём, для какого из потомков будет использовано c(u) (то есть кто будет последним удалённым потомком, после чего будет удалена и вершина v). Теперь среди оставшихся требуется взять сумму всех значений b(u) и k-2 максимальных a(u)-b(u) . Для этого достаточно иметь предподсчитанными сумму всех b(u) и список сыновей, упорядоченных по a(u)-b(u) . Если вершина x, для которой мы решили взять значение c(x) попадает в вершины с максимальной разностью, то использовать следующую k-1 вершину (такая обязательно есть, иначе мы просто уничтожаем всё поддерево).

Итоговая сложность решения O(n log n)

F. Процессоры-лжецы

Отправить решение задачи на платформе Яндекс.Контест

Условие задачи

Для испытания новых алгоритмов машинного обучения Евгений использует n·m процессоров, расположенных в единичных клетках платы размера n×m . Таким образом, процессоры занимают n рядов, по m процессоров в каждом. При этом два процессора считаются соседними, если они расположены в соседних клетках одного ряда, или на одной и той же позиции в соседних рядах.

В результате неудачного эксперимента с новым алгоритмом некоторые из процессоров научились врать Евгению. Однако, благодаря тому, что была использована только базовая версия алгоритма, если какой-то процессор начинает врать, то он будет делать это всегда, поэтому результаты его работы всё ещё несложно интерпретировать.

Теперь перед Евгением стоит задача определить, какие из процессоров постоянно выдают неверную информацию, но сначала он хочет оценить масштаб проблемы. Для этого он послал каждому из процессоров вопрос: верно ли, что среди соседних ему процессоров есть и исправные процессоры, и процессоры-лжецы? На удивление Евгения, все процессоры ответили на такой запрос утвердительно.

Теперь он хочет узнать, какое минимальное количество процессоров-лжецов может находится на плате?

Формат ввода

В единственной строке входных данных записаны два целых числа n и m(1≤n≤7, 1≤m≤100) — количество рядов в плате и количество процессоров в одном ряду соответственно.

Формат вывода

Выведите одно целое число — минимальное возможное количество процессоров-лжецов на плате, при котором каждый процессор мог сообщить Евгению, что среди его соседей есть и исправные процессоры и процессоры-лжецы.

Пример 1

Пример 2

Примечания

Одним из возможных решений в первом тесте является (испорченные процессоры отмечены как 1):
100 001

Решение

Решение

Воспользуемся тем фактом, что n≤7 и будем вычислять динамику по профилю. Пусть мы заполнили первых i столбцов таблицы, причём на первых i-1 столбце все процессоры вернули ожидаемый результат. Тогда, для того чтобы продолжить заполнять таблицу нам важно лишь знать, какие из процессоров врут среди последних двух столбцов.

Посчитаем dp(i, m1, m2) , где i меняется от 1 до m, а m1 и m2~— битовые маски от 0 до 2n-1 . Значением динамики будет минимальное количество процессоров-лжецов, которое потребуется, чтобы заполнить первые i столбцов так, чтобы среди первых i-1 столбца все процессоры вернули ожидаемый результат, а состояние процессоров в последнем и предпоследнем столбце были равны m1 и m2 соответственно. Всего различных состояний O(m·22n) . Наконец, для вычисления перехода будет перебирать новую маску m3 и пробовать перейти в состояние dp(i+1, m2, m3) .

Работая с масками с помощью предподсчёта и битовых операций получим результат O(m·23n) . Работу программы можно значительно ускорить, если предпосчитать все корректные переходы их каждой пары масок (m1, m2) (то есть запомнить все подходящие к ним маски m3 ).

Упражнение: придумайте, как получить решение за время O(nm22n) .

Алгоритмы ранжирования Яндекса 2021 — Обзор санкций и фильтров Яндекс

Запуск поисковой системы «Яндекс» состоялся в 1996 году, а уже в 1997 году она стала доступна широкому кругу пользователей. На тот момент им было проиндексировано 5000 сайтов с общим объёмом информации 4 Гб.

Сейчас количество сайтов исчисляется миллионами. Поиск работает по сложным алгоритмам и выдаёт наиболее подходящие конкретному человеку результаты. Мы сделали обзор всех основных поисковых алгоритмов Яндекса и возможных санкций для владельцев сайтов, которые были выпущены и внедрены за последние 10 лет.

Как менялись алгоритмы ранжирования Яндекса с 2010 по 2020

После запуска в 1997 году система могла выдавать информацию по запросу, определять уникальность и предлагать только 1 копию текста в выдачу, был введён первый алгоритм ранжирования. Популярность интернета росла, он стал доступнее, поэтому в 2007 году Яндекс увеличил число факторов ранжирования, чтобы сделать выдачу более качественной. Примерно в это время начали появляться SEO-специалисты, которые искали, как обойти алгоритмы поисковой системы и продвинуть сайты, качество которых не соответствовало требованиям Яндекса.

В 2008 появились первые фильтры на накрученные ссылки, приоритет стал отдаваться авторитетным сайтам. Начал действовать и был усовершенствован алгоритм «Магадан»: расширена база синонимов, по которым определялась релевантность контента запросам, стал цениться уникальный контент. У Яндекса появился тезаурус — словарь с лексическими значениями всех слов языка.

Яндекс в 2008 году

С 2009 года новые поисковые алгоритмы Яндекса стали учитывать регион расположения пользователя и несколько раз усовершенствовали эту функцию в рамках «Арзамаса». Они стали отличать омонимы друг от друга, то есть слова, которые схожи по написанию или звучанию, но отличаются по смыслу. Например, если пользователь ищет замок в Германии, поисковая система не станет предлагать ему услуги по смене дверного замка, а сразу покажет достопримечательности. После этого был запущен алгоритм «Снежинск» на основе машинного обучения MatrixNet, который увеличил число факторов ранжирования Яндекса в несколько раз.

Схема работы MatrixNet

2010 — Новая обработка запросов

В 2010-м году было решено усовершенствовать поисковые алгоритмы Яндекса по обработке запросов. Внедрен алгоритм «Конаково». Он был направлен на улучшение распознавания геонезависимых запросов.

Улучшения коснулись и «Снежинска». В марте у него обновились формулы для запросов, не зависящих от геолокации.

В сентябре «Конаково» становится «Обнинском». Это масштабное обновление увеличило число факторов ранжирования Яндекса для геонезависимых запросов, увеличило производительность поисковой системы и привело к перенастройке формулы.

В конце этого года — 15 декабря, выходит алгоритм «Краснодар» с использованием технологии «Спектр». Это сделало выдачу разнообразнее. Запросы пользователей стали восприниматься не только по значению поисковых слов, но и по общему смыслу. Усилилась локализация по запросам, связанным с геолокацией. Выдача стала более релевантной.

2011 — Первые шаги к персонализации выдачи

В 2011-м году стало понятно, что пользователи могут искать разные вещи, формулируя одинаковый запрос. Специалисты Яндекса создали алгоритм «Рейкьявик». Он учитывает язык, на котором в основном читает или ищет информацию пользователь. Это был первый шаг на пути к современной персонализированной выдачи.

2012 — Учёт долгосрочных интересов

Работа по персонализации выдачи продолжилась. Яндекс запустил обновление «Калининград». Оно содержало привычные всем сейчас подсказки в поисковой строке. Выдача стала формироваться с учётом долгосрочных интересов пользователя и наиболее посещаемых им сайтов. Это позволяло наиболее точно удовлетворить запрос конкретного человека.

2013 — Персонализация в моменте

Дальнейшее улучшение персонализации выдачи велось в сторону учёта краткосрочных интересов пользователей. Для этого был разработан алгоритм «Дублин». Результаты выдачи корректировались под конкретного человека непосредственно во время поисковой сессии.

2014 — Новый дизайн, новые правила

В марте 2014 года начал работу алгоритм «Без ссылок». Он прекратил учёт ссылок и некоторых ссылочных факторов для нескольких групп коммерческих запросов, но пока только в Московском регионе.

Обновление «Острова» полностью изменило интерфейс выдачи. В нём появились интерактивные блоки, содержание которых устанавливали владельцы сайта. Там располагались сервисы бронирования, указывали цены и другую информацию об услугах. Эксперимент с дизайном не оправдал ожиданий и был признан неуспешным.

Яндекс Острова довольно быстро «утонули»

2015 — Время ссылок

Специалисты Яндекса вернулись к идее ответа на запрос без захода на сайт, но модифицировали её. Появился проект «Объективный ответ», действующий до сих пор. Это карточка, которая появляется с правой стороны выдачи. Она содержит общую информацию, отвечающую на запрос пользователя.

Ещё один ныне действующий алгоритм из 2015-го — «Минусинск». Он понижает позиции сайтов, на которых расположено слишком много SEO-ссылок. Это сделало почти невозможным накрутку позиций с помощью массовой закупки ссылок. Одновременно с этим в ранжировании снова обрели вес ссылочные факторы.

В сентябре запустили ещё один алгоритм — «Многорукие Бандиты Яндекса». Он поднимал в ТОП один сайт из низа выдачи, информация на котором по мнению роботов наиболее отвечала запросу пользователя. После этого собиралась информация для оценки поведенческих факторов. Если результаты были хорошие, сайт закреплялся в ТОПе по конкретному запросу или существенно поднимался в выдаче. При незначительных изменениях поведенческих факторов позиции могли немного ухудшиться. Если сайт показывал плохие результаты, он стремительно опускался вниз. Это заставляло всех владельцев сайтов выдавать контент высокого качества, если они не хотели пропасть из выдачи.

2016 — Мобильные устройства и нейросети

Стремясь не отставать от Google и его Mobile-friendly, Яндекс запускает «Владивосток». Алгоритм учитывает при ранжировании адаптивность сайта для мобильных устройств. Такие сайты получали самые высокие позиции в мобильной выдаче.

С ноября на службе Яндекса появляется нейросеть. Проект «Палех» отслеживает соответствие семантики сайта и его метатегов запросу пользователя, что ещё больше улучшает выдачу. Сеть также умеет распознавать содержимое документов и сопоставлять его с искомой человеком информацией. Теперь поисковая система может разговаривать на естественном человеческом языке. Также повысилось качество выдачи для редких запросов.

Принцип работы алгоритма «Палех»

2017 — Тексты для людей

В конце марта в факторы ранжирования поисковой системы Яндекс был встроен алгоритм «Баден-Баден». Он находит и понижает в выдаче сайты, в текстах которых слишком много ключевых слов. Качество контента становится важнее, чем соответствие требованиям роботов.

Конец лета ознаменовался выпуском алгоритма «Королёв», который стал продолжением «Палеха». Теперь анализируются не только метатеги и заголовки, а весь контент на странице. Это тоже положительно сказывается на качестве контента.

2018 — Удобство превыше всего

Ноябрь принёс обновление «Андромеда». Оно коснулось как поисковой выдачи, так и сервисов Яндекса. Теперь искать ответ можно не только в строке с поиском, но и среди «Коллекций», например, в картинках.

Улучшения коснулись и быстрых ответов. Пользоваться ими стало ещё удобнее. Теперь в них выводят не только небольшие факты, но и анонсы фильмов, наличие билетов в нужном направлении, счёт текущих футбольных матчей и многое другое.

Изменился алгоритм ранжирования: на первое место встало решение задач пользователей. Система также стала оценивать долю лояльной аудитории, а также соотношение полезного и навязчивого контента. Для наглядной демонстрации пользователям качества сайта были введены значки:

«Официальный сайт» — подтверждает, что это официальный сайт организации;
«Выбор пользователей» — присваивается за лояльную аудиторию;
«Популярный сайт» — выдаётся при большой посещаемости и постоянной аудитории.

Специальные метки для сайтов в поисковой выдаче Яндекса

2019 — Всё и сразу

В декабре под конец года выходит масштабное обновление — «Вега». Оно затронуло сразу несколько направлений.

Во-первых, документы в базе хранения теперь разбиты на смысловые кластеры. Так роботам проще их индексировать и сложнее что-то пропустить, а людям намного быстрее находятся нужные страницы. Сама же база из-за этого выросла в 2 раза.

Во-вторых, поисковая выдача сразу генерируется под запрос, который с большей вероятностью интересует конкретного пользователя. Это ускоряет загрузку результатов.

В-третьих, в асессоры Яндекс набрали экспертов различных тематик. Так качество выдачи в темах, где особенно важна экспертность, стало значительно выше.

В-четвёртых, расположение пользователя теперь учитывается не только с учётом города, но и конкретного района. Подбирать места для отдыха или оказания бытовых услуг теперь намного проще.

Новые поисковые алгоритмы Яндекса 2020-2021 гг.

Осень 2020 года ушла на запуск алгоритма YATI, что расшифровывается как Yet Another Transformer (with Improvements). За него работают мощные нейросети, которые отдают предпочтение наиболее релевантным запросу страницам и сайтам. При этом возраст домена, количество главных страниц и размер контента становятся на второй план.

Запуск YATI по мнению Яндекса считается лучшим, что произошло с алгоритмами этой поисковой системы за 10 лет. По словам специалистов компании, теперь выдача действительно полезна людям, а накрутить позиции практически невозможно.

Сравнение качества ранжирования нейросетевых алгоритмов

В 2021 году Яндекс анонсировал новый алгоритм Proxima. Он анализирует не только соответствие содержимого страницы запросу пользователя, но и его лояльность к сайту, баланс полезной и навязчивой информации и вероятность решения задачи человека после перехода на сайт. Оценивается также удобство для посетителя: этапы заполнения корзины у интернет-магазинов, оформление заказа, варианты оплаты и другие метрики. Результаты работы алгоритма отражаются на позициях в поисковой выдаче. Важно, чтобы сайт был не только полезным, но и комфортным в использовании.

Санкции Яндекса

Алгоритмами ранжирования работа специалистов Яндекса по наведению порядка в Сети в целом и в выдаче в частности не закончилась. Они создали санкции — фильтры, понижающие в выдаче сайты с низкокачественным контентом, но хитрыми SEO-специалистами. Сейчас «чёрные» и «серые» способы продвижения работают всё меньше. Вы можете потерять позиции сайта не только на короткое время, но и на год и более. Это сулит большие финансовые потери. Мы собрали все работающие сейчас и известные SEO-сообществу санкции Яндекса и распределили их по сферам влияния.

Яндекс Вебмастер сообщит о наложении санкций на сайт

Для содержимого

Сайт должен приносить пользу или не попадёт в выдачу — так решили в Яндексе и создали санкции для содержимого сайтов.

«АГС» — выпущено несколько обновлений этого фильтра. Сейчас он понижает в выдаче сайты, которые не несут смысла для пользователей и имеют слишком много исходящих SEO-ссылок. Оповещение о попадании под фильтр появится в Яндекс. Вебмастере. Выполните рекомендации поисковой системы и напишите в техподдержку Яндекса о проведённых изменениях. Средний срок выхода из-под фильтра — 1-3 месяца.
«Партнёрки» — понижает в выдаче сайты, которые содержат только рекламный или партнёрский контент и не несут ценности для обычных пользователей. Добавьте полезный контент для выхода из-под санкции и отметьте в Яндекс. Вебмастере, что всё исправлено.
«Бан» — полное исключение из поиска. Выдаётся спам-сайтам: «дорвеи» — ресурсы, которые только перенаправляют на другой сайт с помощью редиректа или ссылок, «клоакинг» — сайты, на которых поисковые роботы и пользователи видят разный контент, «списки поисковых запросов» — когда на странице просто перечислены запросы без вхождения в текст, «сайты-клоны» — содержат одинаковый контент, но могут вместе попадать в выдачу и занимать несколько строк. Бан действует 6-12 месяцев.

Иногда под санкции попадают и честно сделанные сайты. В этом случае вопрос о снятии фильтра решает техническая поддержка Яндекса, причём достаточно быстро.

Для текстов

Качеству текстового содержимого в последнее время уделяется больше внимания, чем раньше. Сейчас информация на сайте должна быть для людей, а не для роботов. По этой причине Яндекс создал санкции, контролирующие качество текстов.

Сообщение в Яндекс Вебмастере о применении фильтра «Баден-Баден»

«Переспам» — оценивает количество употреблённых в тексте запросов одного типа и понижает релевантность документа по ним при слишком большом числе вхождений.
«Новый» или «Текстовый антиспам» — при переупотреблении ключевыми словами и несоответствии их заявленной тематике понижает позиции сайта на 50 и более строк по конкретному запросу. При этом по остальным запросам позиции не теряются. Если снижение частоты употребления ключевых слов не помогло, лучше переписать текст полностью.
«Переоптимизация» — оценивает общее количество запросов в тексте и плотность их распределения. При злоупотреблении ключами снижает релевантность документа заданной теме. Сайт теряет 20-30 позиций в выдаче. Для снятия санкций нужно уменьшить количество вхождений группы ключей в контенте и метатегах. Обычно выйти из-под санкции удаётся за 2-3 обновления.
«Баден-Баден» — оценивает весь контент документа полностью и понижает сайт в выдаче при наличии слишком большого числа запросов или низкого качества текста. Сайт теряет 10-30 позиций в выдаче. Для снятия нужно переработать контент, убрав переспам и блоки, не несущие смысла, обновлённые страницы отправить на переобход роботами Яндекса.

Результат запуска алгоритма «Баден-Баден»

«Ты последний» — понижает страницу в выдаче за полностью скопированный текст или при низкой уникальности. Замените контент на уникальный и дождитесь переобхода страницы поисковым роботом.

На самом деле, хорошо написанный текст априори не попадает ни под одну санкцию. Нужно просто думать о читателе и давать максимум полезной информации для него.

Для ссылок

Яндекс позже Google стал уделять внимание ссылочным факторам. Это позволило лучше подготовить систему: если в Google долгое время можно было накручивать ссылки и влиять на позиции в выдаче без последствий, то в Яндекс они играют меньшую роль при ранжировании, а также раньше стали контролироваться санкциями.

«Ссылочный взрыв» — удар по позициям в выдаче за слишком быстрое наращивание ссылочной массы. Страдают не только акцепторы, доноры также помечаются как ненадёжные. Узнать фильтр несложно: появление новых ссылок игнорируется, имеющиеся не влияют на позиции. Все ссылки, проставленные перед наложением санкции, придётся удалить, наращивать ссылочную массу постепенно, выкладывать качественный контент. Проблема уйдёт сама через 2-3 месяца.
«Пессимизация» или «Ссылочный спам» — накладывается за махинации со входящими ссылками: прогоны, ссылочные кольца и т. п. Снимается при прекращении нежелательных действий и обращении в техподдержку Яндекс с вопросом о его снятии.
«Минусинск» — понижение в среднем на 20 строк в выдаче за покупные входящие ссылки и большое число SEO-ссылок. Фильтр оценивает более 125 параметров, которые достоверно знают только в Яндексе. Предупреждение о наложении санкции будет в Яндекс. Вебмастере. Все некачественные ссылки придётся удалить, нажать кнопку в Яндекс. Вебмастере «Я всё исправил» и ждать результатов.

Сообщение в Яндекс Вебмастере о применении фильтра «Минусинск»

«Непот» — выдаётся за избыточную внутреннюю перелинковку или внешние низкокачественные ссылки. Из ранжирования исключается одна ссылка или сразу несколько, сам сайт фильтр не затрагивает. Фильтр снимется автоматически при удалении некачественных ссылок.

Избежать попадания под санкции Яндекса на сайт поможет тщательный подбор доноров ссылок по качеству и соответствию тематике сайта.

Для поведенческих факторов

Качество сайта во многом определяется тем, как его воспринимают пользователи. Для повышения его статуса в глазах поисковых роботов некоторые недобросовестные специалисты используют накрутку поведенческих факторов. Яндекс постоянно борется с этим с помощью фильтров.

«Содействие имитации действий пользователей» — потеря позиций в выдаче за размещение на сайте КАПЧИ для улучшения кликовых показателей. В большей степени это относится к вовлечению случайных посетителей в накрутку.
«Накрутка поведенческих факторов» — за накрутку кликов с помощью автоматических действий на сайте, выполненных роботами от имени пользователей, или людьми за денежное вознаграждение. В ТОПе сайт остаётся только по запросам, не содержащих прямого указания на него, по остальным же теряет до 20 позиций и 90% трафика. Для нормализации позиций нужно остановить накрутку и связаться с техподдержкой Яндекса.

Качественный сайт не нуждается в накрутке поведенческих факторов, пользователи сами захотят взаимодействовать с ним.

Последствия от получения фильтра Яндекса — трафик из поиска упал почти до нуля

Для обманщиков

За обман поисковых систем Яндекс наказывает довольно жёстко. Неудивительно, ведь это вредит пользователям.

«Кликджекинг» — размещая на страницах невидимые элементы, с которыми пользователи случайно взаимодействуют, нужно быть готовым к существенной потере позиций. Ведь таким способом недобросовестные владельцы сайтов получают доступ к персональным данным гостя. Уведомление о санкции будет в Яндекс. Вебмастере. При удалении части кода с невидимыми элементами нужно нажать кнопку «Я всё исправил».
«Криптоджекинг» — сайты со скриптами для майнинга криптовалют отмечаются как опасные и теряют позиции в выдаче. Для этого процесса ресурс использует мощности устройств пользователей, что нарушает политику Яндекса. Просто не используйте сайт для майнинга, и не получите санкций.

Не стоит пытаться обмануть роботов и пользователей. Санкции Яндекса — меньшая из проблем, которую можно получить из-за этого.

Для рекламы

Без рекламы нет бизнеса, но не нужно забывать о правилах приличия. Яндекс закрепил их с помощью фильтров.

«Назойливая реклама» — сайты, реклама на которых всплывает в новом окне вслед за вкладкой, открывается по кнопке «закрыть» на баннере или при первом же клике на странице, а также при использовании других схожих методов размещения объявлений, понижаются в выдаче.
«Избыточная реклама» — за слишком большое количество рекламы сайт теряет позиции в выдаче. Уменьшите количество рекламы и сообщите об этом в техподдержку Яндекса.
«За рекламу, вводящую в заблуждение» — за ложные обещания на всплывающих окнах Яндекс понизит позиции сайта. Замените рекламные материалы и сообщите в техподдержку Яндекса.
«За навязчивые оповещения» — пометку в выдаче и снижение строки Яндекс даёт за принуждение пользователей к подписке на рекламные push-сообщения. Оповещение о фильтре появится в Яндекс. Вебмастер. Там же можно снять санкцию после избавления от навязчивых оповещений.
«Малополезный контент» — лучше не маскировать рекламу под часть навигации или контента, чтобы не получить понижение в выдаче. При попадании под фильтр придётся исправить рекламу, добавить полезный контент и отметить это в Яндекс. Вебмастере. Если не помогло, можно написать в техподдержку Яндекса.

Сообщение в Яндекс Вебмастере о санкции фильтра «Малополезный контент»

«За обман мобильных пользователей» — агрессивная реклама для пользователей переносных устройств или автоматические редиректы для таких гостей приведут к потере части трафика на сайт. Уберите такую рекламу с сайта и сообщите об изменениях в техподдержку Яндекса.

Реклама — это хорошо, но она должна быть адекватной и в меру.

Для групп сайтов

Владельцы нескольких сайтов должны уделять одинаковое внимание каждому из них, иначе рискуют попасть под санкции Яндекса.

«Аффилированность» — среди сайтов одного владельца, похожих на дубли, в выдаче останется только один. Яндекс объединяет их в группы аффилиантов по множеству параметров, включая размещение на одном хостинге, схожие шаблоны, контакты и реквизиты, продвижение по одинаковым запросам, контент на страницах и т. п. Если есть подозрение на попадание под фильтр, стоит разместить каждый сайт на отдельном хостинге, изменить контактную информацию и подождать от недели до нескольких месяцев.
«Одинаковые сниппеты» — собирает сайты в группы по существенно схожим сниппетам, то есть информации, представленной в выдаче. В результате действия конкретные страницы выпадают из ТОП-100. Для выхода нужно написать уникальные метатеги и пройти 2-3 обновления.

У каждого сайта должны быть уникальные метатеги и контент, чтобы не попасть под фильтры.

Для некоторых направлений

Контент для взрослых регулирует в Яндексе «Adult-фильтр». Он выводит сайт из видимости по обычным запросам и показывает только по специфичным, с явным adult-интентом или при ручном снятии фильтра в настройках поисковой системы. Иногда ограничения накладываются только на определённые разделы, а не на весь сайт. Если «взрослого» контента нет, а санкция есть, стоит связаться с техподдержкой Яндекса. Среднее время устранения последствий — 1 месяц.

Для нарушителей закона

Закон един для всех, в том числе для бизнеса в интернете. Поэтому Яндекс удаляет из результатов поиска сайты, которые нарушают закон. Под санкции попадают и копии этих сайтов. Список запрещённых ресурсов составляет Министерство цифрового развития, связи и массовых коммуникаций. Под запрет попадают сайты, нарушающие ФЗ № 149 и № 156. Приведите сайт в соответствие законам и сообщите об этом в техподдержку Яндекса.

Все алгоритмы и санкции Яндекса направлены на то, чтобы пользователь получил качественный контент. Если ваш сайт разработан и настроен профессионалами, у вас не будет проблем с его продвижением.

Открытый чемпионат «Яндекс.Алгоритм» выиграл 18-летний белорус — Российская газета

Триумфом белорусской и российской школ программирования завершился в Петербурге финал открытого чемпионата «Яндекс. Алгоритм».

Из более чем трех тысяч участников чемпионата, представлявших 84 государства, до финала добрались 25 человек из 9 стран: России, Беларуси, Украины, Польши, Китая. Тайваня, Южной Кореи, Словакии и Германии. Беларусь представляли двое: выпускник Белорусского госуниверситета нынешнего года Андрей Малевич и 18-летний уроженец Гомеля Геннадий Короткевич.

С полным правом участниками состязаний можно назвать еще и минчан Романа Удовиченко и Алексея Толстикова, с той лишь разницей, что они задачи не решали, а составляли их.

Собрались сильнейшие программисты в одном из самых красивых зданий Северной столицы — во Дворце Великого князя Владимира Александровича, что соседствует на Дворцовой набережной с Эрмитажем. Организаторы решили подарить праздник и участникам, и гостям чемпионата, частью которого, несомненно, стало пребывание в стенах общепризнанного архитектурного шедевра ХIХ века.

— Это наш первый полноценный чемпионат, с участниками со всего мира, с солидным призовым фондом, — рассказал «СОЮЗу» один из руководителей Яндекса Михаил Левин. — Турнир мы проводили в Доме ученых — с надеждой на то, что кто-то из побывавших здесь нынче программистов со временем станет настоящим академиком в своем деле…

Финальная игра включала шесть задач, которые требовалось решить за строго определенное время -100 минут. На мировом студенческом чемпионате, для сравнения, для этого отводилось пять часов. При этом там, на чемпионате мира, трудилась команда из трех человек, здесь же каждый был один на один с хитроумными заданиями.

Еще одно отличие двух этих турниров — возраст участников. У нынешнего никаких ограничений не было. А что такое возраст в программировании? Опыт! Отсюда и более острое соперничество. Изучаешь список финалистов, и буквально каждый второй в нем — чемпион или призер мирового первенства. Например, Ю Вон Сок из Южной Кореи впервые завоевал это звание еще в 1997 году, когда иные его нынешние соперники только родились. Словак Михал Форишек — в 1998 году. Поляк Павел Порыс — в 2001-м…

Один из составителей задач, 27-летний минчанин Алексей Толстиков, рассказал «СОЮЗу», каково оно вообще — готовить такого рода математические «упражнения». Алексей, к слову, окончив несколько лет назад БГУ, остался там преподавателем кафедры вычислительной математики.

— Создание компьютерной задачи — процесс достаточно трудоемкий, может занять немало времени, — признался Алексей. — От нескольких часов до несколько суток. Тут важна еще и оригинальность идеи. Разного рода турниров среди программистов в мире проходит сейчас достаточно много. Нельзя повторяться. Я работал вместе с Ромой Удовиченко, он окончил наш университет в нынешнем году, в июле стал серебряным призером мирового студенческого чемпионата, получил предложение работать в минском офисе Yandex. Начало успешной карьере, на мой взгляд, положено. Из шести задач для данного финала в Петербурге — две наши с ним. Остальные составляли коллеги из России, Японии, Польши.

— Белорусские программисты не первый год входят в число сильнейших в мире. На ваш взгляд, что этому способствует?

— У нас сильная математическая школа еще с советских времен, она не только сохранила свои традиции, но и развивает их. Во многих городах Беларуси действуют клубы программистов для детей, работают увлеченные своим делом преподаватели. При этом нет необходимости беспокоиться о том, где потом применить свои знания. У добившихся определенных результатов молодых программистов проблемы с трудоустройством практически не существует. Пример? Андрей Малевич. Будучи еще студентом БГУ, он получил предложение работать в США, в Facebook.

На финале чемпионата в Петербурге Андрей считался одним из фаворитов. Несмотря на молодость, ему нет и 25, успел заявить о себе стабильно успешными выступлениями на престижных турнирах. Слово «стабильно» тут ключевое. В программировании важно регулярно показывать высокие результаты.

На этот раз ему, правда, не удалось пробиться в тройку призеров. Совсем немного он уступил многоопытному Ши Бисюнь из Тайваня. В Петербурге Ши Бисюнь, решив три задачи, стал бронзовым призером. «Серебро» у россиянина Евгения Капуна — также три задачи в активе. А победителем стал, как многие и ожидали, Геннадий Короткевич. Он тоже решил три из шести задач. Но с меньшим, чем у основных соперников штрафом.

— Этот чемпионат требовал большой скорости в решении, — сказал после награждения победитель. — В принципе я доволен результатами, хотя мог бы выступить лучше, если бы был чуть быстрее. Мог бы решить четыре задачи. Главные соперники для меня всегда — именно задачи, а не другие участники…

О Геннадии «СОЮЗ» уже рассказывал. Он обратил на себя внимание специалистов еще в школьные годы. Участник и победитель многих турниров. В прошлом году поступил в Петербурге в Национальный исследовательский университет. С ним связывают надежды специалисты России и Беларуси. Сам он о своем будущем предпочитает не распространяться. Вообще не слишком словоохотлив. С алгоритмами, похоже, ему найти язык гораздо проще.

Хронология алгоритмов Яндекса

Методика Яндекса по определению релевантности контента запросам пользователей претерпела многочисленные изменения со времени появления компании в 1997 году. Постоянно разрабатывались новые, усовершенствованные формулы ранжирования, но общественности эта внутренняя работа стала видна только с 2007 года. Тогда же алгоритмам стали присваиваться названия. Главные особенности каждого из них мы рассмотрим в краткой хронологии за последние десять лет.

«Версия 7» (02.07.07)

Обновлённый алгоритм с повышенным числом факторов был анонсирован только на специализированном форуме для вебмастеров.

«Версия 8» (20.12.07) и «Восьмерка SP1» (17.01.08)

Авторитетные сайты стали пользоваться преимуществом в ранжировании, появился фильтр для борьбы с накруткой ссылочных факторов.

«Магадан» (16.05.08) и «Магадан 2.0» (02.07.08)

Первые «именные» алгоритмы. Сначала увеличилось количество классификаторов веб-страниц и ссылок, модернизировалась база аббревиатур, в два раза возросло число факторов ранжирования, смягчилась фильтрация отбора документов, затем появились новые факторы для проверки уникальности контента и классификаторы коммерческих и геозапросов.

«Находка» (11.09.08)

Новый алгоритм стал учитывать стоп-слова в запросах. Также расширились словари Яндекса вследствие автообработки «оболочки» текста, модернизировалось машинное обучение.

«Арзамас»/«Анадырь» (10.04.09)

Самым важным нововведением стала зависимость характера выдачи от региона местонахождения пользователя, задавшего поисковый запрос. Также произошло снятие омонимии, улучшилась обработка многословных запросов. Впоследствии алгоритм получил несколько органических продолжений:

«Арзамас 1.1» (24.06.09)– доработана формула для ряда регионов России;
«Арзамас 1.2» (20.08.09)– стала учитываться геозависимость запросов;
«Арзамас+16» (31.08.09) – дополнение 16-ю регионами для геозависимых запросов;
«Арзамас 1.5» (23.09.09)– улучшенная общая формула для геонезависимых запросов и региональных запросов, где не применяется локализованный рейтинг;
«Арзамас 1.5 SP1» (28.09.09)– заработала дополненная формула регионального поиска.

«Снежинск» (17.11.09)

Алгоритм был поставлен на платформу самообучающейся системы MatrixNet. Было добавлено несколько тысяч новых параметров ранжирования, проработана локальная выдача для девятнадцати российских регионов.

«Конаково» (22.12.09) и «Конаково 1.1» (10.03.10)

На 1250 российских городов расширилась база регионального ранжирования, затем обновилась формула для геонезависимых запросов. В выдаче хорошо поднялись некоммерческие информационные ресурсы.

«Обнинск» (13.09.10)

Алгоритм с перенастроенной формулой, повышенной производительностью, улучшенной обработкой геонезависимых запросов, ограниченным влиянием на рейтинг искусственных ссылок.

«Краснодар» (15.12.10)

В основу алгоритма была заложена поисковая технология «Спектр», которая помогла более чётко распознавать различные значения слов в запросах пользователей и разнообразить выдачу. Также улучшилась локализация геозависимых запросов.

«Рейкьявик» (17.08.11)

Алгоритм стал учитывать языковые предпочтения пользователей, выдавать два варианта ответов – с исправленной опечаткой в запросе и неизменный, и заложил основы персонализированной выдачи.

«Калининград» (12.12.12)

Произошла глобальная персонализация выдачи: возникли поисковые подсказки, избранные сайты стали выдаваться как наиболее релевантные. В продвижении сайтов стали комплексно учитываться множество факторов: качество контента и ссылочного профиля, юзабилити сайта, социальные сигналы и других.

«Дублин» (30.05.13)

Продолжалась и совершенствовалась персонализация поиска. Система стала подстраиваться под интересы пользователя прямо в процессе текущей поисковой сессии.

«Без ссылок» (12.03.14)

Было отменено несколько ссылочных факторов ранжирования по ряду коммерческих запросов в Москве (в сфере недвижимости, туризма, электроники и бытовой техники).

«Острова» (05.06.14)

Произошло обновление дизайна поисковой выдачи с помощью интерактивных ответов прямо на странице с результатами поиска. Позже этот эксперимент признали неудачным и свернули.

«Объектный ответ» (01.04.15)

Изменился внешний вид страницы с результатами поиска. Справа от результатов Яндекс стал показывать карточку запрашиваемого объекта с основной информацией, а также классифицировал в базу множество объектов поиска.

«Минусинск» (15.05.15)

Алгоритм понизил в рейтинге сайты с избытком искусственных ссылок в ссылочном профиле. В работах по продвижению Яндекс рекомендовал уделить внимание качеству контента и проработанности дизайна сайта.

«Многорукие бандиты Яндекса» (14.09.15 ± 3 месяца)

«Бандиты» рандомизировали поисковую выдачу, добавив в неё «молодые» ресурсы. Рандомизация проводилась для выявления дополнительных поведенческих особенностей.

«Владивосток» (02.02.16)

Алгоритм стал учитывать адаптированность сайта к мобильным устройствам. Более высокий рейтинг стали получать ресурсы, наиболее приспособленные для мобильного просмотра.

«Палех» (02.11.16)

С помощью нейронных сетей поиск стал производиться не формально по словам, а по смыслу запроса и Title, т.е. заголовку страницы. Целью этого алгоритма стал качественный поиск по редким запросам (например, заданный в естественном разговорном формате).

«Баден-Баден» (23.03.17)

Алгоритм с рядом дополнительных факторов, отвечающих за определение переоптимизированного контента и понижающий его ранжирование в выдаче.

«Королёв» (22.08.17)

Логическое продолжение «Палеха». С помощью технологии искусственного интеллекта алгоритм научился сопоставлять интенты на сайте и смысл запроса. В отличие от своего предшественника, «Королёв» анализировал не только Title, но и весь контент страницы.

«Андромеда» (19.11.18)

Новейший алгоритм с рядом нововведений, большая часть которых относится к отображению на странице выдачи различных колдунщиков и Яндекс-сервисов. Улучшены функции «быстрых ответов», появились метки на страницах («Популярный сайт», «Выбор пользователей» и т.п.). В основе «Андромеды» – новая метрика качества поиска Proxima. Она нацелена на максимально быстрый поиск релевантного ответа прямо в поисковой выдаче и учитывает множество аспектов: вероятность решения поставленной пользователем задачи на конкретной странице; лояльность пользователей; баланс релевантного и рекламного контента; индекс попарного сравнения сайта с аналогами. Proxima быстро обучается на основе разнообразных запросов, и качество ранжирования также растёт.

«Вега» (17.12.19)

Обновление нацелено на повышение скорости и улучшение качества поисковой выдачи. «Вега» учится искать ответы на запросы в заранее сформированных смысловых кластерах, использует технологию пререндеринга для мгновенной выдачи результатов, применяет гиперлокальность для поиска ближайших релевантных объектов с точностью до определённого дома. Основным показателем качества ранжируемой страницы становится оценка асессора – эксперта в определённой профессиональной сфере.

Новый поиск в Яндекс — алгоритм Вега

Поиск в Интернете меняется. Если несколько лет назад безоговорочным лидером Рунета считался Яндекс, то по итогам этого года российский поисковик занимает чуть больше половины рынка, а именно 50,4%. Google, пока еще, не получил вторую половину сегмента русскоговорящих пользователей Сети. Чуть более 46% пользователей Рунета отдают предпочтение американскому сервису. Но показатели год от года растут, а в мобильном секторе, лидерство уже за Google. Незначительная часть поискового трафика за mail.ru и Bing – поиск, по умолчанию идущий в комплекте с Win10.

Меняется не только картина по распределению интересов посетителей поисковых систем, алгоритмы постоянно, хотелось бы сказать, совершенствуются, но результаты модификаций не всегда очевидны, посему будет более уместным использовать термин «изменения поисковых алгоритмов». Недавно Google сообщил о новом алгоритме, и вот Яндекс объявил о глобальном обновлении «Вега». Что изменится в поиске сейчас и как это отразится на тех, для кого продвижение сайтов является основным источником заработка?

Прежде всего, Яндекс анонсировал более «точные и быстрые» ответы на запросы пользователя за счет внедрения более полутора тысяч улучшений, как разрабатываемых непосредственно для «Веги», так и добавленных в поиск за последний год. Задача решалась, как и с развитием технологий искусственного интеллекта, так и с учетом «ручной настройки» (если так можно выразиться), используя сигналы экспертов асессоров при калибровке алгоритма и машинного обучения. Теперь пользователи смогут находить ответы на свои вопросы, по утверждению представителей компании, «в конкретном микрорайоне, квартале или даже доме».

Основные изменения:

Повышение качества поиска

Яндекс научился составлять поисковую базу с помощью нейросетей — они распределяют документы из базы по «смысловым кластерам». Такой подход даёт выигрыш во времени и вычислительных ресурсах. За счёт высвобождения ресурсов поисковую базу удалось увеличить вдвое. Теперь поиск находит даже страницы, которые могут потребоваться людям 1–2 раза в год.

Мгновенные ответы

В мобильном поиске появилась технология предварительной загрузки результатов поиска (пререндеринг). Она угадывает, каким будет полный текст запроса, в момент, когда человек только набирает первые слова. Технология позволяет сформировать результаты поиска заранее и мгновенно показать их пользователю, когда он нажмёт кнопку «Найти». Это экономит время, особенно при медленном Интернете.

Экспертный поиск

Яндекс внедрил новый алгоритм ранжирования и обзавёлся асессорами-экспертами. Каждый такой асессор — профессионал в той или иной области. Например, асессор-гидролог понимает, как объяснить процесс [образования двухэтажных рек], и может квалифицированно оценить, насколько хорошо веб-страницы отвечают на запросы на эту тему. Вердикты асессоров-экспертов — ключевой сигнал для обучения нового алгоритма. Также Яндекс запускает сервис Кью, где учёные, профессионалы и просто разбирающиеся люди отвечают на вопросы пользователей. Оценки асессоров-экспертов и объяснения от специалистов из Кью позволяют получить полный и понятный ответ даже на сложные запросы.

Гиперлоальность

Яндекс обновил сервисы Район и Услуги. В Районе появились чаты, где могут общаться жители одного и того же дома, а Услуги научились показывать предложения услуг на карте. Теперь к Яндексу можно обращаться с задачами, которые раньше решались в основном в офлайне: от поиска сбежавшего кота до вызова на дом сантехника, готового приехать в течение получаса.

Оценить эти нововведения предстоит пользователям, но претензии к Яндекс среди СЕО-специалистов уже имеются. Не стоит думать, что эти недовольства относятся непосредственно к новому алгоритму, они копились на протяжении последних лет, но претензии актуальны. Вот что можно увидеть на форумах общения веб-разработчиков…

«Настойчиво пропихивают турбо-страницы, не ограничиваясь информационниками там где надо и там где не надо».

«Загоняет в турбо, убивая поиск в целом».

Чем же так плохи турбостраницы?

Предположим, что у Вас есть сайт. Он грамотно разработан, на сайте имеется полезный контент, затрачены средства на рекламу, продвижение проекта… Яндекс, действительно, настойчиво предлагает веб-мастерам создать турбостраницу для, якобы, удобства пользователям, для выдачи по поисковым запросам на приоритетных местах и так далее… На деле же, турбостраницы – это, как бы поддомен Яндекс., Адреса любых страниц начинаются с yandex/ваш_сайт. В итоге, поведенческие факторы, о важности которых так любят рассуждать сотрудники компании, влияние могут оказать только для сайта, доменное имя которого начинается с yandex/…

как работает поисковый алгоритм Яндекса

«Королёв» – это алгоритм поисковой системы Яндекс, на котором основана новая версия поиска. Запущен в августе 2017 года. Является логическим продолжением алгоритма «Палех». Нейронная сеть, обучаемая по поисковой статистике, поведению пользователей, сопоставляет смысл, суть запроса и веб-страниц, что позволяет лучше отвечать на сложные запросы.

Принцип работы

Поисковый алгоритм «Королёв», в отличие от созданного ранее «Палеха», анализирует не только тайтл, а всю страницу целиком. Определение смысла проходит одновременно с индексацией, что существенно увеличивает скорость и количество обрабатываемых страниц.

Чтобы пользователь получал ответ, используются несколько этапов. На каждом из них документы упорядочиваются, лучшие проходят в следующую стадию. С повышением уровня применяются все более тяжелые алгоритмы.

korolev1.png

Чтобы ускорить финальную стадию и увеличить объем анализируемых документов, был введен дополнительный индекс, содержащий вычисленную на этапе индексирования примерную релевантность для популярных слов и их пар из запросов пользователей. Это позволило значительно увеличить глубину – до 200 тыс. документов на запрос.

Кроме сравнения заданного вопроса со смыслом страницы, алгоритм учитывает, по каким еще запросам пользователи просматривали конкретный документ, что позволяет устанавливать дополнительные смысловые связи.

Алгоритм использует нейронную сеть, которая обучается на обезличенной статистике. Для обучения нейросети привлекаются простые пользователи. Если раньше этим занимались только сотрудники Яндекса, асессоры, то сейчас любой может принять участие в обучении строящего формулу ранжирования методу машинного обучения «Матрикснет», выполняя задания в Яндекс.Толоке.

«Королёв» затрагивает многословные запросы с уточнением смысла, а это, как правило, информационные, низко- и микрочастотные, часто заданные голосовым поиском. В качестве ответа могут быть страницы, где вообще отсутствуют некоторые употребленные в запросе слова.

korolev2.png

Сразу после запуска по многим уточняющим запросам справа от выдачи пользователям предлагалось оценить качество ответа на вопрос, указать сайт, который был более удачным.

Влияние на SEO

Наибольшее влияние поисковый алгоритм «Королёв» оказывает на информационные запросы со сложной, многословной, часто уникальной формулировкой. Однако замечено, что сайтам с вхождениями каких-то слов из запроса все-таки часто отводятся более высокие позиции.

На выдачу по типовым коммерческим запросам алгоритм «Королёв» пока практически не оказывает влияния. Однако все большее обращение Яндекса в сторону понимания смысла закономерно наводит на мысль, что это вопрос времени. Поэтому:

нужно уделять больше внимания информативности контента, его ценности и полезности для пользователя, не лить воду;
эра «тошноты» текста, точных вхождений ключевых фраз уходит в прошлое;
использование принципов LSI-копирайтинга с тематикозадающими словами, синонимами и т. д. перспективнее традиционного вписывания ключевых слов и где-то может привлечь дополнительный трафик;
нужно уделять пристальное внимание семантической разметке, чтобы помочь Яндексу правильно понять контент страниц;
важно поддерживать высокие показатели поведенческих факторов (время посещения, глубину просмотра и т. д.).

«Космическая» премьера Яндекса – не только смена структуры индекса, но и своего рода очередное напоминание, что нужно делать контент для людей, а не только для попыток манипулировать выдачей.

Yandex YATI — новый поисковой алгоритм Яндекса

С завидной постоянностью Яндекс продолжает под новый год внедрять новые алгоритмы поискового ранжирования. Анонсировав на конференции YaC-2020 алгоритм «YATI», Yandex приступил к следующему этапу развития технологии нейросетей. С новым продуктом, по заверению самого Яндекса, релевантность поиска и ранжирования стала многократно лучше и подобный прорыв сотрудники корпорации называют самым значимым за последние десять лет. YATI способен не просто найти информацию, исходя из ключевого слова, он понимает, что ищет пользователь, выводя интент запроса на новый уровень.

Общее описание алгоритма «Яти»

Новый алгоритм Яндекса «YATI» (в переводе с английского «Ещё один (очередной) трансформер с улучшениями») это прямой последователь алгоритмов «Палех»-«Королев»-«Вега», основная задача которого выстраивать взаимосвязь между ключевым запросом пользователя, его ожиданием от выдачи (интентом) и непосредственно контентом самого ресурса.

Постоянно анализируя поисковую выдачу, «Яти» самообучается и начинает сам устанавливать взаимосвязи документа и намерения человека вбивающего запрос в поиск. Он способен не только учитывать порядок фраз и контекст, но и правильно понимать смысл многозначных словосочетаний, находя в контенте наиболее важные части слов. Подобным образом работает алгоритм «BERT», появившийся годом ранее у корпорации Google. Очевидно, что Яндекс следил за работой конкурента и на основе работы Берта вносил изменения в свой продукт.

Подробнее об алгоритме Yandex Vega

Подробнее об алгоритме Google BERT

Основные преимущества YATI

Для правильного формирования результатов в поиске, алгоритмам поисковых систем, как мы говорили ранее, необходимо научиться находить связи текста со страницы веб-сайта и запросом пользователя. Иными словами, по ряду факторов алгоритм должен определять наличие или отсутствие в документе (странице) ответа (совпадения информации) на запрос юзера. Если ответ имеется, то далее определяется на сколько он релевантный. Столь сложный процесс объясняется очень просто, человек знает истинный смысл своего ключевого запроса и ему достаточно найти на странице необходимую информацию. Поисковая система же понимает только выполнение (или не выполнение) условия, заранее прописанного для неё.

Особенность YATI заключается в возможности формирования экспертной оценки, а не простого угадывания клика пользователя, как это делали предыдущие программы Яндекса. Помимо этого можно выделить другие преимущества Яндекс Яти:

Алгоритм способен обработать большой объем контента страницы, выделяя в нем ключевые фрагменты, но первостепенно он обращает внимание именно на заголовки;
Яти значительно лучше понимает интент запроса, он анализирует текст, выделяя суть;
Яти научился оценивать зависимость слов между собой, учитывать контекст и порядок; словоформ.
Лучше стало распознавание ошибок и опечаток.

Чтобы лучше понять возможности YATI давайте рассмотрим реальный пример. Раньше набирая в поисковике запрос «билеты Санкт-Петербург Москва», в выдаче мы видели сайты, где нам показывались все билеты, как в Москву, так и из Москвы. Сейчас Яндекс понимает, что мы имеем в виду только обратный билет и показывает веб-сайты релевантные запросу.

Заключение и выводы

Презентация нового алгоритма и его запуск не отменяет общих правил оптимизации веб-сайта, даже если работа YATI действительно будет составлять 50% ранжирования поиска. Для частотных запросов внедрение нового алгоритма это очень долгий и трудный процесс, плюс необходимо время на самообучение и обкатку, поэтому скорее всего изменения в ближайшее время будут только на НЧ запросах, а значит все мероприятия по качественной внутренней и внешней оптимизации остаются в силе. Упор на естественность текста, поведенческие и коммерческие факторы.

Геннадий Короткевич в пятый раз выиграл Яндекс.Алгоритм

Геннадий Короткевич, магистрант кафедры компьютерных технологий Университета ИТМО, двукратный чемпион ACM ICPC, в пятый раз стал победителем конкурса Яндекс.Алгоритм. Также он был единственным участником, выполнившим все задания конкурса.

« Поздравляем Геннадия Короткевича (туриста) с победой на Яндекс.Алгоритм », — эта фраза уже в пятый раз произносится в« Яндексе Алгоритм ». Многократный победитель различных олимпиад по программированию, Геннадий Короткевич участвует в соревнованиях Яндекса с момента их первого открытия в 2013 году. С тех пор единственный год, в котором он не выигрывал, был 2016 год.

Более 11 500 человек подали заявки на участие в Яндекс.Алгоритме этого года. Большинство из них (70%) были из России. На втором месте по количеству заявок оказалась Беларусь, за ней следуют Индия и Казахстан.На чемпионат зарегистрировались участники из 114 стран, включая США, Китай, Египет, Перу и Марокко.

В финальном туре приняли участие 24 участника из России, Беларуси, Японии, Латвии, Польши, Китая, США и Украины. Второе место занял Алексей Данилюк из Высшей школы экономики, а третье место занял Михаил Ипатов, студент МГУ, также чемпион ACM ICPC-2018.

Алгоритмический трек конкурса включал решение шести задач в 2.5 часов. Представленные решения были проверены в ходе конкурса. Участники представили свои решения в систему конкурса, как только они были готовы с помощью предоставленного программного обеспечения. Каждое решение проверялось автоматическими тестами, скрыто от участников и одинаково для всех. Решение было принято, если оно прошло все испытания.

Геннадий Короткевич уже несколько лет занимает лидирующие позиции в рейтинге программных продуктов Code Forces. Он выиграл множество российских и международных соревнований по программированию, в том числе Google Code Jam, VK Cup, Russian Code Cup, Facebook Hacker Cup и TopCoder Open.

Яндекс объявляет о крупном обновлении алгоритма

Яндекс объявил об обновлении своей поисковой системы. Обновление называется Vega. Обновление предлагает много подробностей о том, как работают современные поисковые системы.

Основные улучшения в Яндексе

Яндекс называет свое обновление Vega. В этом обновлении 1500 улучшений. Из этих улучшений Яндекс выделил два, которые, по их словам, существенно влияют на результаты поиска.

Одно из изменений добавляет в обучение алгоритму обратную связь от экспертов.Вторым изменением стала возможность удвоить размер их поискового индекса без ущерба для скорости результатов поиска.

Связано: The Ultimate Guide to Yandex SEO

Crowd Sourcing Search Result Raters

Google нанимает подрядчиков, прошедших инструктаж по оценке качества Google, для оценки результатов поиска. Яндекс полагается на свою краудсорсинговую платформу Яндекс.Толока.

Хотя это может показаться немного менее контролируемым, чем метод Google, Яндекс предоставляет рекомендации для рейтинговых агентств, чтобы повысить точность оценок.

Продолжить чтение ниже

«Люди, или« оценщики », уже давно помогают обучать наши платформы машинного обучения с помощью нашей краудсорсинговой платформы Яндекс.Толока.
Используя наши рекомендации по оценке результатов поиска, оценщики в Яндекс.Толоке выполняют задачи, которые помогают нам находить наиболее релевантные результаты по конкретным запросам ».

Человеческий вклад в обучение алгоритму

Мы знаем, что Google использует оценщиков качества для тестирования новых изменений алгоритмов.Яндекс делает то же самое. Они называют своих оценщиков Assessors, потому что они оценивают веб-результаты.

Изменение, внесенное Яндексом, заключалось в том, чтобы нанимать экспертов по определенной теме для анализа работы экспертов по оценке с целью повышения ее точности. Это означает, что обучающие данные, предоставленные алгоритму, будут лучше, поскольку они были проверены и подтверждены экспертом.

Продолжить чтение ниже

Поскольку данные обучения Яндекса просматриваются тематическими экспертами, алгоритм (предположительно) будет более точным, поскольку данные обучения улучшены.

Вот как это объяснил Яндекс:

«Мы обновили алгоритм ранжирования, добавив нейронные сети, обученные на данных, предоставленных настоящими экспертами в нескольких областях, и предоставили пользователям еще более качественные решения для поиска.
Профессионалы, оценивающие оценщиков, варьируются от ИТ-администраторов для запросов данных до гидрологов для запросов, относящихся к рекам.
Эксперты-оценщики используют более сотни критериев для оценки работы оценщиков…
Обучая наши алгоритмы машинного обучения экспертным оценкам, наша поисковая система учится ранжировать релевантную информацию выше в результатах благодаря работе высококвалифицированной группы лиц.”

Связано: Интервью с поисковой командой Яндекса

Расширение поискового индекса с помощью кластеризации

Яндекс представил очень интересный способ работы с тематически похожими веб-страницами. Вместо того, чтобы искать ответ по всему индексу, Яндекс сгруппировал веб-страницы в тематические кластеры. Утверждается, что это улучшает и ускоряет результаты поиска, позволяя поисковой системе выбирать ответ из тематически релевантных страниц.

«Наши алгоритмы используют нейронные сети для группировки страниц в кластеры на основе их сходства.Когда пользователь вводит запрос, поиск выполняется среди наиболее релевантной группы страниц, а не всего нашего индекса «.

Продолжить чтение ниже

Технология кластеризации Яндекса позволила Яндекс удвоить свой поисковый индекс, не влияя на скорость выбора веб-страницы.

Это очень интересно, потому что похоже на алгоритмы ранжирования ссылок, которые начинаются с исходных сайтов как представителей тем. Веб-страницы, которые содержат больше ссылок, считаются менее релевантными теме.Страницы, расположенные ближе к исходным текстам темы, считаются более релевантными.

Прогнозирование поисковых запросов и результатов

Интересным нововведением в Яндексе является использование алгоритмов для прогнозирования того, что будет спрашивать пользователь, и для «предварительного рендеринга» результатов по этому поисковому запросу. Хотя об этом было объявлено в контексте обновления Vega, на самом деле это было реализовано в марте 2019 г. результаты поиска, которые они ищут.

«С марта мобильные пользователи Яндекса на Android осуществляют поиск с использованием технологии предварительного рендеринга, которая предсказывает запрос пользователя и выбирает релевантные результаты, когда пользователь вводит текст».

По теме: 9 Часто задаваемые вопросы о Яндексе SEO и PPC

Поиск современной информации

Яндекс — это российская поисковая система, которая использует нейронные сети и машинное обучение. Я считаю, что хорошо разбираться в технологиях, используемых во всем мире, потому что это позволяет мне быть в курсе того, что определяет современный поиск информации (бизнес поисковых систем) сегодня.

Продолжить чтение ниже

Читайте официальное объявление об обновлении алгоритма Яндекс здесь:

https://yandex.com/company/blog/vega

Искусственный интеллект и алгоритмы машинного обучения Яндекса

Ранее в этом месяце , Google представила свой последний алгоритм искусственного интеллекта, BERT, который считается крупнейшим обновлением Google со времен RankBrain и затрагивает 10% всех поисковых запросов.

BERT — это двунаправленный кодировщик изображений с трансформаторов.Трансформаторы относятся к моделям, которые обрабатывают слова по отношению ко всем другим словам в предложении, например, ключевые слова сопоставления и синонимы.

BERT подробно освещался в Search Engine Journal как Роджер Монтти, так и Мэтт Саузерн.

Однако алгоритмы искусственного интеллекта и машинного обучения Google — не единственные, которые используются поисковыми системами по всему миру.

Машинное обучение — это общий термин, охватывающий широкий диапазон алгоритмов, которые учатся на основе наборов данных, чтобы предоставить:

Продолжить чтение ниже

Рекомендации.
Решения.
Прогнозы.

Широко используется для решения ряда задач не только поисковыми системами, но и:

Рекомендации по музыке и фильмам на стриминговых платформах.
Прогнозы использования энергии в разных штатах.

Поисковые системы используют это для обработки данных из Интернета и некоторых автономных источников в случае Яндекса, чтобы предоставить пользователям лучшие результаты поиска и удобство работы.

Читать ниже

Прошло десять лет с тех пор, как Яндекс впервые ввел машинное обучение в поиск, запустив Matrixnet.

С тех пор поисковая система продолжила улучшать свои возможности AI и ML с дальнейшими обновлениями, включая Palekh и Korolyov.

Matrixnet, 2009 г.

Matrixnet работает, принимая тысячи переменных и «факторов ранжирования» и присваивая им различные веса в зависимости от:

Местоположение пользователя.
Поисковый запрос.
Установленные намерения пользователя

Это делается для того, чтобы возвращать пользователю более релевантные и точные результаты.

Ощутимое влияние Matrixnet заключалось в том, что для более коротких запросов с множеством общих интерпретаций некоммерческий контент стал занимать более заметное место на страницах результатов поиска, чем коммерческий контент (и коммерческие веб-сайты).

Это связано с тем, что новый основной алгоритм начал учитывать домен в целом экосистему, а не отдельные страницы и их непосредственные ссылки.

В тот же период, когда Яндекс запустил Matrixnet, поисковая система также принимала меры для обеспечения лучших результатов для пользователей в зависимости от местоположения.(Для кого-то во Владивостоке нет смысла получать местные результаты для Москвы, так как это 113 часов на машине!)

Продолжить чтение Ниже

Они сделали это с помощью алгоритма Арзамас, который в том году был заменен Снежинском, и затем в 2010 году через Обинск.

Последнее позволило Яндексу лучше понять регион, в котором находится веб-сайт, даже если веб-мастера не указали регион в Инструментах для веб-мастеров Яндекса.

Это особенно повлияло на веб-сайты с дверными проемами с указанием местоположения и местным спамом с цитированием.

Палех, 2016

В 2016 году (через год после RankBrain) Яндекс представил алгоритм Палеха. Палех использовал глубокие нейронные сети, чтобы лучше понять смысл поискового запроса.

Алгоритм использует нейронные сети, чтобы увидеть связи между запросом и документом, даже если они не содержат общих слов.

Продолжить чтение ниже

Эта технология наиболее полезна для сложных запросов, таких как поиск фильмов по неточным описаниям их сюжетов.

Королев, 2017

На основе алгоритма Палеха Яндекс выпустил обновление Королева в августе 2017 года.

По словам Андрея Стыскина, руководителя поиска Яндекса:

«Королев умеет сопоставить значение запроса с смысл страниц, в отличие от того, как Палех работал только с заголовками. Он также улучшает 150 страниц, которые анализировал Палех, благодаря своей способности работать с 200 000 страниц одновременно ».

Подобно тому, как работает RankBrain, Королев становится более эффективным и точным с каждой получаемой инкрементной точкой данных, а все результаты затем передаются в основной алгоритм Matrixnet.

Продолжить чтение ниже

Одновременно с объявлением Королева Яндекс также объявил, что Matrixnet начала:

принимать во внимание данные своей краудсорсинговой платформы Toloka (представьте себе версию Amazon Mechanical Turks).
Обработка больших объемов анонимных пользовательских данных для дальнейшего улучшения и изменения наборов данных, из которых были доступны алгоритмы машинного обучения.

Королев также ввел понятие семантических (контекстных) векторов в поиске, что позволяет ему выполнять «анализ смысла», когда пользователь отправляет запрос.Это позволило поиску учитывать предполагаемое значение всех запросов, которые привели пользователей на определенные страницы.

Объявление

Продолжить чтение ниже

Это означало, что:

На этапе индексации каждая страница была преобразована в семантические / контекстные векторы.
Новые запросы могут быть поняты быстрее и эффективнее, с более точными результатами, чтобы не создавать негативных впечатлений от поиска.

CatBoost, 2017

В 2018 году Яндекс представил преемника алгоритма машинного обучения Matrixnet — CatBoost.

По сравнению с Matrixnet, CatBoost (с открытым исходным кодом) может:

Более точные прогнозы.
Большая диверсификация результатов.
Вспомогательные переменные, которые не являются числовыми, например типы облаков, породы кошек и виды растений.

Продолжить чтение ниже

CatBoost использует технику машинного обучения, известную как повышение градиента, и обычно решает проблемы регрессии и классификации, которые визуально проявляются в виде деревьев решений.

На сегодняшний день CatBoost также используется вне поисковой системы Яндекса такими организациями, как Cloudflare и CERN.

Используется там, где требуется усиление градиента на деревьях решений с уменьшенным риском переобучения, для таких задач, как борьба с заполнением учетных данных ботами.

Оптимизация для алгоритмов искусственного интеллекта Яндекса

Алгоритмы машинного обучения Яндекса — это лишь небольшая часть обновлений, которые поисковая система внесла за эти годы для борьбы со ссылочным спамом и некачественным контентом, как и в Google.

Продолжить чтение ниже

Как и в случае с процессами RankBrain от Google (а теперь и с BERT), нет реального способа напрямую оптимизировать алгоритмы машинного обучения, поскольку они учитывают Интернет в целом.

Как всегда, важно, чтобы вы создавали контент, который повышает ценность для пользователя, соответствует цели поиска и был написан на естественном языке и для людей, а не для машин.

Дополнительные ресурсы:

Vega: новая глава для алгоритма Яндекса

Автор Анастасия Курмакаева

Несколько месяцев назад мы говорили об алгоритме искусственного интеллекта Яндекса и его развитии в последние годы с момента появления большое обновление Палеха в 2016 году.Это обновление принесло нечто грандиозное: алгоритм поисковой системы теперь использовал технологию нейронных сетей с искусственным интеллектом, чтобы возвращать результаты, которые в большей степени соответствовали поисковому намерению пользователя.

Всего за неделю до Рождества и за две недели до конца года Яндекс опубликовал подробный пост в своем корпоративном блоге, чтобы сообщить нам, что новое обновление было выпущено, следуя шагам своих ближайших предшественников. : Палех, Королев, Андромеда.Теперь очередь «Вега» .

Что нового в Vega?

Так же, как они объясняют это в своем блоге (который, кстати, также доступен на английском языке), Vega предлагает более 1500 новых улучшений, внесенных в алгоритм русской поисковой системы. Суть этого обновления можно резюмировать в четырех основных аспектах:

Поиск более высокого качества

Палех был первым шагом в долгом путешествии, направленном на адаптацию результатов поиска к , что означает поискового запроса с увеличенным точности, уделяя больше внимания пользовательскому намерению , а не простым ключевым словам.В Vega нейронные сети используются на этапе построения поисковой базы данных. Таким образом, алгоритм идентифицирует похожие документы и группирует их в кластеры, которые создаются на основе их значения задолго до того, как они будут запрошены. Затем, когда пользователь вводит поисковый запрос в Яндексе, поисковой системе не нужно сканировать всю свою базу данных в поисках ответа, но он переходит прямо в кластер (или кластеры), соответствующий значению входной запрос . Благодаря этой быстрой операции ресурсов, необходимых для обработки информации, значительно меньше, а результаты, возвращаемые Яндексом, имеют гораздо более высокое качество.

Мгновенные результаты

Исходя из предыдущего пункта, чем меньше ресурсов требуется поисковой системе, чтобы возвращать более точные результаты по запросу пользователя, тем быстрее она работает . Мало того: еще одна новая функция в Vega заключается в загрузке результатов до того, как пользователь закончит вводить свой запрос, что в Яндексе называется предварительным рендерингом. Алгоритм «угадывает» по первым введенным в строку поиска терминам, каким будет полный запрос, и отображает результаты , как только пользователь нажимает «Поиск» .Эта гифка показывает, как именно она работает:

Она также содержит предложения мгновенного поиска, которые в целом напоминают нам уже не существующий Живой поиск Google.

С другой стороны, Яндекс также разработал в 2017 году собственную версию Google AMP или Baidu MIP, так называемые турбо-страницы , которые можно использовать для создания более легких версий веб-страниц, специально разработанных для мобильных устройств и более медленных. Подключение к Интернету . В 2019 году эта технология была усовершенствована.Новая документация уже доступна как разработчикам, так и владельцам веб-сайтов, но пока только на русском языке.

Ответы экспертов

В моем предыдущем посте (ссылка вверху) я кратко упомянул эту функцию, которая представила возможность получения ответов на вопросы от проверенных экспертов по широкому кругу тем. Яндекс полагается на самых разных профессионалов: историков, ученых, лингвистов, дизайнеров, спортсменов, инженеров, политологов … Теперь эти люди позволяют поисковой системе знать, какие страницы более точно отвечают на более сложные запросы (а иногда даже не такие сложные. ). Эти «эксперты-консультанты», пройдя тщательный отбор, чтобы подтвердить свою профессиональную компетентность в своей области, оценивают различные результаты , показанные для конкретных запросов. Этот фактор имеет значительно больший вес, чем другие сигналы ранжирования, используемые для обучения алгоритму способности определять, насколько высоко или низко страница должна ранжироваться в результатах .

Гиперлокация

Хотя Яндекс уже использовал местоположение, чтобы определить, откуда был сделан поисковый запрос, с локальным поиском Vega были дополнительно уточнены , чтобы узнать район, улицу и даже номер здания, из которого они приходят .Итак, если вы ищете сантехника рядом с вами, и оказывается, что он есть в здании рядом с вашим, контакт этого человека появится в качестве первого результата в Яндекс. Это подводит нас к еще одной новой функции, представленной в этом году: сервисам Яндекса. Это поможет вам найти специалистов, рекламирующих свои услуги вокруг вас. Допустим, вам нужен частный репетитор для ваших детей, и есть человек, живущий на улице или в доме рядом с вами, который зарегистрирован как таковой в Яндексе. Вы сможете связаться с ними и нанять их, чтобы они помогали вашим детям в учебе.

В 2019 году мы также увидели рождение платформы Yandex Neighborhood во всех городах России. Эта социальная сеть соединяет вас с вашими соседями, предоставляя своим пользователям чат, доски объявлений, объявления, опросы, функции публикации событий … Вы можете задать людям, живущим в вашем квартале, любой повседневный вопрос, вы также можете организовать собрание сообщества, чтобы решить по вопросам, касающимся вашего здания, спросите о возможной работе поблизости, опросите своих соседей о том, что строится на улице X или какой магазин будет открываться по соседству, и т. д.Эта социальная платформа была тепло встречена пользователями Яндекса. Однако для просмотра размещаемого на нем контента у вас должна быть зарегистрированная учетная запись. Алгоритм

Яндекс: был ли 2020 год более изменчивым, чем 2019 год?

2020 год был интересным по ряду причин, однако мы всегда задаем один вопрос:

Был ли Яндекс в прошлом году более активным с обновлениями, чем годом ранее?

Ответ TLDR: Нет, в 2019 году всплески волатильности были более значительными, чем в 2020 году.

В 2019 году было 128 дней, когда была зафиксирована значительная волатильность результатов поиска по сравнению со 113 днями в 2020 году.

При этом первая половина 2020 года была намного более нестабильной, чем первая половина 2019 года, что коррелировало с вынужденными изменениями поведения пользователей в связи с пандемией Covid, а затем, в течение года (и особенно в последнем квартале), количество волатильных дней значительно сократилось — фактически, последние три месяца года стали самым тихим кварталом для заметной волатильности результатов поисковой выдачи за последние 10 лет.

В приведенной ниже таблице показано количество дней в месяц, когда наблюдалась высокая волатильность результатов выдачи Яндекс.

	янв	фев	мар	апр	Май	июн	июл	августа	сен	окт	ноя	дек
2019	14	10	13	11	9	10	5	11	13	11	10	11
2020	13	12	13	14	10	11	12	13	8	3	3	1

Как уже упоминалось, снижение в прошлом квартале заметно.

Это также заметно при просмотре данных на графике:

Возможные обновления Яндекс 2019 (синий) по сравнению с Яндекс 2020 (красный).

Если использовать полиномиальную линию тренда, можно заметить спад к концу года.

Если бы мы включили в данные обновления оценок ICS, ничего не изменится, поскольку с ноября 2018 года обновления выходили один раз в месяц.

Яндекс объявляет об обновлении Vega для своей поисковой системы

Яндекс анонсировал существенное обновление алгоритма , которое включает до 1500 улучшений.Российская поисковая система называет это обновление Vega .

Одним из значительных изменений в обновлении является введение обратной связи с человеком в обучение алгоритму. Кроме того, техническая компания заявляет, что Vega дает возможность удвоить размер своего поискового индекса без ущерба для скорости результатов поиска.

В объявлении руководитель Поиска Яндекса, Андрей Стыскин, сказал:

«Наша цель — помочь потребителям и компаниям лучше ориентироваться в онлайн- и офлайн-мире.С этим новым обновлением поиска пользователи Рунета помогают нам в этом ».

Вот разбивка обновления Яндекса.

Как обновление Vega улучшает Яндекс

Вот четыре вещи, которые вам следует знать об обновлении Vega.

1. Добавление человеческого фактора к обучению алгоритмов

Как и Google, Яндекс также использует оценщиков качества — оценщиков — для тестирования новых изменений в алгоритмах.

Однако российская поисковая система пошла еще дальше, наняв экспертов для проверки работы оценщика на предмет повышения точности.Так что, поскольку эти эксперты подтверждают и подтверждают данные обучения Яндекса, вероятно, они будут более точными.

« Обучая наши алгоритмы машинного обучения с помощью экспертных оценок, наша поисковая система учится ранжировать релевантную информацию выше в результатах благодаря работе высококвалифицированной группы людей », — говорит Яндекс.

2. Прогнозирование поисковых запросов и предварительная обработка результатов

Яндекс сообщает, что он использовал технологию предварительного рендеринга , которая предсказывает запрос пользователя и выбирает релевантный результат поиска, пока пользователь все еще набирает текст.

Хотя компания анонсировала технологию предварительного рендеринга в контексте обновления Vega, с марта она реализовала ее на устройствах Android . Одним из значительных преимуществ этой функции является то, что она сокращает время, необходимое пользователям для поиска ответов на запрос.

3. Оценщики результатов краудсорсингового поиска

Google нанимает подрядчиков, которые знакомы с его рекомендациями оценщиков качества, для оценки результатов поиска. Яндекс, напротив, полагается на свою краудсорсинговую платформу Яндекс.Толока сделать то же самое.

По сравнению с методом Google, краудсорсинг Яндекса менее контролируем. Тем не менее, российская поисковая система предоставляет рекомендации для рейтинговых агентств для повышения точности оценок.

4. Расширение поискового индекса с помощью кластеризации

Раньше Яндекс просматривал весь индекс в поисках ответа на запрос. Ну, больше нет.

Российская поисковая система теперь группирует страницы в тематических кластеров . Таким образом, вместо того, чтобы искать ответ по всему индексу, теперь Яндекс ищет наиболее актуальные кластеры.

Благодаря этой технологии кластеризации Яндекс смог удвоить свой индекс до 200 миллиардов страниц без ущерба для скорости поиска.

Подробнее: Google Now использует модели BERT для систематизации главных новостей в поиске

Яндекс, Российская поисковая система, запускает Палехский алгоритм

Вчера Яндекс объявил, что запустил что-то похожее на Google RankBrain — ну, они этого не сказали, я.

Они запустили то, что они называют Палехом, что является названием русского города, флаг этого города — жар-птица, которую вы можете видеть на изображении выше.Почему у жар-птицы? У него длинный хвост, и этот алгоритм направлен на улучшение качества результатов для запросов с длинным хвостом.

Яндекс сообщил нам, что они обрабатывают около 100 миллионов запросов в день, подпадающих под классификацию «длинного хвоста» в их поисковой системе. Это около 40% всех запросов, выполняемых в этой поисковой системе.

Итак, они хотели улучшить результаты за счет лучшего понимания этих запросов. Яндекс сказал мне, что в основном «технология позволяет нам понимать смысл каждого запроса, а не просто искать похожие слова.»

Для этого мы начинаем использовать нейронные сети в качестве одного из 1500 факторов ранжирования — нам удалось научить наши нейронные сети видеть связи между запросом и документом, даже если они не содержат общих слов. Это стало возможным благодаря преобразованию слов из миллиардов поисковых запросов в числа (с группами по 300 в каждой) и помещению их в 300-мерное пространство — теперь каждый документ имеет свой собственный вектор в этом пространстве.