Как сдать экзамены Яндекс и Google и для чего это нужно — CMS Magazine

Специалисты по интернет-рекламе, в отличие от студентов, могут выбирать — сдавать экзамены или нет. Однако у нас получение сертификатов площадок проходит красной нитью через всю карьеру сотрудников. Все, от новичков до руководителей отделов, ежегодно обновляют свои сертификаты. Это нужно не только для повышения конкурентоспособности агентства на рынке, но и для актуализации знаний самих специалистов.

Больше не нужно искать и обзванивать каждое диджитал-агентство
Создайте конкурс на workspace.ru – получите предложения от участников CMS Magazine по цене и срокам. Это бесплатно и займет 5 минут. В каталоге 15 617 диджитал-агентств, готовых вам помочь – выберите и сэкономьте до 30%.
Создать конкурс →

Для кого эти экзамены

У Яндекса и Google довольно внушительный список экзаменов, но не все из них необходимо сдавать специалисту по интернет-рекламе. Разберемся подробнее.

Яндекс

Яндекс Директ. Один из обязательных экзаменов для специалиста. Проверяет актуальность знаний об интернет-маркетинге в целом и возможностях Директа: создании, настройке и ведении кампаний, а также о построении и анализе статистики.

Яндекс Метрика. Проверяет умение использовать различные отчеты для анализа поведения посетителей сайта и оценки эффективности маркетинговых активностей. Яндекс позиционирует этот экзамен, как проверку веб-аналитиков, однако знание Метрики необходимо и специалисту по контексту, чтобы правильно оценивать результаты своей работы.

РСЯ для площадок. На первый взгляд кажется, что тест нацелен на проверку навыков работы с рекламными кампаниями в РСЯ, но это не так. Экзамен создан не для специалистов по рекламе, а для владельцев сайтов. Касается вопросов монетизации сайтов с помощью рекламы, условий и правил участия в РСЯ, технической настройки рекламных блоков и т. д.

ADFOX. Сама платформа позволяет управлять размещением рекламы на сайте. Экзамен по ADFOX включает вопросы о возможностях и настройках сервиса, рекламных местах, монетизации трафика площадок и анализе статистики. Пользователями сервиса являются специалисты по закупке трафика, владельцы сайтов и приложений, поэтому экзамен в большей степени будет полезен именно им.

Яндекс Маркет. Экзамен о правилах работы на Маркете — настройке магазина, прайс-листах и продвижении товаров. В первую очередь сертификация предназначена для специалистов сферы e-commerce, размещающих интернет-магазины на этом сервисе.

Специалисту по контексту профессионально необходимы два предложенных Яндексом теста: Директ и Метрика. Вопросы по Маркету актуальны для тех, кто с ним работает. Экзамены по РСЯ и ADFOX пригодятся лишь для расширения кругозора.

Google

Основы AdWords — базовый экзамен, включает вопросы о преимуществах интернет-рекламы, возможностях, интерфейсе и правилах размещения в Adwords, общих принципах оптимизации кампаний.

Получение сертификатов от Google логично начинать со сдачи именно этого экзамена.

«Поисковая реклама» и «Медийная реклама». Два экзамена, которые оценивают более глубокие знания по созданию, управлению, оценке эффективности и оптимизации кампаний на поиске и в КМС. Определенно must have для спецов.

Мобильная реклама. Тест содержит вопросы о мобильной рекламе и продвижении мобильных приложений: форматах объявлений, назначении ставок, таргетинге, оценке эффективности и оптимизации мобильных кампаний. Нужен ли этот экзамен специалисту — зависит от его функционала и уровня. Например, у нас продвижением приложений занимается отдел медийной рекламы, поэтому для новичка в контексте он не обязателен, однако его нужно сдавать старшим специалистам.

Видеореклама. Оценивает умение создавать, вести и оптимизировать кампании на YouTube и других ресурсах. Необходим специалистам, которые руками работают с настройкой видеорекламы.

Также у Google есть ряд обучающих материалов и тестов о развитии своего канала, управлении контентом и монетизации.

Реклама в Google Покупках. Экзамен о создании аккаунта в Google Merchant Center и торговых кампаниях, запускаемых с помощью фида данных. Ведение таких кампаний входит в арсенал опытного специалиста по контексту, поэтому экзамен ориентирован на старших специалистов, но будет полезен и на старте карьеры.

Google Analytics. Знание аналитических инструментов является важным условием успешной работы специалиста, в связи с этим экзамен по цифровой аналитике с помощью Google Analytics — обязателен для всех, кто занимается контекстом.

Продажа цифровой рекламы. Само слово «продажа» говорит о том, что экзамен больше предназначен для аккаунт-менеджеров и других сотрудников, которые непосредственно взаимодействуют с клиентами. Охватывает базовые темы рекламы в Google и продажи их цифровых решений клиентам.

Мобильные сайты. Тест включает вопросы о мобильных сайтах, их создании, оптимизации под различные браузеры и устройства, оценке эффективности. Полезен разработчикам сайтов, аналитикам и seo-специалистам.

Итоговый список экзаменов, необходимых специалисту по интернет-рекламе, зависит от выполняемых задач и профессионального уровня сотрудника. Начать свой путь в контексте можно со сдачи некоторых из них. Например, вот базовый набор для младшего спеца по контексту в Е-Промо:

• Яндекс Директ

• Яндекс Метрика

• Основы AdWords

• Поисковая реклама

• Медийная реклама

• Google Analytics

При повышении уровня подготовки сотрудника и, соответственно, грейда в агентстве, список необходимых сертификатов расширяется.

Подготовка: Чем помогут площадки

После выбора списка экзаменов встает вопрос о подготовке, особенно у начинающих специалистов. Основные источники:

1. Справочные материалы Директа;

2. Метрики;

3. Adwords;

4. Analytics.

В этих мануалах можно найти ответы на большинство вопросов, главное уметь искать. Для успешной сдачи экзаменов не нужно перечитывать все справки. Яндекс и Google предлагают материалы непосредственно для подготовки к экзаменам:

1. Яндекс;

2. Google Adwords;

3. Google Analytics;

4. Цифровая реклама;

5. Мобильные сайты.

Эти ресурсы отсылают читателей к статьям из справок, обучающим видео и дополнительным материалам площадок, специально отобранным и сгруппированным по темам в экзамене.

Подготовка: Что искать во всемирной паутине

Закрепить и расширить свои знания, полученные при изучении «официальных» материалов для подготовки, познакомиться с вопросами и восполнить пробелы помогут дополнительные ресурсы. Где еще можно черпать полезную информацию:

Онлайн-курсы. На платформах для онлайн-обучения, например в Нетологии, можно найти курсы и вебинары по подготовке к сертификации, в том числе бесплатные. Особенно ценно то, что спикеры отвечают на вопросы слушателей и разбирают сложные и спорные вопросы, которые чаще всего вызывают сомнения у сдающих экзамены.

Готовые ответы. Я никого не призываю списывать 🙂 Готовые ответы позволяют заранее ознакомиться со списком вопросов в экзамене и дополнительно изучить темы, где вы не уверены в своих знаниях. Ответы можно искать на сайтах в письменном виде или на YouTube. Сначала откройте список, закройте ответ автора, прочитайте вопрос и подумайте, как бы вы ответили на него, и потом сверяйте.

Только так процесс станет для вас полезным. Важно помнить, что ответы из интернета почти никогда не бывают на 100% верными — думайте и перепроверяйте себя в справке, прежде чем согласиться. Не забывайте — вопросы в экзаменах довольно часто меняются, иногда можно и не найти ответов на новые, особенно бесплатно.

Перед сдачей можно пройти мини-тест Яндекса «Алгеброй гармонию проверил», который доступен на странице со всеми экзаменами. Он позволяет познакомиться с простым интерфейсом, а главное понять, в каком темпе придется отвечать на вопросы в сертификации и в каком формате будут выведены результаты. Тест рассчитан на 11 минут, вопросы задаются по русскому языку и математике, заодно проверите свои знания школьной программы 🙂

А если всё равно провал

Вы проштудировали тонну материалов, перечитали кучу ответов и все равно не сдали. Не скажу, что это нормально, но такое случается даже у опытных специалистов, ведь некоторые вопросы могут быть поняты двояко, случаются недочеты в переводе тестов на русский язык. Обратите внимание, что для успешной сдачи экзаменов Google достаточно набрать 80% правильных ответов в целом по всему тесту, а в Яндексе 80% правильных ответов по каждому из тематических блоков. Поэтому экзамены Яндекса иногда вызывают особое затруднение.

Например, в начале работы в агентстве я 2 раза сдавала экзамен по Яндекс Директу и набирала 90-100% правильных ответов по всем блокам, кроме одного. Он никак мне не давался! Приходилось читать еще и еще и пересдавать весь экзамен из-за одной проваленной темы.

Если не получилось сдать с первого раза, я бы посоветовала не откладывать пересдачу в долгий ящик, подтянуть знания в блоках, где вы не набрали проходного балла, и снова пробовать, пока свежи воспоминания. Если система позволяет повторно сдавать экзамен только через длительный промежуток времени — заведите себе новую почту и сдавайте с нее. Чем быстрее сделаете дело, тем раньше будете спокойны и довольны собой.

В конечном счёте, вряд ли кто-то сможет проверить, сами вы получили сертификат или с помощью готовых ответов, но качественная подготовка к сертификации — это еще один шанс усовершенствовать свои профессиональные навыки, узнать полезные лайфхаки и оптимизировать работу. Так что удачи на экзаменах!

ГБПОУ «СМК им. Н. Ляпиной» — Официальный сайт ГБПОУ «СМК им. Н. Ляпиной»

• Филиал «Безенчукский»

  Филиал «Безенчукский»

  Учреждение функционирует уже более 49 лет. География рабочих мест выпускников весьма обширна: они трудятся в России от Калининграда до Владивостока, в странах ближнего зарубежья: в Грузии, в Таджикистане, Азербайджане, в Украине, даже в Германии и США.
  В связи с возрастанием потребности в последипломной подготовке в октябре 1997 года было открыто отделение повышения квалификации средних медицинских работников. Образовательный процесс проводится 26 штатными преподавателями и 7 преподавателями по совместительству. В настоящее время заключен 21 договор с медицинскими учреждениями Самарской, Ульяновской, Саратовской области на прохождение студентами производственной практики.
  

  Меняется время, но остается и передается главное – подготовка высоко квалифицированных специалистов – фельдшеров и медицинских сестер в условиях рынка образовательных услуг.

• Филиал «Борский»

  Филиал «Борский»

  Филиал «Борский» (ранее Борское медицинское училище) существует с 1936 года. С этого времени выпущено более семи тысяч средних медицинских работников. Подготовка ведется по двум специальностям: «Лечебное дело», «Сестринское дело». Выпускники распределяются в медицинские учреждения города Самары и области и пользуются хорошей профессиональной репутацией и высоким спросом. На базе Филиала имеется отделение повышения квалификации, которое занимается подготовкой кадров, имеющих среднее медицинское образование, по следующим курсам: «Медицинский массаж», «Охрана здоровья сельского населения», «Сестринское дело в терапии»

• Филиал «Новокуйбышевский медицинский колледж»

  Филиал «Новокуйбышевский медицинский колледж»

  Приказом Министра здравоохранения РСФСР от 3 сентября 1963 года №274 и в соответствии с распоряжением Совета Министров от 24 августа 1963 года № 3538 было открыто Новокуйбышевское медицинское училище. Первым директором – организатором училища была Дианова Екатерина Федоровна. Большие изменения произошли в связи с назначением Петровой Людмилы Александровны на должность директора НМУ в 1990 году. Уже в первые годы её пребывания на посту училище преобразилось, приобрело новый современный облик. В 1998 году медицинское училище успешно выдержало аттестационную экспертизу качества подготовки специалистов и основных направлений деятельности. Училищу был присвоен статус колледжа. В настоящее время в колледже ведется обучение на 4 отделениях: «Сестринское дело», «Акушерское дело», «Лечебное дело», «Отделение повышения квалификации средних мед. работников». Колледж имеет высокий показатель трудоустройства своих выпускников.

• Базовое учреждение

  Самарский медицинский колледж им.Н.Ляпиной

приемная комиссия 2023

---

---

---

Система электронного обучения MOODLE

---

ГБПОУ «СМК им.

Н.Ляпиной» равняемся на будущее

---

---

Вступай в самарский батальон

---

Cпециальности

Новости

Весь список

Официальные ресурсы

AppMetrica

Универсальная платформа для атрибуции установок, аналитики приложений и маркетинга. Бесплатно и без ограничений.

• Аналитика продуктов
• Установить атрибуцию
• Push кампании
• Отчеты о сбоях и ошибках
• API

НАЧАТЬ ДЕМО-ДОСТУП

Универсальная платформа для атрибуции установок, аналитики приложений и маркетинга. Бесплатно и без ограничений.

НАЧАТЬ ДЕМО-ДОСТУП

Аналитика продуктов

Используйте подробные отчеты об удержании, гибкую настройку сегментов аудитории и глубокую поведенческую аналитику. Получайте подробные данные о местонахождении пользователей и технической среде.

Подробнее

Атрибуция установок

Отслеживайте влияние каждой установки и оценивайте вовлеченность с помощью детализированных когортных отчетов. Управляйте политикой атрибуции и получайте информацию об аудитории от ваших рекламных партнеров.

Подробнее

Push-кампании

Отправляйте push-уведомления искушенным сегментам пользователей, гибко настраивайте время и проводите A/B-тестирование своих кампаний. Количество push-уведомлений не ограничено.

Подробнее

Отчеты о сбоях и ошибках

Интуитивно понятные отчеты о сбоях и ошибках для разработчиков и группы разработчиков.

Подробнее

Экспортируйте необработанные данные без выборки за любой период, получайте настраиваемые комбинации показателей и параметров, создавайте собственные информационные панели и с легкостью управляйте всеми своими приложениями.

Подробнее

меню

Больше не нужно жонглировать дюжиной различных трекеров, инструментов аналитики продуктов, служб push-уведомлений и решений для отчетов о сбоях. Анализируйте всю статистику своего приложения в одном месте и мгновенно действуйте на ее основе, чтобы повысить эффективность бизнеса — без необходимости создавать набор данных.

AppMetrica позволяет получать необработанные данные вашего приложения за любой период через API и управлять ими любым удобным для вас способом. Интегрируйте его в свою CRM, систему бизнес-аналитики или индивидуальное аналитическое решение или отправьте данные своему рекламному партнеру, чтобы использовать их для ремаркетинга.

AppMetrica будет собирать все данные, отправленные вашим приложением, независимо от их количества. Без выборки или ограничений на время хранения данных. Узнать больше.

Мы никогда не продаем и не передаем ваши данные третьим лицам. Ознакомьтесь с нашей политикой в ​​отношении данных.

Данные вашего приложения собираются и обрабатываются в отчеты в режиме реального времени. Откройте для себя технологию AppMetrica.

150+

миллиардов событий
обрабатывается ежедневно

600+

миллионов устройств
покрыто

200+

интегрированная реклама
сети

7 Зарегистрируйте свое приложение в AppMetrica.

Интегрируйте AppMetrica SDK в свое приложение.

Ознакомьтесь с нашими примерами приложений, плагинов и SDK на GitHub.

Оценка лучших показателей тестирования AB для поиска

Оценка эффективности поисковой системы или, в более широком смысле, онлайн-системы может быть сложной. По этой причине важно выбрать самые надежные и надежные показатели A/B-тестирования. Онлайн-системы постоянно меняются — контент постоянно меняется, а онлайн-пользователи ищут информацию и ведут себя непредсказуемым образом. Кроме того, компании постоянно обновляют свои системы и адаптируются к новым вариантам использования. Помимо поиска, это касается и других онлайн-систем, таких как рекомендательные системы и боты-вопросы-ответы.

Этот пост в блоге посвящен демистификации показателей A/B-тестирования, которые измеряют эффективность онлайн-поиска. Вы узнаете, как оценить надежность метрики и какие факторы учитывать при измерении успешности A/B-тестирования. Мы рассмотрим несколько популярных показателей — увеличение дохода, коэффициент конверсии (CR или CVR), и рейтинг кликов (CTR) — и сравним их положительные и отрицательные стороны. Это должно помочь вам решить, какая метрика или комбинация метрик лучше всего подходят для вашего типа тестирования и конкретных случаев использования.

Выбор лучших показателей A/B-тестирования для измерения качества вашей поисковой системы

Вы можете измерить качество поисковой системы двумя способами: количественно и качественно. Количественная оценка рассматривает такие показатели, как скорость и пропускная способность. Очень важно обеспечить быстрый поиск с высокой пропускной способностью. Однако ваша оценка не должна ограничиваться количественными показателями.

В этой статье мы сосредоточимся на качественной оценке, которая менее проста, чем количественная. Когда вы слышите, как люди говорят о качестве поисковой системы, они часто имеют в виду релевантность. Однако что такое релевантность? В качестве исходного определения релевантность включает в себя две части: поиск совпадающих записей и упорядочивание (или ранжирование ) таким образом, чтобы сначала отображались наилучшие совпадения. Но значение релевантности поиска идет глубже, включая другие методы ранжирования, такие как популярность и более высокие рейтинги, отображение результатов определенным образом (хороший пользовательский интерфейс/UX), персонализация и рекомендации результатов, а также мерчандайзинг.

Как можно оценить и оценить качество релевантности, даже если оно имеет разные значения?

Как субъективность релевантности затрудняет измерение поиска

Многие бизнес-роли заинтересованы в поиске, и многие из них, такие как менеджеры по продуктам, эксперты по поисковым системам и маркетологи, имеют разные представления о том, что составляет хорошую релевантность. Мы можем видеть это в предложении Text REtrieval Conference (TREC). TREC предлагает тест, в котором используются различные методы поиска, что указывает на то, что оценочный тест является одновременно плотным и сложным. Для оценки релевантности пар запрос-документ требуется несколько судей. Эта множественность суждений указывает на то, что у пользователей разные ожидания и предпочтения в отношении одного и того же запроса. Затем суждения разумно агрегируются для создания эталона.

Таким образом, хотя судье может быть легко провести различие между чем-то явно относящимся к делу и чем-то не относящимся к теме, ему труднее сравнить несколько релевантные документы.

По этой причине мы обычно определяем показатели A/B-тестирования, которые, как мы надеемся, отражают измеримую релевантность. Но определение таких показателей может быть сложным.

Представьте, что генеральный директор компании, занимающейся электронной торговлей, хочет, чтобы его технология поиска по сайту приносила больше чистого дохода. Это звучит как разумное определение метрики релевантности: поисковая система, которая приносит больше дохода, — это та, которая лучше реагирует на потребности клиентов. Поэтому команда инженеров начинает отслеживать этот показатель. Он отмечает значительный рост продаж в тот день, когда компания выпускает новую версию программного обеспечения. Команда приходит к выводу, что за увеличение отвечает обновленное программное обеспечение.

Однако неделю спустя они наблюдают падение доходов от той же поисковой системы. После расследования они понимают, что в тот же день, когда был выпущен флагманский продукт, в каталог был добавлен флагманский продукт, и именно событие и фактически привело к увеличению доходов в течение недели, после чего уровни продаж вернулись к норме.

Как вы увидите, подобные ошибочные или вводящие в заблуждение выводы можно смягчить с помощью направленности и чувствительности, , которые, по сути, гарантируют, что различные показатели A/B-тестирования будут правильно взвешены.

Оценка метрик A/B-тестирования с учетом направленности и чувствительности

Исследователи Яндекс Research, организации, изучающей машинное обучение в рамках ведущей российской поисковой системы в Интернете, Яндекс, подробно рассмотрели концепции направленности и чувствительности в этом учебном пособии на конференции 2019 Конференция Специальной группы по поиску информации (SIGIR). Что касается направленности, они сказали, что «хорошая метрика должна иметь четкую направленную интерпретацию».

Приведенный выше сценарий дохода является хорошим примером направленности: рост дохода является направленным, поскольку рост дохода от электронной торговли всегда хорошо, а снижение дохода всегда плохо. Но метрика «увеличение доходов» не обладает достаточной чувствительностью. Яндекс определяет чувствительность метрики как «способность метрики обнаруживать статистически значимую разницу при наличии лечебного эффекта».

Мы можем использовать чувствительную метрику для обнаружения наименьших изменений, внесенных в процесс поиска. Таким образом, несмотря на то, что увеличение дохода обеспечивает четкую интерпретацию (направленность), эта интерпретация вряд ли сильно изменится по мере того, как вы тестируете новые возможности поиска. Для точного тестирования повышения доходов могут потребоваться годы усилий, потому что статистические тесты медленно достигают значимости. Если вы запускаете A/B-тестирование для отслеживания дохода, генерируемого двумя системами, вам может потребоваться провести его в течение нескольких месяцев, прежде чем вы будете уверены в положительном или отрицательном влиянии итерации. Хотя это может быть нормально в некоторых ситуациях мониторинга (например, при выпуске радикально новой системы ранжирования, влияние которой может потребовать изучения в более широком масштабе), это невозможно для каждой итерации. Вы просто добавили бы сложности, выполняя слишком много тестов одновременно в течение нескольких месяцев.

Имея это в виду, общий подход состоит в том, чтобы получить более чувствительные метрики из направленных. Двумя наиболее часто используемыми показателями A/B-тестирования являются рейтинг кликов и коэффициент конверсии.

Две надежные высококачественные метрики A/B-тестирования сигнализируют о переходах и кликах

Коэффициент конверсии

Коэффициент конверсии аналогичен показателю увеличения дохода, поскольку в электронной торговле конверсия эквивалентна продаже. Однако подсчет количества продаж отличается от расчета дохода: более высокий доход не указывает на увеличение активности, поскольку он основан на марже, а не только на количестве продаж. Большие поля могут исказить результаты; например, одна дополнительная продажа с большой маржой может указывать на увеличение дохода. Подсчет продаж более прямолинеен и недвусмыслен, но его сила также содержит в себе слабость, как вы увидите позже.

Преимущество использования конверсии в качестве измерения заключается в том, что она рассчитывается в меньшем масштабе: поиск. Поскольку количество поисковых запросов колеблется быстрее, чем количество конверсий (клиенты совершают гораздо меньше конверсий, чем совершают поиск), отношение количества поисковых запросов к конверсиям может быстро меняться, если клиенты совершают более частые конверсии. Таким образом, преобразование может легче обнаруживать модификации системы.

Таким образом, коэффициент конверсии менее направлен, чем доход, но его можно быстро обнаружить, то есть он более чувствителен. Это свойство делает его более подходящим для A/B-тестирования, поскольку оно быстрее достигает значимости. Тем не менее, конверсия не является идеальной формой измерения, потому что она рассматривает все продажи как равные, что не дает такой же ценности для бизнеса, как увеличение дохода.

CTR

В некоторых ситуациях, особенно за пределами электронной коммерции, конверсия является недостаточной формой измерения, и ее может быть сложно реализовать. Например, кто-то, кто ищет документ, может просмотреть несколько файлов и загрузить только некоторые из них. Являются ли загрузки в качестве сигнала конверсии хорошим показателем релевантности? В этом случае CTR — более чувствительная и доступная метрика.

CTR является более точной формой измерения, чем конверсия, поскольку для изменения значения требуются только клики. Но опять же, CTR теряет некоторую направленность, потому что пользователь может пойти не туда, куда ему нужно. Щелчок обычно, но не всегда, указывает на успех. Таким образом, вы можете быстрее попытаться достичь значимости за счет еще одного набора предположений.

Клики и конверсии — это только два сигнала для конфиденциальных показателей. Вы можете определить метрики на уровне запроса, пользователя и сеанса с помощью кликов, конверсии, времени просмотра, средней суммы корзины, коэффициента возврата и времени между событиями. Все эти параметры позволяют увеличивать или уменьшать направленность и чувствительность.

Определение надежных метрик A/B-тестирования

На данный момент вы, вероятно, думаете, что нет ни бесплатного обеда, ни серебряной пули. Определенные показатели работают в одних ситуациях, но не работают в других. Как мы увидим, при планировании эксперимента следует уделять особое внимание тому, насколько другие показатели (например, «затраченное время», см. ниже) совпадают с более направленными.

В Algolia мы придерживаемся двух основных свойств, которые должны учитываться во всех метриках A/B-тестирования для повышения надежности и успеха A/B-тестирования: четко понимать, что измеряет ваша метрика и является ли она надежной и может ли быть играл. Мы подробно обсудим это ниже.

Во-первых, давайте углубимся в подводные камни CR и CTR.

Пример ошибки, связанной с коэффициентом конверсии

Предположим, что в функции поиска электронной коммерции вашей компании вы хотите продвигать товары с более высокой маржей. Вы всегда использовали коэффициент конверсии, чтобы оценить, насколько хорошо работает новая система, поэтому вы начинаете следить за этим.

 

Здесь система B отличается от системы A тем, что она повышает товары с более высокой маржей. При одинаковом количестве поисковых запросов система А лучше с точки зрения конверсии, но система Б лучше с точки зрения чистого дохода. Таким образом, использование метрики CR для оценки этих систем было бы контрпродуктивным, если бы целью было получение большего дохода за счет продвижения товаров с более высокой маржой.

Допустим, через неделю вы заметили, что система B имеет более низкий коэффициент конверсии, чем A. Вы можете ожидать или предположить, что отображение слишком большого количества более высоких цен заставит клиентов сомневаться в том, чтобы совершить покупку, а затем купить продукт, по сравнению с с системой, которая отображает более широкий диапазон цен. Однако в конечном итоге система Б может принести больший доход. Этот пример показывает, что метрики не следует использовать вслепую, поскольку разные варианты использования требуют разных метрик. В этом сценарии мы можем сочетать CR с увеличением дохода, отслеживая коэффициент конверсии 9.0102 взвешенный с маржой статей (или маржинальной ставкой, MR).

Мы сохранили бы примерно ту же чувствительность, поскольку продолжаем полагаться на количество поисковых запросов, но мы интегрировали влияние конверсии на рост доходов бизнеса, сделав показатель более направленным.

Подводные камни рейтинга кликов

Поскольку серебряных пуль не существует, CTR также подвержен некоторым потенциальным препятствиям. Иногда более низкий CTR на самом деле означает лучшие результаты! Рассмотрим поиск по предметной области, когда поиск выполняется студентом или экспертом, изучающим предмет. Обычный вариант использования: кто-то ищет ответы на запрос типа «Я хочу знать, нужны ли лекарства 9».0102 X вызывает определенные побочные эффекты» в огромном количестве длинных документов. В этом случае ответ довольно прост, поэтому утомительный просмотр документов не нужен. По этой причине ваша команда может принять решение о создании нового решения, состоящего из информативных фрагментов с ответами (например, Google, который отображает фрагменты, когда находит ответ на вопрос).

В этой ситуации вы ожидаете, что CTR будет вниз, потому что с определенными запросами пользователям не нужно будет щелкать результаты, чтобы получить ответ. Вот почему CTR может быть менее направленным: в некоторых ситуациях падение CTR указывает на более высокую релевантность.

Таким образом, хотя в среде электронной коммерции более высокий CTR коррелирует с более высокой вовлеченностью и удовлетворенностью пользователей, в случае ответа на вопрос или в исследовании в целом вы можете использовать такой показатель, как затраченное время (TS ) между сеансами: низкий TS в исследовании, основанном на документах, указывает на то, что пользователи настолько удовлетворены опытом веб-сайта, что они немедленно вернутся, чтобы ввести другой запрос. В результате TS может быть наиболее важной метрикой для мониторинга после итерации в поисковой системе на основе документов.

Создание более надежных показателей A/B-тестирования

Мы обсудили примеры сигналов, которые вы можете комбинировать, где каждая комбинация обеспечивает большую или меньшую направленность или чувствительность. Но как решить, какая комбинация лучше?

В общем, каждая полезная метрика должна иметь два свойства:

• Направление, в котором вы ожидаете, что она будет развиваться, учитывая ваши предположения о том, как обработка, применяемая к поисковой системе, должна влиять на взаимодействие с пользователем
• Невозможность игры с метрикой

Мы обсудили первый пункт списка — направление ; давайте перейдем к игровым показателям .

Представьте себе онлайн-платформу, на которой размещается разнообразный контент от разных авторов. Допустим, у него есть механизм рекомендаций, который подталкивает контент к пользователям. Вы хотите улучшить качество этого двигателя. Потратив месяцы на разработку рекомендаций, вы выпускаете новую версию и начинаете отслеживать количество кликов с помощью CTR. Ведь клики дают вам надежный сигнал для оценки релевантности.

Однако вы можете столкнуться с проблемой кликбейта: поскольку вы не контролируете публикуемый контент, авторы могут обманывать систему, публикуя статьи с более привлекательными заголовками и изображениями, но с плохим содержанием, на которые можно кликнуть более скучно выглядящие статьи, содержащие соответствующий контент. CTR измеряет повышенную активность без учета кликбейта. Итак, ваша система рекомендаций была обыграна: повышенное количество кликов не означает, что система рекомендаций лучше.

Не только авторы могут использовать эту метрику. То же самое можно сказать и о блог-платформе: некоторые медиа-платформы случайно обыгрывают свою страницу с нулевыми результатами, возвращая самые популярные статьи независимо от того, содержит ли поиск слова, соответствующие запросу пользователя. Хотя это гарантирует, что поисковая система предоставит результаты, результаты не обязательно релевантны! Опора на синонимы или связанные запросы также снизит процент нулевых результатов без обмана.

Решение? Избегайте игр, не полагаясь на один тип метрики.

Выводы и выводы

Вздох… идеальной метрики не существует. Во многих случаях определение одной метрики A/B-тестирования просто не поможет. Например, в сценарии с рекомендацией статьи, когда вы смотрите на CTR, вам также нужно смотреть на показатель отказов: действительно ли пользователь прочитал статью?

Хорошим первым шагом является рассмотрение ваших бизнес-целей для вашей онлайн-системы и использование сильных направленных показателей, которые показывают повышение ценности бизнеса, таких как показатель увеличения дохода. Измерение ценности для бизнеса может помочь вам определить ожидаемое поведение системы при вносимых вами изменениях. Однако увеличение дохода происходит медленнее и более чувствительно, чем другие показатели.