Yandex.Metrika – Key Collector

Программа поддерживает работу с сервисом Yandex.Metrika.

• Пакетный сбор фраз из отчетов по поисковым запросам

Пакетный сбор выполняет сбор фраз и статистики из отчетов по поисковым запросам.

Отчет по поисковым запросам содержит фразы, по которым посетители пришли на ваш сайт, а также сопутствующую статистику: кол-во переходов и процент отказов.

Инструмент поддерживает стандартные функции окна пакетного сбора фраз.

• Шаг 1. Авторизуйтесь в аккаунте, через который планируете собирать статистику. Аккаунт должен иметь права доступа к интересующим вас проектам и отчетам.
•  
•  
• После авторизации рядом отобразится список аккаунтов, которые доверили доступ к своей статистики для аккаунта, через который вы выполнили вход.
•  
• Шаг 2. Укажите период сбора статистики. Можно указать произвольный период или выбрать шаблон из списка.
• Шаг 3. Задайте параметры сбора.
• Шаг 4. Введите идентификаторы площадок (4), статистику которых требуется собрать. Идентификатор проекта можно подсмотреть в параметре id в адресной строке внутри проекта через браузер или нажать «Загрузить список площадок» (5) и выбрать из списка.
•  

 

Окно запуска сбора

Параметры сбора

• Режим сбора

  Программа выполняет обращения по API, передавая сервису указанный период сбора.

  API в свою очередь имеет некоторые ограничения, и при большом периоде агрегации может выдавать неполные результаты.

  Эта опция позволяет выбрать режим агрегации данных за период: средствами API — за весь период (быстрее) или средствами программы — аккумуляцией посуточных отчетов (медленнее).

  В режиме сбора за весь период сервис может выдать меньше результатов, чем доступно через панель при просмотре вручную.

  В режиме посуточной аккумуляции данных процесс может занять в десятки или сотни раз больше времени, т.к. программа будет вынуждена формировать отчеты за каждый день в отдельности для указанного периода сбора. Если процесс будет прерван, возможна частичная утрата собранных данных.

• Атрибуция трафика

  Атрибуция влияет на способ получения значения переходов для фраз в отчете при дублировании фразы в периоде.

• Фильтрация данных

  Здесь вы можете добавить условия фильтрации, которые будут учитываться самим сервисом, что позволит сократить время сбора статистики.

Настройки

• Не добавлять новые фразы

  Этот режим может быть полезен в случаях, когда вы хотите обновить статистику (переходы, отказы) для существующих ранее собранных в таблицу фраз, не добавляя при этом новые.

Интеграция 1С и Яндекс Метрика

Главная

Модули

Интеграция 1С и Яндекс Метрика

Наша компания предлагает вам отличный продукт, а именно модуль 1С яндекс метрика. Именно эта схема работает на отслеживание вашей рекламы и проверку её эффективности. Конечно вы можете нанять аналитика, и он будет предоставлять вам данные по качеству запущенной рекламы, но можно существенно сэкономить в этом вопросе и доверить задачу проверенной системе.

Что даёт яндекс метрика

Допустим вы разместили рекламу на нескольких интернет ресурсах и постепенно получаете заявки от клиентов и заказы, как понять какой вид рекламы сработал, а от которого следует отказаться в будущем? Данные яндекс метрики состоят из нескольких цифровых показателей, а именно:

1. Затраты по каждому виду рекламы отображаются в данных яндекс метрики
2. Данные о просмотрах вашего сайта
3. Количество запросов с каждого рекламного источника

Получается, что цели яндекс метрики достаточно просты, но результат такого аналитического анализа очень важен! В разрезе этих данных вы увидите какой вид рекламы наиболее эффективен в соотношении цена к качеству.

Цель работы двух программ

Теперь вы должны понять зачем модуль 1С яндекс метрика. Вы получили кучу никак не систематизированной информации, конечно в этот момент можно поручить специалисту провести анализ и выдать вам результат, при этом снова заплатив лишние деньги.

Модуль 1С яндекс метрика позволяет автоматически приведет всю накопленную информацию в наглядный вид, где станет предельно понятно от какого вида рекламы идёт максимальный процент свершившихся сделок и прибыль а какие рекламные каналы сливают бюджет.

Программа 1С упорядочит данные с каждого источника и выведет результат в отчёт, просмотрев который вы примете решение о дальнейших действиях с рекламой.

Выгода для бизнеса

Наши действия по объединению этих программ нацелены на максимальную автоматизацию вашего бизнеса и уменьшение процента ошибок в расчётах, которые практически неизбежны в работе специалиста. В итоге вы получаете из 1С то, что даёт яндекс метрика, но в качественно ином виде. С такой схемой ваши затраты на рекламу могут уменьшится, а её эффективность возрастёт в разы!

Посоветуйтесь со специалистом, как лучше решить вашу задачу!

Согласие на обработку персональных данных

Оставить заявку

Согласие на обработку персональных данных

Оставить заявку

Согласие на обработку персональных данных

Скачать презентацию

Согласен на обработку персональных данных в соответствии с политикой конфиденциальности

Ваша заявка успешно отправлена

Заполните, пожалуйста, Имя и Телефон

Политика конфиденциальности

Компания ООО «Тренд», официальный партнер фирмы 1С и сайт trend1c.com уважает ваше право и соблюдает конфиденциальность при заполнении, передачи и хранении ваших конфиденциальных сведений. Размещение заявки на сайте trend1c.com означает Ваше согласие на обработку данных и дальнейшей передачи ваших контактных данных компании ООО «Тренд».

Под персональными данными подразумевается информация, относящаяся к субъекту персональных данных, в частности фамилия, имя и отчество, дата рождения, адрес, контактные реквизиты (телефон, адрес электронной почты), семейное, имущественное положение и иные данные, относимые Федеральным законом от 27 июля 2006 года № 152-ФЗ «О персональных данных» (далее – «Закон») к категории персональных данных. Целью обработки персональных данных является оказание компанией Автоматизация бизнеса информационно-справочных услуг, а также информирование об оказываемых услугах.

В случае отзыва согласия на обработку своих персональных данных мы обязуемся удалить Ваши персональные данные в срок не позднее 3 рабочих дней. Отзыв согласия можно отправить в электронном виде по адресу: 1c@1ctrend. ru

Согласованность разметки в наборе данных

В этом посте мы поделимся своими мыслями о контроле качества в Толоке. Хотя мы планируем разработать и использовать эту информацию для упрощения настроек контроля качества для себя, мы считаем, что это положительный вклад в сообщество краудсорсинга в целом.

Речь пойдет о проектах с задачами классификации и перекрытием больше 1:

Задача классификации с перекрытием

В этих проектах инициаторы могут совмещать два показателя — точность в контрольных задачах и точность большинством голосов (или согласованность точность для краткости) — запретить мошенничество в проекте при соблюдении ограничений по бюджету контроля качества.

Бюджет контроля качества – это сумма, которая может быть оплачена за контрольные задания, которая рассчитывается исходя из соотношения контрольных заданий к основным заданиям. Чем больше контрольных заданий, тем проще точно оценить качество ответов исполнителя и насколько хорошо он понимает инструкцию. Однако чем больше контрольных задач, тем меньше ответов на главные задачи. (Для простоты мы не будем обсуждать настройки перекрытия, используемые для оптимизации общего бюджета проекта в этом посте.)

Почему лучше использовать сразу два индикатора?

Существует несколько причин, по которым мы используем два показателя для оценки контроля качества.

Во-первых, продвинутые мошенники могут «взламывать» контрольные задания: они их пропускают, но дают бесполезные ответы в основных заданиях. Если это так (при условии, что количество случаев мошенничества относительно невелико), один только контроль качества на основе согласованности может помочь поймать таких пользователей.

Во-вторых, полагаться исключительно на контроль качества, основанный на последовательности, не говорит нам, правильно ли пользователи поняли инструкции. Мы также должны отметить, что попытка измерить производительность пользователя путем увеличения количества контрольных задач может выйти за рамки бюджета, но поскольку измерение точности согласованности является «бесплатным», мы можем научиться использовать контроль согласованности вместо контрольных задач.

Как сделать контроль качества простой задачей оптимизации?

Учитывая ограниченный бюджет и потребность в наценке качества, заказчик должен определить следующие три фактора при настройке параметров контроля качества:

1. количество задач контроля (в процентах, ограниченных бюджетом контроля качества)
2. точность порог контрольных задач
3. порог точности непротиворечивости.

Мы хотим, чтобы наши заказчики могли определять эти три параметра одновременно: это максимизирует определенную метрику, используемую для оценки общего качества разметки. Что касается этой метрики, мы предлагаем использовать апостериорную рейтинговую вероятность на основе большинство голосов (или рейтинг MV) . В будущем мы будем называть этот показатель согласованность (мы не встречали этот термин ни в одной литературе по краудсорсингу, но мы думаем, что он лучше всего передает суть).

Формальное определение

Формальное определение

Следует также отметить, что эта метрика согласуется с алгоритмами расширенной модели агрегации (такими как Dawid Skene и GLAD), которые используют неизвестные параметры модели и агрегированные оценки задач для получения наиболее вероятных оценок для представленных оценок ( что совпадает с апостериорной агрегированной вероятностью оценки, основанной на выбранных параметрах и оценках исполнителя).

Непротиворечивость просто и ясно

Мы можем думать о средней согласованности набора данных как о вероятности наличия ошибок в наборе данных. Мы считаем, что это лучше подходит для оценки качества разметки в наборе данных, чем средний уровень навыков, когда каждый ответ в наборе данных был помечен (который теперь доступен в интерфейсе запрашивающей стороны).

Примеры

Чтобы сравнить, что мы можем узнать из постоянства и среднего уровня навыков, давайте рассмотрим два примера (предполагая, что процент мошенничества низкий):

Пример 1

Допустим, в нашем наборе данных много высококвалифицированных исполнителей, но ответы в задачах противоречивы. Это затрудняет выбор четкого совокупного ответа, и такая оценка может привести к плохой разметке набора данных. Например, возьмем следующий набор значений для одной задачи:

Набор значений

Несмотря на высокое среднее значение оцениваемого навыка (80), метрика непротиворечивости позволит лучше понять, содержит ли результирующая разметка какие-либо ошибки. Согласованность для задач с бинарной оценкой:

Согласованность разметки

Пример 2 Допустим, наш набор данных включает в себя множество исполнителей с более низким уровнем навыков, но их ответы остаются согласованными. Если мы выберем правильные настройки перекрытия в таком сценарии, мы сможем выбрать лучший агрегированный ответ и получить качественную разметку набора данных. Например, возьмем следующий набор значений для одной задачи:

Набор значений

Несмотря на низкое среднее значение оцениваемого навыка (60), согласованность разметки высокая:

Согласованность разметки

Мы предполагаем, что низкая средняя согласованность в проекте может быть признаком плохого контроля качества, поэтому мы хотим показать запрашивающим Толоке среднюю согласованность по всем задачам Толоки с августа

Средняя согласованность за август 2020 года

Пока что мы можем рассчитать значения согласованности только для проектов, которые используют не более 10 классов для оценки. Поскольку это среднее значение по всем основным задачам за один месяц, имеет смысл посмотреть, как эта метрика отражается на крупных проектах (имеющих не менее 100 основных задач в месяц). Вы также можете просмотреть таблицу ниже для единого образца с различными значениями согласованности для проектов с более чем 10 000 основных задач в августе:

9007 9007

Название проекта	Av. мастерство по контрольным заданиям	Av. мастерство по согласованности	Av. Согласованность
Сравнение переводов российских слов и фраз в немецкий	82.23107904	79,36405202	0,076615554
0,076615554
. Расширенный контекст. Музыкальный сценарий	78,72075213	80,44344562	0.140748306
Side-by-side, search	77.97712163	73.1589179	0.173233164
Evaluating similar images	83. 77622478	84.36309599	0.204803946
Banner moderation (checking text)	92.8 58	99.91747965	0.242403267
Нужен ли объект для запроса	83.27502816	81.16731255	0.28376269
Идентификация брендов на баннерах. GO	98.60875502	87.9095285	0.349130378
Choosing the best translation (ru->en)	80.72487178	79.68606376	0.414450987
Does the site match the request? (2 градации, мобильные)	87,55593833	88,51671078	0,462360591
Документ в порядке?	86.77184429	84.13691697	0.5240317
Assessment of collections from Yandex.Collections (v2)	89.24063768	86.74645777	0.55017285
Is this a medical site?	97. 57765935	96.9073936	0.582259962
Kişisel asistanin verdiği cevaplarin kalite değeri (new changes)	90.65194986	91.44174877	0.625294721
Count animals (including insects)	95.62296331	93.58568692	0.673175879
Identifying adult requests	97.81312319	99.23603669	0.7116
Identifying topic change in dialog	88.61013614	86.35797744	0.756580622
Сравнение новостей	91.93318368	78.66238593	0.794130113
Semantic matching phrases and queries	93.88603556	88.75220227	0.841185449
Choosing chatbot responses 3	91.12318868	90.27988835	0.865226058
Side-by -сторона, дизайн	88. 77357973	72.58320828	0.894701694
Правильный выбор 3D объекта	93,39667698	96,4265263	0,925126879

Если этот показатель низкий для вашего проекта, мы рекомендуем изменить ваш контроль качества настройки вручную (возможно, путем добавления порога точности согласованности).

Планы на будущее по применению согласованности

• Мы планируем дать рекомендации по установке порогов точности для задач контроля, точности согласованности и проценту задач контроля для достижения целевых значений согласованности в рамках определенного бюджета. Мы надеемся, что эти рекомендации сделают интерфейс настроек контроля качества более удобным для пользователей.
• В качестве подхода к созданию комбо-навыков в Толоке: учитывать качество из разных проектов, чтобы итоговое значение максимально соответствовало другим проектам.
• Используйте согласованность, чтобы оптимизировать выбор исполнителей при перекрытии.
• Учитывайте вклад каждого исполнителя и то, как он влияет на среднюю согласованность. Это позволит вам определить пользователей, которые повышают или понижают среднее значение согласованности и положительно влияют на всю платформу, а не только на отдельный проект.

Мы уверены, что за стабильностью будущее.

tcplanz/readme.md на мастере · yandex/tcplanz · GitHub

Что это за

Этот проект позволяет получить метрику производительности веб-сервера из трафика TCPDump. Это позволяет измерить такую ​​метрику, как время доставки html , которые обычно недоступны во время выполнения, и иметь второе мнение о других метриках, таких как задержка сервера .

Установка

Это не предназначено для использования непосредственно во внешнем интерфейсе, поскольку может потреблять много памяти и ЦП при анализе файлов pcap. Пожалуйста, установите на сервер разработки или рабочую станцию ​​

Перед установкой вам понадобится python (pypy предпочтительнее, потому что он быстрее справляется с такой задачей). Единственной другой зависимостью является dpkt (библиотека синтаксического анализа Python tcpdump), см. https://dpkt.readthedocs.org Если вы используете pip для установки dpkt, скажите pypy -m pip install dpkt вместо pip install dpkt , второе заклинание устанавливает dpkt для python, а не для pypy.

Как получить данные

Вы должны сделать дамп на внешний/обратный прокси/балансировщик, т.е. что-то, что удерживает tcp-соединения напрямую с пользователями

Простой способ: sudo tcpdump -w data.pcap порт 80

Способ производства:

• используйте nice -10, чтобы дать дополнительный приоритет tcpdump
• используйте опцию -B для наибольшего буфера, доступного в вашей системе. Иногда tcpdump отбрасывает некоторые пакеты, потому что диск занят
• используйте опцию -C, чтобы разделить файл на файлы разумного размера (1-10 Гб), это проще для копирования и т. д.
• используйте -z для сжатия разделенных файлов после записи, примечание: nice/ionice gzip для предотвращения вытеснения tcpdump
• дамп только нужного вам трафика, т.е. используйте фильтры «порт 80 или порт 8080»
• , если вы отлаживаете сам интерфейс, рассмотрите возможность сброса трафика как для пользователя, так и для сервера. Вы можете найти что-то интересное, сравнивая тайминги.

Разбор

 decode-pcap.py  (parse|split|sparse) <входные файлы должны иметь расширения .pcap или .pcap.gz>
   outdir - каталог, в котором будут созданы файлы http.txt и debug.txt.
   parse - просто анализировать файлы. будет использовать много памяти, потому что каждый активный сеанс хранится в памяти до закрытия.
            и у tcpdump есть много сессий, которые никогда не заканчиваются. Сессия, которая пересекала файлы tcpdump, будет сохранена.
            порядок файлов важен, т.е. лучше иметь метку времени или номер внутри имени файла. 
   split - извлекать сеансы tcp из файлов pcap, разделяя их на несколько новых файлов. Каждая сессия будет только в одном файле.
            порядок пакетов будет изменен. т.е. сессия 1 - пакеты 1..N, сессия 2 пакеты N+1..M и т.д.
            временные метки будут сохранены.
   sparse — анализировать разделенные файлы. На самом деле это то же самое, что просто запускать программы для всех файлов один за другим.
            сеансы между файлами будут разделены.
 

Примеры:

 decode-pcap.py из разбора tcpdump.pcap.gz
     (тестовый пример)
     decode-pcap.py разделенный разделенный 100Gb-dump/*.pcap.gz
     decode-pcap.py из разреженного splitted/*.pcap.gz
     (пример из реальной жизни. Если вы хотите разобрать 100 ГБ tcpdump, вам может понадобиться сопоставимый объем памяти для разделения
     операция. Сопоставимый означает 100 Гб, если все сеансы http поддерживаются и не завершаются внутри файла. И небольшой объем памяти, если все сеансы короткие.
     В реальном мире у вас смешанный трафик, поэтому будьте готовы иметь 20-30 Гб памяти для среднего крупного сервиса. 
     Если вам нужны только некоторые порты, сохраните память, исправив строку в файле decode-pcap.py.
        "ports = None #set([80,8080]) #раскомментируйте это, если вам не нужен весь трафик"
     В yandex мы использовали версию этой программы map/reduce, она использовала проприетарную реализацию map/ruduce,
     так что это бесполезно снаружи. Но я хочу портировать в Hadoop, если у вас много данных и тестовый стенд, спросите меня)
 

После парсинга останутся файлы http.txt и debug.txt

Формат вывода

Столбцы http.txt следующие:

 сервер
порт сервера
клиент
client_port
запрос - ПОЛУЧИТЬ/ПОСТАВИТЬ/ГОЛОВУ
ури
ответ - HTTP
статус - 200/301/500/и т.д.
reqid - идентификатор конкретного запроса Яндекса. Будет None в вашем случае.
request_start_time - метка времени, первый пакет запроса
request_end_time — метка времени, последний пакет запроса, обычно такой же, как и первый, если только это не большой POST-запрос.
response_start_time - метка времени, первый пакет ответа
response_end_time - метка времени, последний пакет ответа
request_start_acked - время, когда ваш сервер подтвердил первый пакет запроса
request_end_acked - время, когда ваш сервер подтвердил последний пакет запроса
response_start_acked — время, когда пользователь подтвердил доставку начала данных
response_end_acked - время, когда пользователь подтвердил доставку конца данных
request_retr - количество повторных передач в запросе
request_false_retr — не работает
request_keepalive_retr — всегда 0, мы отслеживаем повторные передачи keepalive, но они не являются частью запроса
response_retr - количество повторных передач в ответ
response_false_retr — не работает
response_keepalive_retr — всегда 0, мы отслеживаем повторные передачи keepalive, но они не являются частью ответа
request_min_rtt — разная статистика времени приема-передачи по seq/ack
request_median_rtt
request_max_rtt
response_min_rtt
response_median_rtt
response_max_rtt
req_avg_retr_time
resp_avg_retr_time
reqpackets - количество пакетов в запросе.  Обычно 1.
reqlen - длина полезной нагрузки запроса
reqreallen - длина полезной нагрузки без повторной передачи.
resppackets - количество пакетов в ответ.
resplen - длина полезной нагрузки ответа
respreallen - длина полезной нагрузки без повторной передачи.
req_user_agent — пользовательский агент. Разделить на это, чтобы различать мобильный/немобильный трафик
req_host - хост из протокола HTTP
server_as - сломан
server_24mask - не работает
client_as - не работает
client_24mask - не работает
 

Интерактивная вещь для расчета самостоятельно

 server_ack_delay = response_start_acked - время_запуска_запроса
 #if server_ack_delay>0 у вас проблемы с сетью (в случае дампа на стороне сервера)
 server_latency = время_начала_ответа - время_окончания_запроса
 #сравните со своими логами, возможно, вы удивитесь
 request_traffic_waste = reqlen/reqreallen
 # должно быть 1. Если нет, то сеть сломана.
 response_traffic_waste = респлен/респреаллен
 #будет больше 1. Это потеря пакетов для пользователей. Мониторинг для измерения эффективности сетевого подключения
 response_packets_waste = resppackets/(resplen/1450)
 #если больше 1 - ваш трафик не идеально разбит по пакетам. Обычно на границе гигантской рамы.
 response_pushthru = response_end_time - response_start_time
 #Время доставки пользователю. Обычно значительно больше, чем server_latency. Если он очень большой, вам, вероятно, понадобится CDN.
 # также можно оптимизировать, уменьшив размер html или увеличив начальный cwnd (не делайте последнее, если вы действительно не знаете, что делаете)
 total_user_wait_time = response_end_acked - request_start_time
 #реальное время начала запроса — request_start_time-rtt, реальное время последнего байта — response_end_acked-rtt.
 #rtt отрицает сам себя, если он стабилен
 Также обратите внимание, что вы можете анализировать трафик на USER и BACKEND и сравнивать его. Здесь тоже много интересной статистики. Нужно только уметь склеивать запрос - яндекс использовал для этого reqid.