Об обновлениях и обновлении группы таблиц Supermetrics

Для переноса данных в хранилище данных Supermetrics и места назначения облачного хранилища можно настроить операции обновления с использованием запланированных обновлений или исторической обратной засыпки. Комбинируйте их с различными типами обновлений, чтобы найти правильный тип и частоту обновления для ваших данных.

Узнайте больше об операциях обновления и типах обновлений ниже. Мы включили обзорную таблицу, которая обобщает каждый вариант.

Операции обновления

Обновление по расписанию

При настройке передачи можно указать, когда и как часто ее результаты должны обновляться с помощью операции обновления по расписанию.

Когда вы настроите эту операцию, вы определите окно обновления для каждого запроса. Окно обновления определяет, сколько дней данные будут обновляться при каждом обновлении данных. Например, окно обновления, равное 7, гарантирует, что каждый раз при выполнении переноса данные за последние 7 дней, включая сегодняшние, будут заменяться отдельно.

Историческая обратная засыпка

Историческая обратная засыпка позволяет переносить данные за определенный период в прошлом. Как только вы укажете диапазон дат, Supermetrics будет извлекать эти данные из источника по одному дню.

Максимальный исторический диапазон заполнения запроса определяется следующим:

• Ваша лицензия Supermetrics
• Политики хранения данных источника данных
  • Это также может применяться к политикам хранения для определенных полей. Например, некоторые источники данных ограничивают срок хранения полей демографических данных.

Типы обновлений

Последовательные обновления

Операции обновления Supermetrics по умолчанию будут выполнять последовательные обновления, если в запрос включен параметр «Дата». Это происходит потому, что большинство источников данных, к которым он подключается, предоставляют данные, которые можно секционировать по дате (иногда называемые «данными временных рядов»).

Последовательные обновления предоставляют диапазон дат выполнения, начиная с даты начала и заканчивая датой окончания, в очередь обработки. Данные обрабатываются в обратном хронологическом порядке, по одному дню за раз, при этом каждый день рассматривается отдельно. Это относится как к запланированным обновлениям, так и к историческим обратным засыпкам.

Различные места назначения обрабатывают этот тип обновления следующим образом:

• BigQuery : Данные за один день хранятся в виде отдельных осколков таблицы. Операции обновления перезаписывают сегмент с датами, исключая возможность появления дубликатов в наборе данных.
• Адреса хранилища данных : Запросы с последовательными обновлениями будут хранить данные в той же таблице. Supermetrics выполнит операцию DELETE и COPY INTO на основе даты, связанной с обновляемыми данными.
• Облачное хранилище (включая SFTP): Данные за каждый день хранятся в отдельном файле. Операции обновления заменят файлы в папке назначения новыми данными из Supermetrics.

Однодневные обновления моментальных снимков

Однодневные обновления моментальных снимков собирают данные из источника данных в определенный момент времени.

Они полезны, когда:

• Тип API или отчета не содержит исторических данных. Это распространено в органических социальных API при отслеживании таких показателей, как количество подписчиков или просмотры видео, которые не разбиты на ежедневные значения

Однодневные обновления моментальных снимков заменяют все данные таблицы каждый день. Таблицы в местах назначения хранилища данных будут удаляться и создаваться заново с результатами запроса каждый день, а файлы в местах назначения облачного хранилища будут полностью перезаписаны.

Обновления моментальных снимков за один день происходят, когда в запросе отсутствует измерение «Дата», но включено «Сегодня». Для успешного выполнения обновлений моментальных снимков важно, чтобы окно обновления было установлено как минимум на 2, чтобы гарантировать, что по крайней мере одна из дат выполнения равна предыдущему дню.

Моментальный снимок истории

Моментальные снимки истории запрашивают данные для доступного срока службы источника данных на основе базовых ограничений API. Узнайте больше об исторических ограничениях диапазона источников данных.

Исторические моментальные снимки полезны, когда:

• Вы хотите получить метрики жизненного цикла из заданного источника данных. Например, неагрегируемые показатели, такие как охват и частота, выигрывают от обновлений моментальных снимков.
• Данные из API не являются данными временного ряда. Это может произойти при извлечении данных из таких полей, как «Контакты», «Компании» или «Сделки», из источников управления взаимоотношениями с клиентами (CRM).

Когда «Дата выполнения» равна предыдущему дню, это инициирует обновление моментального снимка, добавляя диапазон дат начала и окончания к основному запросу. Датой начала будет максимально допустимый исторический предел, определенный базовым источником данных, а датой окончания — предыдущий день.

Исторические моментальные снимки можно получить, исключив из запроса как «Дата», так и «Сегодня». Этот тип обновления заменяет всю таблицу в вашем хранилище данных или весь файл в вашем озере данных каждый день. Исторические моментальные снимки несовместимы с засыпками. Для успешного выполнения обновлений исторических моментальных снимков важно, чтобы окно обновления было установлено как минимум на 2, чтобы гарантировать, что по крайней мере одна из дат выполнения равна предыдущему дню.

Скользящий исторический моментальный снимок

Скользящий исторический моментальный снимок разделяет результаты запроса на исторический моментальный снимок по дням и сохраняет их каждый день для исторического использования.

Они полезны, когда:

• Вы хотите отслеживать, как совокупный показатель, такой как стоимость или количество показов, изменяется с течением времени в одной таблице.
• Вам удобно обрабатывать и хранить большие объемы данных.
• Объем данных, обработанных вашим запросом, достаточно мал, чтобы его можно было выполнить в одном запросе. В зависимости от количества данных, к которым у вас есть доступ, и детализации вашего запроса вы можете столкнуться с проблемами квоты или проблемами выполнения запроса из-за размера данных.

Прокручивающиеся исторические снимки можно создать, добавив в запрос поля «Дата» и «Сегодня». Результирующий запрос будет содержать максимально допустимый объем данных из источника данных, разделенных по дате, и будет добавлен к существующей таблице в хранилище данных. Для облачных хранилищ каждый день будет создаваться новый файл. В случаях, когда максимальный объем данных не указан источником данных, используется значение по умолчанию 730 дней.

Для успешного выполнения последовательных обновлений моментальных снимков важно, чтобы окно обновления было установлено как минимум на 2, чтобы гарантировать, что по крайней мере одна из дат выполнения совпадает с предыдущим днем. Как и обновления исторических моментальных снимков, скользящие исторические моментальные снимки несовместимы с историческими обратными засыпками.

Обзор типов обновлений

9023 0 Максимум, разрешенный источником данных

	Скользящие обновления	Моментальный снимок за один день 90 109	Исторический моментальный снимок	Прокручивающийся исторический снимок
Описание	Индивидуальное обновление данных каждый день	Делает снимок вчерашнего дня s data	Делает снимок всех доступных данных	Захват и добавление моментального снимка всех доступных данных
Метрики	Агрегируемые, зависящие от даты метрики (клики, стоимость, показы)	Независящие от даты, неагрегируемые метрики (Подписчики, лайки)	Зависящие от даты, неагрегируемые, (охват, частота, уникальные пользователи)	Агрегируемые, зависящие от даты показатели (клики, стоимость, показы)
Требуемые измерения времени	Дата	Сегодня	—	Дата + Сегодня
Окно обновления (дни)	2 до 30	2	2 901 09	2
Поддержка исторических закладок	Да	Нет	Нет	Нет
Накопление истории данных	Да	Нет	Нет	Да
Дата исполнения	Все дни	Вчера	Вчера	Вчера
Начало диапазона дат запроса	Дата выполнения	Вчера	Максимум, разрешенный источником данных
Конец диапазона дат запроса	Дата выполнения	Вчера	Вчера	Вчера

Кража данных? Батарея разряжается? Кампания против VPN охватила российские соцсети

Десять лет назад российское правительство заблокировало 261 веб-сайт. В прошлом году это число превысило 70 000, 90 252 активисты движения за свободу Интернета говорят 90 043, в то время как более 5 400 сайтов 90 252 были заблокированы 90 043 с тех пор, как Россия начала массированное вторжение в Украину в конце февраля.

В ответ на это все больше россиян обращаются к VPN — виртуальным частным сетям, которые маскируют местонахождение интернет-пользователей и позволяют им просматривать заблокированные веб-сайты. По данным The Times of London, 24 миллиона россиян — около четверти всех взрослых пользователей Интернета — использовала VPN в мае, по сравнению с 1,6 миллиона до вторжения.

Служба маркетинговых исследований AppMagic сообщила, что только за первые три недели июля россияне загрузили VPN более 12 миллионов раз.

Президент Владимир Путин в прошлом заявлял, что прямые запреты — не лучший способ ограничить использование Интернета, говоря, что государство должно быть умнее и хитрее для достижения своих целей, а его правительство неохотно прямо запрещает VPN, опасаясь оттолкнуть многих россиян, которые используют их для доступа к западным социальным сетям и другим сайтам в развлекательных целях.

Закон 2017 года объявил незаконным предоставление VPN доступа к заблокированным сайтам, но наложил на компании, предоставляющие услуги VPN, обязанность соблюдать требования, которую они в значительной степени игнорируют. Однако правительство заблокировало более 20 отдельных VPN .

Президент России Владимир Путин (архивное фото)

Теперь, говорят активисты, запущена инициатива мягкой силы, чтобы отпугнуть россиян от VPN и вернуть их к подконтрольным правительству информационным ресурсам.

«Если вы, как и я, скачали VPN после всей этой шумихи, поздравляю вас с тем, что вы облажались», — написал блогер Батя-Года, у которого около 46 000 подписчиков, 6 июля в ныне удаленном посте в социальных сетях . «Я был счастлив около 20 минут, используя все свои любимые приложения. Но потом все развалилось — ничего не работает, другие приложения зависают, батарея садится как сумасшедшая, доступ в Интернет замедляется. Мой друг из ИТ сказал, что виртуальные частные сети, особенно бесплатные, продают пользовательские данные».

Батя-Года назвал VPN «проблемой 2022 года».

Десятки подобных постов с осуждением VPN заполонили популярную социальную сеть «ВКонтакте» и другие, в том числе посты местных чиновников.

Никита Данюк, академик и член Общественной палаты при правительстве, в этом месяце цитировали многочисленные прокремлевские СМИ, предупреждая об опасности кражи данных и осуждая VPN как «серых кардиналов преступного мира».

«Россияне должны понимать, что данные, которые забирают VPN, не остаются в России и могут попасть в разные руки, в том числе в мошеннические колл-центры, шпионские агентства и так далее», — Данюку было 9 лет.0252 цитируется как .

20 июля прокремлевский сайт «Газета.ру» процитировал Артема Геллера , технического советника Совета Федерации и ведущего дизайнера президентского сайта «Кремль.ру», который утверждал, что США финансируют бесплатные VPN-сервисы с целью получения «доступа к данным пользователей в других странах» и оказания «идеологического влияния» на интернет-пользователей за рубежом.

Геллер, похоже, имеет в виду Open Technology Fund (OTF), некоммерческую американскую организацию, получающую грант от Агентства США по глобальным СМИ (USAGM), которое также курирует RFE/RL и другие международные вещательные компании США. Согласно его веб-сайту, OTF

поддерживает расширенный доступ к Интернету , «включая инструменты для обхода блокировок веб-сайтов, отключения соединения и повсеместной цензуры».

СМОТРИТЕ ТАКЖЕ:

Запрещенный в ЕС, может ли российский RT найти пристанище в Сербии?

Согласно отчету Reuters в июне, OTF предоставила несколько миллионов долларов трем VPN-компаниям после вторжения 24 февраля в Украину.

Президент OTF Лаура Каннингем заявила, что поддержка необходима, потому что «российское правительство пытается подвергнуть цензуре то, что их граждане могут видеть и говорить в Интернете, чтобы скрыть правду и заставить замолчать инакомыслие».

Российские активисты за свободу информации скептически относятся к мотивам того, что, по их словам, является организованной кампанией запугивания против VPN.