Модератор — это… Что такое Модератор?

Модера́тор (от лат. moderor — умеряю, сдерживаю) — пользователь, имеющий более широкие права по сравнению с обыкновенными пользователями на общественных сетевых ресурсах (чатах, форумах, эхоконференциях), в частности хотя бы одно из прав:

• право удалять чужие сообщения;
• право редактировать чужие сообщения;
• право удалять страницы пользователей;
• ограничивать пользователей в правах редактирования и просмотра сайта (банить).

Точный перечень полномочий и обязанностей модератора на каждом сайте свой. Чаще всего модератор отвечает за соблюдение пользователями правил сайта.

Типы модерации

Модерация может осуществляться несколькими способами:

• Премодерация — осуществление контроля контента перед публикацией. Публикуемое сообщение от пользователей ресурса попадает сначала к модератору, проверяется, возможно исправляется пунктуация и орфография, оформляется надлежащим образом и дополняется, и только потом публикуется либо отклоняется. Такой тип модерации распространён на официальных ресурсах различных компаний, в тематических сетевых сообществах и пр.

• Преимущества:

содержание и качество ресурса находится под контролем;

отсутствие вандализма и «мусорной» информации — «загрязнение» ресурса возможно только благодаря наличию технических проблем, позволяющих злоумышленнику публиковать сообщения в обход модератора.

низкая оперативность — сообщения появляются во всеобщем доступе только после проверки;

субъективность — модератор может отказаться от публикации сообщения, исходя из собственного субъективного суждения о публикуемой информации либо участнике.

• Постмодерация — контроль контента осуществляется после публикации сообщений.

• Преимущества:

оперативность — все сообщения появляются сразу же после публикации.

возможность флуда, спама и вандализма;

необходимость постоянного присутствия модератора.

• Автомодерация — разновидность постмодерации, при которой контроль качества контента определяется самими участниками средствами голосования «за» или «против» того или иного сообщения, а также созданием автоматических правил и фильтров.

• Преимущества:

оперативность — все сообщения появляются сразу же после публикации;

отсутствует субъективность модератора (одного человека или группы людей).

необходимость в дополнительном программном обеспечении, позволяющем осуществлять фильтрацию и голосование;

возможность обхода автоматических правил;

возможность флешмобов — «минусование» или «плюсование» отдельных участников и сообщений.

Недостатки в работе системы модерации

• Бан учетной записи пользователя, в том числе по IP-адресам.
• Вывод в профиле пользователя информации о его нарушениях и поведении.
• Система учета нарушений пользователей, с последующим баном.
• Субъективность модерации.

Фактически, цель системы модерации — поддержание порядка на сайте и контроль за контентом (в том числе чистка ресурса от разного рода спама), а не за поведением пользователей. Но очень часто модераторы могут пренебрегать этим. Поэтому вышеуказанные функции системы модерации очень часто используются неэффективно, кроме того, вышеуказанные функции легко обойти. К примеру, в случае фиксации нарушения или наложения бана пользователь легко может зарегистрировать новую учетную запись. Поэтому ряд ресурсов используют «мягкие» правила контроля за контентом, которые зачастую более эффективны. В этом случае нарушения со стороны пользователей не фиксируются, производится только правка контента. А в случае периодических нарушений со стороны конкретного пользователя, для него вводится временная премодерация, после чего пользователь опять может свободно размещать свой контент.

Модератор форума

Модератор форума назначается администратором форума. На форуме обычно имеется больше одного модератора.

Модератор назначается на весь форум или на некоторые его разделы. В своих разделах модератор обычно имеет право:

• удалять сообщения или темы;
• редактировать любые сообщения;
• видеть IP-адреса;
• разделять тему на две или объединять две темы в одну;
• объявлять тему закрытой. Оставлять сообщения в закрытых темах могут только модераторы и администраторы;
• помечать тему как «объявление», «важную» или «прилепленную», при этом она всегда будет в начале списка тем;
• переносить тему в другие разделы.

На некоторых форумах модераторы имеют лишь часть этих прав. Но право удалять сообщения и/или темы является обязательным; тот, кто не имеет такого права, по определению не является модератором форума. На некоторых форумах видеть IP-адреса может любой пользователь.

Модератор форума (если он не является одновременно администратором) обычно не имеет права назначать других модераторов или передавать свои полномочия.

За неправомерные действия на модератора можно пожаловаться администратору, но, как правило, администраторы игнорируют жалобы или поддерживают модератора по принципу «модератор всегда прав». На администратора форума жаловаться уже некому (но можно покинуть форум и устроить ему антирекламу).

Типы модераторов

Существует два основных типа модераторов:

• Модератор
• Супер-модератор (варианты: главный модератор, глобальный модератор, куратор модерирования)

Супер-модератор — пользователь, выбираемый администратором из числа модераторов. Супер-модератор «отвечает» не за определённый раздел форума, а за весь форум. К супер-модераторам применяются гораздо более жёсткие требования, чем к обычным модераторам. Супер-модератор обязан непрерывно следить за порядком на форуме, а также применять немедленные действия к пользователям, нарушившим правила форума. Обычно на форуме несколько супер-модераторов. На некоторых сайтах супер-модератор обладает отдельными функциями администратора (например блокировка IP-адресов, перевод пользователя в группу премодерации, удаление пользователей).

Модератор эхоконференции

В фидонетовских эхоконференциях модератором становится первоначальный создатель эхоконференции; впоследствии каждый последующий модератор, как правило, публично получает полномочия от предыдущего модератора (так называемая «передача шапки»). В тех же эхоконференциях, где модератор отсутствует (немодерируемые эхоконференции), модератор может быть позднее выбран из числа подписчиков, либо (реже) назначен координатором некоторого эхобона, имеющего отношение к распространению эхи.

Модератор имеет право:

• объявлять предупреждения пользователям;
• временно или постоянно переводить пользователей в режим read only (то есть в режим только чтение, когда отправка сообщений запрещена) или вообще закрывать им доступ к эхоконференции;
• передавать свои полномочия другому модератору;
• назначать или смещать комодераторов. Комодераторы имеют те же права, что и модератор, кроме права назначения и смещения комодераторов и права передачи своих полномочий другому лицу.

На действия модератора эхоконференции пожаловаться некому («модератор всегда прав»).

Наказания в Фидонете

Во многих эхоконференциях используется формальная система учёта наказаний:

• [*] — предупреждение. Даётся за большое количество орфографических ошибок, слишком длинную подпись и прочие мелкие проступки. Три звёздочки превращаются в [+].
• [+] — строгое предупреждение. Даётся за личную переписку, разговоры не в тему и другие серьёзные нарушения регламента. Три плюса превращаются в [!].
• [!] («выключательный знак») — временный (часто 3 или 6 месяцев) или постоянный запрет на отправку сообщений. Даётся за мат и другие грубейшие нарушения правил.

Однако, все эти меры часто неэффективны, и очень часто, способствуют не наведению порядка на сайте, а проявлению излишней субъективности к пользователям. В Фидонете есть шутка, что «модератор вооружён плюсомётом».

В системе Usenet некоторые группы новостей являются модерируемыми. В эти группы новостей могут посылать сообщения только модераторы. Когда рядовой пользователь посылает сообщение, оно попадает к модератору, а он решает, пересылать его в группу новостей или нет.

Модератора назначает тот, кто создаёт группу новостей, одновременно с её созданием.

Некоторые группы новостей являются ретромодерируемыми. В этих группах новостей есть ретромодераторы, которые имеют право удалять ранее посланные туда сообщения (В данном случае речь идёт о праве, а не технической возможности. Технически, в Usenet любой пользователь может удалять любые сообщения, но, за исключением спама и ещё нескольких специальных случаев, удаление чужих сообщений запрещено).

Модератор чата

Модератор чата имеет право исключать пользователей из чата на время или попытаться исключить кого-нибудь навсегда. В некоторых чатах любое сообщение должно быть принято модератором, и лишь потом оно появляется в чате. Однако такое встречается редко.

Сетевые ресурсы, где нет модератора

На некоторых ресурсах нет человека, следящего за порядком, например:

• Нет модератора в системах, где люди общаются один на один, например в программах мгновенного обмена сообщениями, поскольку там пользователь может просто прекратить общение с неприятным ему собеседником.
• Отсутствуют модераторы в блогах (например, в Живом Журнале), поскольку в своём блоге каждый является полновластным хозяином, не нуждающимся в других модераторах. Однако в ЖЖ есть конфликтная комиссия (abuse team), которая разбирает такие случаи, как оскорбление одного пользователя в журнале другого. В ЖЖ-сообществах человек, следящий за порядком, называется не модератором, а смотрителем.
• В Википедии также отсутствуют модераторы. Ряд их функций (добавление и удаление новой информации) могут выполнять любые участники (а некоторые функции — даже анонимные участники), другие функции модераторов (поддержание порядка, удаление статей, блокировка участников) возложены на администраторов.

Ссылки по теме

dik.academic.ru

Что значит модерировать и что такое премодерация?

Ну насколько я понимаю, ключевое слово в этом вопросе «Что такое ПРЕДМОДЕРАЦИЯ Постараюсь обьяснить на примере: Вот я являюсь модератором 2 форумов, там принцип предмодерации. То есть, если кто то хочет добавить пост или открыть новую тему ( как здесь, дать ответ или задать вопрос, это тоже самое) . То этот пост приходит сначала модераторам, модератор его прочитает, и если посчитает нужным то разрешит его появление в теме, а если там мат, оскорбления, реклама, пост не по теме и проч.. . То руководствуясь Правилами Форума, ну и, конечно, здравым смыслом, запретит. А на Ответах@Mail.ru принцип постмодерации, то есть вопрос или ответ сразу появляется на Ответах, а уже потом модераторы его видят, ну и действуют согласно Правилам, либо оставляют либо удаляют.

Модера́тор (от лат. moderor — умеряю, сдерживаю) — человек, имеющий более широкие права по сравнению с обыкновенными пользователями на общественных сетевых ресурсах (чатах, форумах, эхоконференциях) , в частности хотя бы одно из двух прав: * право стирать чужие сообщения; * право редактировать чужие сообщения; Термин «модератор» отражает права, но не поведение лица, наделённого этими правами. Теоретически, модератор отвечает за соблюдение пользователями установленных норм поведения. Однако недобросовестные модераторы стирают сообщения или банят пользователей по своему произволу. Такое поведение, как правило, наказывается администрацией. Точное определение понятия «модератор» и перечень его прав зависит от сетевого ресурса.

Модерировать — значит решать, оставить на сайте какой-либо акаунт, либо удалить его. Или изменить. Модерировать может только хозяин сайта, либо люди, которым он это доверит. Модерировать — то есть ДАВАТЬ РАЗРЕШЕНИЕ.

touch.otvet.mail.ru

Построение автоматической системы модерации сообщений / Habr

Автоматические системы модерации внедряются в веб-сервисы и приложения, где необходимо обрабатывать большое количество сообщений пользователей. Такие системы позволяют сократить издержки на ручную модерацию, ускорить её и обрабатывать все сообщения пользователей в real-time. В статье поговорим про построение автоматической системы модерации для обработки английского языка с использованием алгоритмов машинного обучения. Обсудим весь пайплайн работы от исследовательских задач и выбора ML алгоритмов до выкатки в продакшен. Посмотрим, где искать готовые датасеты и как собрать данные для задачи самостоятельно.

Подготовлено совместно с Ирой Степанюк (id_step), Data Scientist в Poteha Labs

Описание задачи

Мы работаем с многопользовательскими активными чатами, где каждую минуту в один чат могут приходить короткие сообщения от десятков пользователей. Задача состоит в выделении токсичных сообщений и сообщений с любыми нецензурными высказываниями в диалогах из таких чатов. С точки зрения машинного обучения — это задача бинарной классификации, где каждое сообщение нужно отнести к одному из классов.

Для решения такой задачи в первую очередь нужно было понять, что такое токсичные сообщения и что именно делает их токсичными. Для этого мы просмотрели большое количество типичных сообщений пользователей в интернете. Приведем несколько примеров, которые мы уже разделили на токсичные сообщения и нормальные.

Видно, что токсичные сообщения часто содержат нецензурные слова, но всё же это не обязательное условие. Сообщение может не содержать недопустимых слов, но быть оскорбительным для кого-либо (пример (1)). Кроме того, иногда токсичные и нормальные сообщения содержат одни и те же слова, которые употребляются в разном контексте — оскорбительном или нет (пример (2)). Такие сообщения тоже нужно уметь различать.
Изучив разные сообщения, для нашей системы модерации мы назвали токсичными такие сообщения, которые содержат высказывания с нецензурными, оскорбительными выражениями или проявлением ненависти к кому-либо.

Данные

Открытые данные

Одним из самых известных датасетов по задаче модерации является датасет с соревнования на Kaggle Toxic Comment Classification Challenge. Часть разметки в датасете некорректна: например, сообщения с нецензурными словами могут быть отмечены как нормальные. Из-за этого нельзя просто взять Kernel соревнования и получить хорошо работающий алгоритм классификации. Нужно больше работать с данными, смотреть, каких примеров недостаточно, и добавлять дополнительные данные с такими примерами.

Помимо соревнований есть несколько научных публикаций с ссылками на подходящие датасеты (пример), однако не все можно использовать в коммерческих проектах. В основном в таких датасетах собраны сообщения из социальной сети Twitter, где можно встретить много токсичных твитов. Кроме того, данные собирают из Twitter, так как можно использовать определенные хэштеги для поиска и разметки токсичных сообщений пользователей.

Данные, собранные вручную

После того, как мы собрали датасет из открытых источников и обучили на нем базовую модель, стало понятно, что открытых данных недостаточно: не устраивает качество модели. Помимо открытых данных для решения задачи нам была доступна неразмеченная выборка сообщений из игрового мессенджера с большим количеством токсичных сообщений.

Чтобы использовать эти данные для своей задачи, их нужно было как-то разметить. На тот момент уже был обученный бейзлайн классификатор, который мы решили использовать для полуавтоматической разметки. Прогнав все сообщения через модель, мы получили вероятности токсичности каждого сообщения и отсортировали по убыванию. В начале этого списка были собраны сообщения с нецензурными и оскорбительными словами. В конце наоборот находятся нормальные сообщения пользователей. Таким образом, большую часть данных (с очень большими и очень маленькими значениями вероятности) можно было не размечать, а сразу отнести к определенному классу. Осталось разметить сообщения, которые попали в середину списка, что было сделано вручную.

Аугментация данных

Часто в датасетах можно увидеть измененные сообщения, на которых классификатор ошибается, а человек правильно понимает их смысл.
Все потому, что пользователи подстраиваются и учатся обманывать системы модерации, чтобы алгоритмы ошибались на токсичных сообщениях, а человеку смысл оставался понятен. Что пользователи делают уже сейчас:

• генерируют опечатки: you are stupid asswhole, fack you,
• заменяют буквенные символы на цифры, похожие по описанию: n1gga, b0ll0cks,
• вставляют дополнительные пробелы: i d i o t,
• удаляют пробелы между словами: dieyoustupid.

Для того, чтобы обучить классификатор устойчивый к таким подменам, нужно поступить так, как поступают пользователи: сгенерировать такие же изменения в сообщениях и добавить их в обучающую выборку к основным данным.
В целом, эта борьба неизбежна: пользователи всегда будут пытаться находить уязвимости и хаки, а модераторы реализовывать новые алгоритмы.

Описание подзадач

Перед нами стояли подзадачи по анализу сообщения в двух разных режимах:

• онлайн режим — real-time анализ сообщений, с максимальной скоростью ответа;
• офлайн режим — анализ логов сообщений и выделение токсичных диалогов.

В онлайн режиме мы обрабатываем каждое сообщение пользователей и прогоняем его через модель. Если сообщения токсичное, то скрываем его в интерфейсе чата, а если нормальное, то выводим. В таком режиме все сообщения должны обрабатываться очень быстро: модель должна выдавать ответ настолько быстро, чтобы не нарушать структуру диалога между пользователями.
В офлайн режиме ограничений по времени работы нет, и поэтому хотелось реализовать модель с максимальным качеством.

Онлайн режим. Поиск слов по словарю

Вне зависимости от того, какая модель будет выбрана дальше, мы должны находить и фильтровать сообщения с нецензурными словами. Для решения этой подзадачи проще всего составить словарь недопустимых слов и выражений, которые точно нельзя пропускать, и делать поиск таких слов в каждом сообщении. Поиск должен происходить быстро, поэтому наивный алгоритм поиска подстрок за такое то время не подходит. Подходящим алгоритмом для поиска набора слов в строке является алгоритм Ахо-Корасик. За счет такого подхода удается быстро определять некоторые токсичные примеры и блокировать сообщения еще до их передачи в основной алгоритм. Использование ML алгоритма позволит «понимать смысл» сообщений и улучшить качество классификации.

Онлайн режим. Базовая модель машинного обучения

Для базовой модели решили использовать стандартный подход для классификации текстов: TF-IDF + классический алгоритм классификации. Опять же из соображений скорости и производительности.

TF-IDF — это статистическая мера, которая позволяет определить наиболее важные слова для текста в корпусе с помощью двух параметров: частот слов в каждом документе и количества документов, содержащих определенное слово (более подробно здесь). Рассчитав для каждого слова в сообщении TF-IDF, получаем векторное представление этого сообщения.
TF-IDF можно рассчитывать для слов в тексте, а также для n-грам слов и символов. Такое расширение будет работать лучше, так как сможет обрабатывать часто встречающиеся словосочетания и слова, которых не было в обучающей выборке (out-of-vocabulary).

from sklearn.feature_extraction.text import TfidfVectorizer
from scipy import sparse
vect_word = TfidfVectorizer(max_features=10000, lowercase=True, 
  analyzer='word', min_df=8, stop_words=stop_words, ngram_range=(1,3))
vect_char = TfidfVectorizer(max_features=30000, lowercase=True,
   analyzer='char', min_df=8, ngram_range=(3,6))

x_vec_word = vect_word.fit_transform(x_train)
x_vec_char = vect_char.fit_transform(x_train)
x_vec = sparse.hstack([x_vec_word, x_vec_char])

Пример использования TF-IDF на n-грамах слов и символов

После преобразования сообщений в векторы можно использовать любой классический метод для классификации: логистическую регрессию, SVM, случайный лес, бустинг.

В нашей задаче решили использовать логистическую регрессию, так как эта модель дает прирост по скорости работы в сравнении с другими классическими ML классификаторами и предсказывает вероятности классов, что позволяет гибко подбирать порог классификации в продакшне.

Полученный с использованием TF-IDF и логистической регрессии алгоритм быстро работает и хорошо определяет сообщения с нецензурными словами и выражениями, но не всегда понимает смысл. Например, часто сообщения со словами ‘black’ и ‘feminizm’ попадали в токсичный класс. Хотелось исправить эту проблему и научиться лучше понимать смысл сообщений с помощью следующей версии классификатора.

Офлайн режим

Для того, чтобы лучше понимать смысл сообщений, можно использовать нейросетевые алгоритмы:

• Эмбеддинги (Word2Vec, FastText)
• Нейросети (CNN, RNN, LSTM)
• Новые предобученные модели (ELMo, ULMFiT, BERT)

Обсудим некоторые из таких алгоритмов и как их можно использовать подробнее.

Word2Vec и FastText

Модели эмбеддингов позволяют получать векторные представления слов из текстов. Существует два типа Word2Vec: Skip-gram и CBOW (Continuous Bag of Words). В Skip-gram по слову предсказывается контекст, а в CBOW наоборот: по контексту предсказывается слово.

Такие модели обучаются на больших корпусах текстов и позволяют получить векторные представления слов из скрытого слоя обученной нейросети. Минус такой архитектуры в том, что модель обучается на ограниченном наборе слов, которые содержатся в корпусе. Это означает, что для всех слов, которых не было в корпусе текстов на этапе обучения, не будет эмбеддингов. А такая ситуация происходит часто, когда предобученные модели используются для своих задач: для части слов не будет эмбеддингов, соответственно большое количество полезной информации будет теряться.

Для решения проблемы со словами, которых нет в словаре, (OOV, out-of-vocabulary) есть улучшенная модель эмбеддингов — FastText. Вместо использования отдельных слов для обучения нейросети, FastText разбивает слова на n-грамы (подслова) и обучается на них. Для получения векторного представления слова нужно получить векторные представления n-грам этого слова и сложить их.

Таким образом, для получения векторов признаков из сообщений можно использовать предобученные модели Word2Vec и FastText. Полученные признаки можно классифицировать с помощью классических ML классификаторов или полносвязной нейросети.

Пример вывода “ближайших” по смыслу слов с использованием предобученного FastText

Классификатор на CNN

Для обработки и классификации текстов из нейросетевых алгоритмов чаще используют рекуррентные сети (LSTM, GRU), так как они хорошо работают с последовательностями. Сверточные сети (CNN) чаще всего используют для обработки изображений, однако их также можно использовать в задаче классификации текстов. Рассмотрим, как это можно сделать.
Каждое сообщение представляет собой матрицу, в которой на каждой строке для токена (слова) записано его векторное представление. Свертка применяется к такой матрице определенным образом: фильтр свертки “скользит” по целым строкам матрицы (векторам слов), но при этом захватывает несколько слов за раз (обычно 2-5 слов), таким образом обрабатывая слова в контексте соседних слов. Подробно, как это происходит, можно посмотреть на картинке.

Зачем же применять сверточные сети для обработки текстов, когда можно использовать рекуррентные? Дело в том, что свертки работают сильно быстрее. Используя их для задачи классификации сообщений, можно сильно сэкономить время на обучении.

ELMo

ELMo (Embeddings from Language Models) — модель эмбеддингов на основе языковой модели, которая была недавно представлена. Новая модель эмбеддингов отличается от Word2Vec и FastText моделей. Вектора слов ELMo обладают определенными преимуществами:

• Представление каждого слова зависит от всего контекста, в котором оно используется.
• Представление основано на символах, что позволяет формировать надежные представления для OOV (out-of-vocabulary) слов.

ELMo можно использовать для разных задач в NLP. Например, для нашей задачи полученные с помощью ELMo вектора сообщений можно отправлять в классический ML классификатор или использовать сверточную или полносвязную сеть.
Предобученные эмбеддинги ELMo достаточно просто использовать для своей задачи, пример использования можно найти здесь.

Особенности реализации

API на Flask

Прототип API был написан на Flask, так как он прост в использовании.

Два Docker образа

Для деплоя использовали два докер образа: базовый, где устанавливались все зависимости, и основной для запуска приложения. Это сильно экономит время сборки, так как первый образ редко пересобирается и за счет этого экономится время при деплое. Довольно много времени тратится на сборку и скачивание библиотек машинного обучения, что не нужно при каждом коммите.

Тестирование

Особенность реализации довольно большого числа алгоритмов машинного обучения состоит в том, что даже при высоких значениях метрик на валидационном датасете реальное качество алгоритма в продакшне может быть низкое. Поэтому для тестирования работы алгоритма всей командой использовали бота в Slack. Это очень удобно, потому что любой член команды может проверить, какой ответ выдают алгоритмы на определенное сообщение. Такой способ тестирования позволяет сразу увидеть, как будут работать алгоритмы на живых данных.
Хорошей альтернативой является запуск решения на публичных площадках вроде Яндекс Толоки и AWS Mechanical Turk.

Заключение

Мы рассмотрели несколько подходов к решению задачи автоматической модерации сообщений и описали особенности нашей реализации.
Основные наблюдения, полученные в ходе работы:

• Поиск слов по словарю и алгоритм машинного обучения, основанный на TF-IDF и логистической регрессии, позволили классифицировать сообщения быстро, но не всегда корректно.
• Нейросетевые алгоритмы и предобученные модели эмбеддингов лучше справляются с такой задачей и могут определять токсичность по смыслу сообщения.

Конечно, мы выложили открытое демо Poteha Toxic Comment Detection в фейсбук боте. Помогите нам сделать бота лучше!

Буду рад ответить на вопросы в комментариях.

habr.com

«Простите, что?» или как правильно модерировать контент

Всплеск поддельных новостей в интернете и усиление негативных тенденций в восприятии брендов вынуждают компании пересматривать свое отношение к стратегиям модерации контента.

Для современной компании онлайн-контент становится одним из основных инструментовповышения узнаваемости брендов и способом взаимодействия с клиентами. Однако, наряду с более качественной информацией о компаниях, товарах и услугах через интернет также распространяется и огромное количество негативных публикаций, неподтвержденных слухов и сомнительных рецензий, влияющих на репутацию торговых марок.

С возникновением поддельных новостных сайтов и распространением анонимных отрицательных статей в сети компаниям приходится пересматривать стратегии взаимодействия с аудиторией, чтобы снизить риски негативного восприятия собственных брендов.

Восприятие бренда в значительной степени влияет на решения потребителей приобрети товар или услугу. Каждый раз, читая очередную рецензию или отзыв, слушая рассказы друзей и знакомых или посещая официальный сайт производителя, у потребителей складывается собственное впечатление о торговой марке и формируется отношение к ней.

Каким же образом компании могут формировать у клиентов позитивное восприятие своих брендов и контролировать результат? Все начинается с модерации контента. Современные контент-менеджеры сталкиваются с серьезными проблемами там, где пользовательский контент и рекламные площадки должны соответствовать стандартам компании. Однако модераторы-люди не в состоянии решить эту задачу в одиночку. Чтобы модерационные стратегии были эффективны, в помощь человеческим ресурсам необходимо привлекать технологии.

Для того, чтобы обезопасить бренд от дискредитаций в сети необходимо обеспечить отсутствие рекламы на сомнительных сайтах. Современные способы распространения информации в интернете позволяют тиражировать рекламные объявления по тысячам площадок за доли секунд, и это сильно усложняет работу модераторов. Даже прямым рекламодателям не всегда удается точно предугадать, где именно появится то или иное рекламное объявление.

В соответствии с современными алгоритмами площадки, где будут размещены рекламные объявления, определяются на основании социально-демографических показателей аудитории, а не прямым выбором конкретного сайта. Например, пользователь, искавший что-либо по тегу «мода» или «красота», будет постоянно сталкиваться с соответствующими рекламными объявлениями на самых разных сайтах, которые он посещает, независимо от тематической направленности этих сайтов. И такая тенденция продолжает расти. По прогнозам eMarketer затраты на программную автоматизацию рекламных объявлений в 2018 году в США достигнут 37,9 млн долл. (по сравнению с 25,2 млн долл. в 2016 году), что составит 82% от всех расходов на онлайн-рекламу.

“Масштабы интернета не позволяют человеку «переработать» весь объем имеющегося в наличии контента, – говорит Харикеш Нэр, профессор маркетинга из Высшей школы бизнеса при Стэнфордском университете. – Для решения этой задачи компаниям нужны цифровые инструменты, но даже в этом случае им придется нанимать специалистов или обучать собственных сотрудников. Для многих компаний первые попытки оказались неудачными и послужили причиной для отказа от дальнейшего движения в этом направлении.”

Иногда компании оказываются втянуты в медийные конфликты. Так, некоторое время назад в СМИ разразилась целая информационная буря, когда реклама компании Kellogg’s внезапно появилась на сайте, известном своими антисемитскими, сексистскими и расистскими публикациями. Под давлением общественного мнения Kellogg’s были вынуждены снять с сайта всю свою рекламу на том основании, что данная площадка не соответствует заявляемым ценностям бренда.

Большую роль в усилении интернет-критики сыграло появление в Twitter аккаунта Sleeping Giants, которые смогли вовлечь огромное количество людей в «акцию протеста» против размещения рекламы на сомнительных ресурсах (примечание: если пользователь попадал на сайт определенной тематики, он мог сделать твит с тегом @slpng_giants и отправить скриншот экрана с вежливыми комментариями в компанию, чья реклама размещена на странице с «подозрительным» содержимым). Благодаря акции Sleeping Giants 818 брендов смогли снять свою рекламу с сомнительных площадок.

Помимо внешнего социального давления рекламодателей даже больше беспокоит невозможность получения прозрачной отчетности, чем появление фальшивых слухов и публикаций, ведущих к разжиганию ненависти.

Помимо внешнего социального давления рекламодателей даже больше, чем появление фальшивых слухов и публикаций, ведущих к разжиганию ненависти, беспокоит невозможность получать достоверную отчетность. По данным опроса Ассоциации национальных рекламодателей (ANA) и Forrester Consulting, 59% из опрошенных американских маркетологов в 2016 году сообщили, что они «серьезно озадачены отсутствием возможности получать точные отчеты», в 2014 году эта цифра составляла 43%.

Такие инструменты, как «белые», «черные» списки и семантические технологии призваны облегчить рекламщикам фильтрацию нежелательных площадок и сайтов для размещения рекламы. «Белые» списки позволяют точно указать сайты, на которых рекламу можно размещать, а «черные» – где ее запретить. Семантические технологии позволяют при помощи языковых фильтров предотвратить появление рекламы на определенного рода тематических сайтах или рядом с нежелательным контентом.

Однако в реальности мало кто из маркетологов активно пользуется подобного рода «защитными» инструментами. Согласно исследованиям ANA и Forrester Consulting только 51% американских маркетологов регулярно обновляют свои черные листы, в то время как 45% предпочитают использовать белые списки.

Тем не мене, даже использование подобных инструментов не гарантирует их абсолютную надежность. Рекламодатель не может просто внедрить автоматизированное решение и забыть о проблеме. Необходимо постоянно мониторить площадки и отдельные страницы на сайтах, где появляются рекламные объявления, чтобы быть уверенными в их безопасности. Так, алгоритмы Facebook ошибочно заблокировали bsdetector.tech, веб-сайт с популярным расширением для браузеров, позволяющим определять и помечать фейковые новостные ресурсы.

Компаниям нужны полноценные стратегии, позволяющие быстро и эффективно определять ресурсы с проблемным содержимым. И, соответственно, им необходимо решать вопрос с модерацией контента.

Что может делать контент-модератор? Модераторы играют важную роль, отслеживая появление «правильного» контента в интернете и следя за тем, чтобы его содержание соответствовало заявленным ценностям бренда. Контент-модератор может выполнять следующие задачи:

Пре-модерация. До того как сделать видимыми для всех, модератор предварительно просматривает содержание отзывов и постов на официальном сайте торговой марки или форумах и соцсетях бренд-сообщества. Этот способ лучше всего подходит для контента, размещение которого не критично по времени и/или если есть подозрение на то, что его содержание имеет клеветническую направленность. Например, в онлайн-сообществах с детской аудиторией этот способ поможет избежать издевательств и предотвратить нежелательное поведение.

Пост-модерация. UGC сразу же появляется в сети и одновременно попадает в виртуальную очередь на модерацию. Это позволяет пользователям беспрепятственно участвовать в обсуждениях в режиме реального времени. Так, инструментарий Facebook позволяет отметить пост или рекламное объявление нежелательного содержания специальными командами и быстро снять его с публикации.

Пассивная модерация или модерация с обратной связью. Такой вид модерации опирается на пользователей, готовых сообщать о появлении контента нежелательного содержания. Это значит, что объявление привлечет внимание модератора только в случае, если на него пожалуются, например, с помощью кнопки «Сообщить о нарушении» или «Пожаловаться». При наступлении такого события команда внешних модераторов просмотрит указанный пост и удалит его при необходимости. Пассивная модерация отдает управление контентом на откуп пользователям и разделяет с ними ответственность за показ и блокировку нежелательных объявлений. Однако, для пассивной модерации характерно большое количество ложных срабатываний, поскольку многие люди жмут на кнопку «Пожаловаться» без объективных причин.

Пользовательская модерация. В этом подходе ответственность за принятие решений о полезности пользовательского контента и его соответствии нормам и правилам безопасности ложится на посетителей. Объявление будет снято с публикации, если на него пожаловались определенное число раз. Подобно пассивной модерации с ростом интернет-сообщества способ модерации силами пользователей можно масштабировать довольно легко и с минимальными затратами. Тем не менее доверие сообществу осуществлять само-модерацию несет в себе очевидные риски. Компания должна выделить ответственного сотрудника, который будет отслеживать помеченный пользователями контент и/или установить некие критерии, в соответствии с которыми он сможет принимать решения, удалить или оставить его на сайте.

Автомодерация. В этом подходе в процессе обработки пользовательского контента используются различные технические средства автоматизации и устанавливаются правила, в соответствии с которыми контент или будет отклонен («забанен») или опубликован на сайте. Самым распространенным является фильтр по стоп-словам, которые заранее заданы как список исключений, и в случае появления в содержимом UGC слов из этого списка, в публикации они автоматически будут заменены на допустимые аналоги, или же такой пост будет полностью заблокирован. Бан по IP-адресу также относится к популярным инструментам автомодерации. Сегодня существуют и более сложные технические решения, которые используют механизмы аналитики разговорных шаблонов. Недостатком подобных автоматизированных решений является риск не учесть некоторые разговорные нюансы или пропустить нарушения, на которые обязательно обратит внимание модератор-человек.

Баланс между автоматизацией и человеческим фактором. Для наибольшей эффективности модераторы должны отлично знать контент, размещенный на сайте, понимать вкусы своей аудитории и ориентироваться в обсуждаемых темах. А также они должны разбираться в законах той страны, в чьей юрисдикции находится сайт, досконально знать пользовательские руководства и особенности платформы относительно разрешенного и запрещенного контента. И, что самое важное, они должны уметь быстро принимать решения.

Однако, даже самый быстрый и профессиональный модератор не в состоянии справиться с постоянно растущими потоками информации, наводняющей интернет. Для нахождения нежелательного контента компании все чаще совмещают возможности технологий с человеческими ресурсами.

Facebook, например, для выявления «фейковых» новостей наряду с алгоритмическими способами модерации использует и модераторов-людей. Алгоритмы определяют публикации, подпадающие под критерии нежелательного контента и приоритезируют их в очереди на проверку модераторам-людям. Если публикация отмечена как нежелательная определенное число раз, она отправляется на рассмотрение в коалицию таких организаций, как PolitiFact, Snopes и ABC News. Группа специалистов проанализирует статью и выдаст рекомендации, следует ли считать сомнительные места нежелательными для показа пользователям Facebook или нет.

Кроме того, статьи с подозрительным контентом будут показываться в самом низу ленты новостей. Если пользователь захочет поделиться такой статьей, всплывающее сообщение проинформирует его о том, что данный пост содержит материал сомнительного содержания.

Профессор Нэр, однако, полагает, что вряд ли когда-нибудь цифровые технологии полностью заменят модераторов-людей. “Машинное обучение и искусственный интеллект полезны только в качестве приложения к данным, которые с их помощью можно получать. Но критерии нежелательного контента не всегда можно точно формализовать – они очень субъективны, поэтому постоянно будет нужен человек, чтобы учить машину отличать качественный контент от недопустимого и контролировать результат”.

Как измерять результаты? Оценивать эффективность контент-модерации следует не только по количеству заблокированных постов. А если один пользователь в течение дня разместил сразу несколько постов с недопустимым содержанием? В этом случае статистика будет неточной.

“Более эффективный подход заключается в отслеживании целого ряда критериев, – считает Крис Браун, директор по персоналу компании Teletech. – Важным фактором является не только количество и типизация сомнительного контента, но и время отклика на его появление. Помимо этого, компании должны изучать содержимое удаляемого или блокируемого контента, а также сохранять и системно управлять этими знаниями.”

В конечном счете показатели эффективности для команды модераторов должны быть приведены в соответствие с целями и задачами компании. Так, для усиления позитивного восприятия бренда в аналитических целях компания может проводить опросы среди своих потребителей и делиться их мнениями. “Задача оценки эффективности контентной модерации с учетом постоянно меняющейся обстановки является исключительно сложной, – отмечает Браун. – В каждом случае успех должен определяться с учетом индивидуальных особенностей”.

Для контентной модерации сегодня настал переломный момент, развитие цифровых СМИ и скорость распространения информации вынуждают компании занимать активную позицию в отслеживании контента, влияющего на их имидж. И это не то направление, где маркетологи могут один раз решить проблему и забыть про нее. Здесь необходимы эффективные модерационные стратегии, опирающиеся как на инновационные технологии, которые позволяют быстро «прочесывать» интернет и находить посты сомнительного качества, так и на обученные человеческие кадры, умеющие отделять действительно нежелательное содержимое от ложных жалоб.

И пусть клеветнические новости и прочий нежелательный контент в интернет был, есть и будет, компании, которые готовы принять вызов и работать с возникающими проблемами, смогут выиграть в «рыночной» гонке, приз за которую – позитивное восприятие продуктов и брендов и лояльность потребителей.

goodwix.com