Краткий справочник по модерации интернет-контента

Поскольку Facebook, Twitter и YouTube недавно объявили о наборе кадров в команды по модерации контента (пусть и в разном объеме), я решил немного рассказать о том, как устроена работа таких систем. Большая часть этой статьи основана на моем личном опыте в YouTube, однако подход других компаний к этим вопросам идентичен. Я буду говорить в первую очередь о пользовательском, а не рекламном контенте. Логично, что к рекламе должны применяться немного другие стандарты. То, что я расскажу, применимо к текстам, изображениям и видео/аудио, которые может создать и опубликовать обычный пользователь.

Что нужно понимать под модерацией контента

Модерация, или проверка, контента – это термин, который применяется к контенту (тексту, изображениям, аудио, видео), который загружают, публикуют и распространяют пользователи социальных платформ. Его нужно отличать от рекламных или редакционных материалов (то есть контент, который помогает продвигать товары или сообщать новую информацию, если такая функция существует на платформе), которыми обычно занимаются отдельные команды с собственными стандартами проверки.

Задача большинства платформ модерации контента – претворение в жизнь Стандартов сообщества или Пользовательского соглашения, в которых оговорено, что можно и что нельзя публиковать на платформе. Как легко догадаться, в этой области множество белых, черных и серых областей, поэтому специалисты проходят специальную подготовку, учатся принципам и правилам принятия решений.

На каком этапе в процессе участвуют люди

Было бы очень странно (и неправильно), если бы люди 1) проверяли весь контент, опубликованный на сайте, и 2) проверяли контент до публикации – то есть «одобряли» контент, прежде чем пользователь сможет его опубликовать.

Вместо этого компании широко используют специальные алгоритмы проверки контента, которые берут на себя большую часть тяжелой работы. Алгоритмы пробуют «распознать» контент. На этапе создания можно выделить определенные сигналы – кто загружает контент (история аккаунта или ее отсутствие), геолокация, сам контент и другие метаданные. После публикации контента происходит сбор новых данных – кто его просматривает, жалуются ли на него другие пользователи, делятся ли им и другие параметры.

Эти более информативные сигналы также поступают на вход алгоритма, который уточняет свое решение о том, подходит ли контент сайту. Большинство таких систем позволяют другим пользователям отмечать данные специальными метками, что сильно влияет на решение алгоритма.

В общем случае можно считать, что каждое сообщение в определенный момент времени принимает зеленый, желтый или красный цвет. Зеленый цвет означает, что такое может существовать на сайте. Желтый цвет означает, что алгоритм пока не определился. А красный означает, что этим материалам не место на сайте. Каждая из этих меток непостоянна и неидеальна. Ложные срабатывания и пропуски случаются постоянно.

Недостаточно определять эффективность политики по оценке контента только качеством используемых технологий. На самом деле решения принимаются людьми, но при поддержке программного кода. Менеджмент должен задавать границы между зеленым, желтым и красным цветом. Нужно определить, будут ли новые пользователи по умолчанию считаться доверенными. Нужно задать очередность, с которой объекты из разных категорий будут проходить ручную проверку. И здесь в дело вступают люди…

Что такое очередь на проверку?

Люди помогают создавать обучающие наборы для алгоритмов, однако их главная задача – постоянно заполнять очередь проверки записями, которые выдал алгоритм. Очередь обычно разбивается на несколько потоков в зависимости от приоритетности проверки (например, «срочное», «для проверки в реальном времени» и т.д.) и характеристик проверяющих – люди могут быть обучены проверке разных типов контента, говорить на разных языках и т.д. Это сложная система со встроенной логикой, которая устроена как фабрика.

Объем контента, поступающего в очередь на проверку, определяется общим объемом контента, публикуемого на платформе, и порогами, после которых требуется вмешательство человека. На скорость проверки влияет количество проверяющих, их способности/обучение и эффективность используемых ими инструментов.

Таким образом, если вы слышите, что «объявлен набор десяти тысяч новых модераторов», на это могут быть две причины. Во-первых, может вырасти количество записей на проверку (то есть порог снижается, и вручную будут проверять больше записей). Во-вторых, контент в очереди будет проверяться быстрее (объем контента не изменится, но специалистов станет больше).

Для компаний это вообще важно?

Если честно, да, но…

Да, но обработка контента – это скорее источник затрат, а не прибыли, поэтому часто расходы таких отделов жестко оптимизируют и ограничивают в ресурсах.

Да, но обработка контента часто воспринимается как стартовая работа для будущих менеджеров по продукту, дизайнеров и инженеров, так что эти отделы часто состоят в основном из молодежи и не имеют серьезного влияния на общий ход работы, а каждые один-два года кадровый состав полностью обновляется.

Да, но нехватка разнообразия точек зрения и рассогласование интересов среди старшего руководства часто приводит к тому, что истинный ущерб (для бренда, для пользовательского опыта) в случае появления на платформе «злокачественного» контента часто недооценивается.

Почему явная порнография – самый простой для цензуры тип контента? И почему при этом модерировать контент «сексуальной» направленности очень сложно?

Потому что для публикации порно существуют куда более удобные инструменты, чем Twitter, Facebook или YouTube. Кроме того, алгоритмы с высокой точностью выявляют обнаженные сцены. Однако контент, созданный для сексуального удовлетворения, но не содержащий обнаженные сцены, отслеживать куда сложнее. Писал ли я о политике YouTube касательно фетиш-видео? Интересное было обсуждение…

Что можно посоветовать менеджерам?

1. Создайте новую метрику для панели управления. Если гендиректор с командой уделяет показателям безопасности контента столько же внимания, сколько прибыли, вовлечению и другим показателям, это докажет важность модерации контента.
2. Используйте абсолютные, а не относительные показатели. Когда самые крупные платформы заявляют, что «99% нашего контента безопасно», на самом деле они имеют в виде «1% от множества – это все еще множество». Стремление преуменьшить масштаб проблем – чаще всего PR-ход – дает понять, что в действительности до этих вещей никому нет дела.
3. Сконцентрируйтесь на предотвращении повторных нарушений и быстром исправлении уже имеющихся. Никто не ожидает от этих систем безошибочной работы, и, как мне кажется, лучшая тактика – считать всех пользователей благонадежными, пока те не докажут обратное, а виновных жестко наказывать. Особенно серьезные проблемы с этим у Twitter – в сети тут и там встречаются пользователи из «серой зоны».
4. Руководство должно иметь опыт работы в проверке контента. Когда я работал в YouTube на должности ведущего продукт-менеджера, я старался регулярно уделять время проверке контента, так как не хотел отгораживаться от реалий рутинной работы. Конечно, я насмотрелся всякой грязи, зато не забывал, через что приходится проходить нашим специалистам по проверке и пользователям.
5. Время проверки можно задавать на законодательном уровне. Мне интересно, может ли государство регулировать время проверки вместо регуляции самого контента. Понятно, что это комплексный вопрос, и новые требования могут привести к тому, что сервисы станут лояльнее подходить к спорному контенту, но сейчас меня очень занимает эта идея.

Источник

Материалы по теме:

Роскомнадзор показал сравнение соцсетей по удалению запрещенного контента

Как эмоции стали ключом к большому бизнесу

Instagram представил спам-фильтр для русского языка и новый фильтр оскорблений

Facebook будет бороться с политической пропагандой в соцсети

Фото на обложке: Carlos Muza/Unsplash

«Простите, что?» или как правильно модерировать контент | Goodwix

Всплеск поддельных новостей в интернете и усиление негативных тенденций в восприятии брендов вынуждают компании пересматривать свое отношение к стратегиям модерации контента.

Для современной компании онлайн-контент становится одним из основных инструментовповышения узнаваемости брендов и способом взаимодействия с клиентами. Однако, наряду с более качественной информацией о компаниях, товарах и услугах через интернет также распространяется и огромное количество негативных публикаций, неподтвержденных слухов и сомнительных рецензий, влияющих на репутацию торговых марок.

С возникновением поддельных новостных сайтов и распространением анонимных отрицательных статей в сети компаниям приходится пересматривать стратегии взаимодействия с аудиторией, чтобы снизить риски негативного восприятия собственных брендов.

Восприятие бренда в значительной степени влияет на решения потребителей приобрети товар или услугу. Каждый раз, читая очередную рецензию или отзыв, слушая рассказы друзей и знакомых или посещая официальный сайт производителя, у потребителей складывается собственное впечатление о торговой марке и формируется отношение к ней.

Каким же образом компании могут формировать у клиентов позитивное восприятие своих брендов и контролировать результат? Все начинается с модерации контента. Современные контент-менеджеры сталкиваются с серьезными проблемами там, где пользовательский контент и рекламные площадки должны соответствовать стандартам компании. Однако модераторы-люди не в состоянии решить эту задачу в одиночку. Чтобы модерационные стратегии были эффективны, в помощь человеческим ресурсам необходимо привлекать технологии.

Для того, чтобы обезопасить бренд от дискредитаций в сети необходимо обеспечить отсутствие рекламы на сомнительных сайтах. Современные способы распространения информации в интернете позволяют тиражировать рекламные объявления по тысячам площадок за доли секунд, и это сильно усложняет работу модераторов. Даже прямым рекламодателям не всегда удается точно предугадать, где именно появится то или иное рекламное объявление.

В соответствии с современными алгоритмами площадки, где будут размещены рекламные объявления, определяются на основании социально-демографических показателей аудитории, а не прямым выбором конкретного сайта. Например, пользователь, искавший что-либо по тегу «мода» или «красота», будет постоянно сталкиваться с соответствующими рекламными объявлениями на самых разных сайтах, которые он посещает, независимо от тематической направленности этих сайтов. И такая тенденция продолжает расти. По прогнозам eMarketer затраты на программную автоматизацию рекламных объявлений в 2018 году в США достигнут 37,9 млн долл. (по сравнению с 25,2 млн долл. в 2016 году), что составит 82% от всех расходов на онлайн-рекламу.

“Масштабы интернета не позволяют человеку «переработать» весь объем имеющегося в наличии контента, – говорит Харикеш Нэр, профессор маркетинга из Высшей школы бизнеса при Стэнфордском университете. – Для решения этой задачи компаниям нужны цифровые инструменты, но даже в этом случае им придется нанимать специалистов или обучать собственных сотрудников. Для многих компаний первые попытки оказались неудачными и послужили причиной для отказа от дальнейшего движения в этом направлении.”

Иногда компании оказываются втянуты в медийные конфликты. Так, некоторое время назад в СМИ разразилась целая информационная буря, когда реклама компании Kellogg’s внезапно появилась на сайте, известном своими антисемитскими, сексистскими и расистскими публикациями. Под давлением общественного мнения Kellogg’s были вынуждены снять с сайта всю свою рекламу на том основании, что данная площадка не соответствует заявляемым ценностям бренда.

Большую роль в усилении интернет-критики сыграло появление в Twitter аккаунта Sleeping Giants, которые смогли вовлечь огромное количество людей в «акцию протеста» против размещения рекламы на сомнительных ресурсах (примечание: если пользователь попадал на сайт определенной тематики, он мог сделать твит с тегом @slpng_giants и отправить скриншот экрана с вежливыми комментариями в компанию, чья реклама размещена на странице с «подозрительным» содержимым). Благодаря акции Sleeping Giants 818 брендов смогли снять свою рекламу с сомнительных площадок.

Помимо внешнего социального давления рекламодателей даже больше беспокоит невозможность получения прозрачной отчетности, чем появление фальшивых слухов и публикаций, ведущих к разжиганию ненависти.

Помимо внешнего социального давления рекламодателей даже больше, чем появление фальшивых слухов и публикаций, ведущих к разжиганию ненависти, беспокоит невозможность получать достоверную отчетность. По данным опроса Ассоциации национальных рекламодателей (ANA) и Forrester Consulting, 59% из опрошенных американских маркетологов в 2016 году сообщили, что они «серьезно озадачены отсутствием возможности получать точные отчеты», в 2014 году эта цифра составляла 43%.

Такие инструменты, как «белые», «черные» списки и семантические технологии призваны облегчить рекламщикам фильтрацию нежелательных площадок и сайтов для размещения рекламы. «Белые» списки позволяют точно указать сайты, на которых рекламу можно размещать, а «черные» – где ее запретить. Семантические технологии позволяют при помощи языковых фильтров предотвратить появление рекламы на определенного рода тематических сайтах или рядом с нежелательным контентом.

Однако в реальности мало кто из маркетологов активно пользуется подобного рода «защитными» инструментами. Согласно исследованиям ANA и Forrester Consulting только 51% американских маркетологов регулярно обновляют свои черные листы, в то время как 45% предпочитают использовать белые списки.

Тем не мене, даже использование подобных инструментов не гарантирует их абсолютную надежность. Рекламодатель не может просто внедрить автоматизированное решение и забыть о проблеме. Необходимо постоянно мониторить площадки и отдельные страницы на сайтах, где появляются рекламные объявления, чтобы быть уверенными в их безопасности. Так, алгоритмы Facebook ошибочно заблокировали bsdetector.tech, веб-сайт с популярным расширением для браузеров, позволяющим определять и помечать фейковые новостные ресурсы.

Компаниям нужны полноценные стратегии, позволяющие быстро и эффективно определять ресурсы с проблемным содержимым. И, соответственно, им необходимо решать вопрос с модерацией контента.

Что может делать контент-модератор? Модераторы играют важную роль, отслеживая появление «правильного» контента в интернете и следя за тем, чтобы его содержание соответствовало заявленным ценностям бренда. Контент-модератор может выполнять следующие задачи:

Пре-модерация. До того как сделать видимыми для всех, модератор предварительно просматривает содержание отзывов и постов на официальном сайте торговой марки или форумах и соцсетях бренд-сообщества. Этот способ лучше всего подходит для контента, размещение которого не критично по времени и/или если есть подозрение на то, что его содержание имеет клеветническую направленность. Например, в онлайн-сообществах с детской аудиторией этот способ поможет избежать издевательств и предотвратить нежелательное поведение.

Пост-модерация. UGC сразу же появляется в сети и одновременно попадает в виртуальную очередь на модерацию. Это позволяет пользователям беспрепятственно участвовать в обсуждениях в режиме реального времени. Так, инструментарий Facebook позволяет отметить пост или рекламное объявление нежелательного содержания специальными командами и быстро снять его с публикации.

Пассивная модерация или модерация с обратной связью. Такой вид модерации опирается на пользователей, готовых сообщать о появлении контента нежелательного содержания. Это значит, что объявление привлечет внимание модератора только в случае, если на него пожалуются, например, с помощью кнопки «Сообщить о нарушении» или «Пожаловаться». При наступлении такого события команда внешних модераторов просмотрит указанный пост и удалит его при необходимости. Пассивная модерация отдает управление контентом на откуп пользователям и разделяет с ними ответственность за показ и блокировку нежелательных объявлений. Однако, для пассивной модерации характерно большое количество ложных срабатываний, поскольку многие люди жмут на кнопку «Пожаловаться» без объективных причин.

Пользовательская модерация. В этом подходе ответственность за принятие решений о полезности пользовательского контента и его соответствии нормам и правилам безопасности ложится на посетителей. Объявление будет снято с публикации, если на него пожаловались определенное число раз. Подобно пассивной модерации с ростом интернет-сообщества способ модерации силами пользователей можно масштабировать довольно легко и с минимальными затратами. Тем не менее доверие сообществу осуществлять само-модерацию несет в себе очевидные риски. Компания должна выделить ответственного сотрудника, который будет отслеживать помеченный пользователями контент и/или установить некие критерии, в соответствии с которыми он сможет принимать решения, удалить или оставить его на сайте.

Автомодерация. В этом подходе в процессе обработки пользовательского контента используются различные технические средства автоматизации и устанавливаются правила, в соответствии с которыми контент или будет отклонен («забанен») или опубликован на сайте. Самым распространенным является фильтр по стоп-словам, которые заранее заданы как список исключений, и в случае появления в содержимом UGC слов из этого списка, в публикации они автоматически будут заменены на допустимые аналоги, или же такой пост будет полностью заблокирован. Бан по IP-адресу также относится к популярным инструментам автомодерации. Сегодня существуют и более сложные технические решения, которые используют механизмы аналитики разговорных шаблонов. Недостатком подобных автоматизированных решений является риск не учесть некоторые разговорные нюансы или пропустить нарушения, на которые обязательно обратит внимание модератор-человек.

Баланс между автоматизацией и человеческим фактором. Для наибольшей эффективности модераторы должны отлично знать контент, размещенный на сайте, понимать вкусы своей аудитории и ориентироваться в обсуждаемых темах. А также они должны разбираться в законах той страны, в чьей юрисдикции находится сайт, досконально знать пользовательские руководства и особенности платформы относительно разрешенного и запрещенного контента. И, что самое важное, они должны уметь быстро принимать решения.

Однако, даже самый быстрый и профессиональный модератор не в состоянии справиться с постоянно растущими потоками информации, наводняющей интернет. Для нахождения нежелательного контента компании все чаще совмещают возможности технологий с человеческими ресурсами.

Facebook, например, для выявления «фейковых» новостей наряду с алгоритмическими способами модерации использует и модераторов-людей. Алгоритмы определяют публикации, подпадающие под критерии нежелательного контента и приоритезируют их в очереди на проверку модераторам-людям. Если публикация отмечена как нежелательная определенное число раз, она отправляется на рассмотрение в коалицию таких организаций, как PolitiFact, Snopes и ABC News. Группа специалистов проанализирует статью и выдаст рекомендации, следует ли считать сомнительные места нежелательными для показа пользователям Facebook или нет.

Кроме того, статьи с подозрительным контентом будут показываться в самом низу ленты новостей. Если пользователь захочет поделиться такой статьей, всплывающее сообщение проинформирует его о том, что данный пост содержит материал сомнительного содержания.

Профессор Нэр, однако, полагает, что вряд ли когда-нибудь цифровые технологии полностью заменят модераторов-людей. “Машинное обучение и искусственный интеллект полезны только в качестве приложения к данным, которые с их помощью можно получать. Но критерии нежелательного контента не всегда можно точно формализовать – они очень субъективны, поэтому постоянно будет нужен человек, чтобы учить машину отличать качественный контент от недопустимого и контролировать результат”.

Как измерять результаты? Оценивать эффективность контент-модерации следует не только по количеству заблокированных постов. А если один пользователь в течение дня разместил сразу несколько постов с недопустимым содержанием? В этом случае статистика будет неточной.

“Более эффективный подход заключается в отслеживании целого ряда критериев, – считает Крис Браун, директор по персоналу компании Teletech. – Важным фактором является не только количество и типизация сомнительного контента, но и время отклика на его появление. Помимо этого, компании должны изучать содержимое удаляемого или блокируемого контента, а также сохранять и системно управлять этими знаниями.”

В конечном счете показатели эффективности для команды модераторов должны быть приведены в соответствие с целями и задачами компании. Так, для усиления позитивного восприятия бренда в аналитических целях компания может проводить опросы среди своих потребителей и делиться их мнениями. “Задача оценки эффективности контентной модерации с учетом постоянно меняющейся обстановки является исключительно сложной, – отмечает Браун. – В каждом случае успех должен определяться с учетом индивидуальных особенностей”.

Для контентной модерации сегодня настал переломный момент, развитие цифровых СМИ и скорость распространения информации вынуждают компании занимать активную позицию в отслеживании контента, влияющего на их имидж. И это не то направление, где маркетологи могут один раз решить проблему и забыть про нее. Здесь необходимы эффективные модерационные стратегии, опирающиеся как на инновационные технологии, которые позволяют быстро «прочесывать» интернет и находить посты сомнительного качества, так и на обученные человеческие кадры, умеющие отделять действительно нежелательное содержимое от ложных жалоб.

И пусть клеветнические новости и прочий нежелательный контент в интернет был, есть и будет, компании, которые готовы принять вызов и работать с возникающими проблемами, смогут выиграть в «рыночной» гонке, приз за которую – позитивное восприятие продуктов и брендов и лояльность потребителей.

Модерация контента | Spectrum Labs

Опрос

 

Что такое модерация контента?

Модерация контента — это процесс проверки и мониторинга пользовательского контента в Интернете. Чтобы обеспечить безопасную среду как для пользователей, так и для брендов, платформы должны модерировать контент, чтобы гарантировать, что он соответствует заранее установленным правилам приемлемого поведения, характерным для платформы и ее аудитории.

Когда платформа модерирует контент, можно создавать приемлемый пользовательский контент (UGC) и делиться им с другими пользователями. Несоответствующее, токсичное или запрещенное поведение может быть предотвращено, заблокировано в режиме реального времени или удалено постфактум, в зависимости от инструментов и процедур модерации контента, имеющихся на платформе.

Определение приемлемого и неприемлемого поведения уникально для каждой платформы. Платформы могут относиться к разным отраслям, таким как знакомства, игры, социальные сети и торговые площадки, и у каждой есть свой набор пользователей с разными потребностями, чувствами и ожиданиями.

Однако, как правило, подобное поведение считается токсичным независимо от платформы:

• Материалы о сексуальном насилии над детьми (CSAM)
• Запугивание
• Наркотики и оружие
• Терроризм
• Язык ненависти
• Домогательства к сексу
• Несовершеннолетние пользователи
• Членовредительство
• Графическое изображение насилия
• Радикализация
• Женоненавистничество
• Преследование
• Оскорбления
  
• Мошенничество/Мошенничество
• Злоупотребление

Приоритеты также различаются в зависимости от платформы. Платформа знакомств может быть больше озабочена несовершеннолетними пользователями или сексуальными домогательствами, чем торговая площадка, а торговая площадка может быть больше озабочена нелегальной продажей наркотиков и оружия, чем игровая платформа. Однако в какой-то степени все онлайн-платформы должны свести к минимуму токсичное поведение, чтобы обеспечить безопасную и инклюзивную среду для пользователей.

Загрузите описание продукта: Spectrum Labs Behavior Detection Library

 

Почему инструменты модерации контента важны

Пользовательский контент, представленный на платформе, напрямую влияет на взаимодействие с пользователем. Если контент хорошо модерируется, и пользователи могут безопасно работать с контентом, который они ожидают от платформы, они с большей вероятностью останутся. Но любое отклонение от этих ожиданий негативно повлияет на пользовательский опыт, что в конечном итоге приведет к оттоку клиентов, ущербу для репутации бренда и потере доходов. К счастью, у платформ есть множество причин инвестировать в эффективные инструменты модерации контента.

 

Преимущества модерации контента

Защита сообществ

Платформы могут способствовать формированию гостеприимного и инклюзивного сообщества, предотвращая токсичное поведение, такое как домогательства, киберзапугивание, разжигание ненависти, спам и многое другое. Помогите пользователям избежать негативного или травматического опыта в Интернете с помощью продуманных и последовательно применяемых политик и процедур модерации контента.

Повышение лояльности к бренду и вовлеченности

Безопасные, инклюзивные и вовлеченные сообщества не рождаются. Они намеренно создаются и поддерживаются заинтересованными членами сообщества и увлеченными профессионалами в области доверия и безопасности. Платформы растут и процветают, когда они могут обеспечить отличный пользовательский опыт, свободный от токсичности. Модерация контента помогает снизить уровень оттока и приносит больше дохода при меньших затратах.

Защита рекламодателей

Опыт, который люди получают на платформе, влияет на восприятие бренда. Это относится не только к репутации платформы, но и к брендам, которые появляются в рекламе на платформе. Поскольку потребители могут рассматривать рекламу, размещенную рядом с негативным контентом, как преднамеренное одобрение, модерация контента имеет решающее значение для защиты рекламодателей. Исследования показывают, что покупательское намерение значительно подавляется, и потребители с меньшей вероятностью будут ассоциироваться с брендом, когда он отображается рядом с небезопасным или неблагоприятным для бренда контентом. ¹

Связанный : Консорциум Oasis: Глобальный консенсус по стандартам безопасности брендов

Понимание клиентов

Модерация контента может дать платформе более глубокое понимание своей клиентской базы, предоставляя данные для анализа. Затем это можно использовать для выявления тенденций и предоставления действенной информации, которая может быть использована для улучшения маркетинга, рекламы, брендинга и обмена сообщениями, а также для дальнейшего совершенствования процессов модерации контента.

 

Проблемы модерации контента

Объем контента

Управление огромным объемом контента, который создается каждый день — каждую минуту, — слишком большая работа, которую команда модераторов контента может выполнять в режиме реального времени. В результате многие платформы изучают автоматизированные инструменты и инструменты на основе ИИ и полагаются на пользователей для подачи жалоб на запрещенное поведение в Интернете.

Каждую минуту пользователи сети:

• Отправка 41 миллиона сообщений в WhatsApp
• Потратить 1 миллион долларов на продукты
• Опубликовать 347 000 историй в Instagram
• Присоединяйтесь к 208 000 конференциям Zoom
• Поделиться 150 000 сообщений на Facebook
  
• Подать заявку на 69 000 вакансий на Linked In

Тип содержимого

Решение, которое работает для письменного слова, может оказаться неэффективным для мониторинга видео, голоса и живого чата в режиме реального времени. Платформы должны искать инструменты, которые могут модерировать пользовательский контент в различных форматах.

Из нашего блога : Рекомендации по модерации голосового чата

Контекстные интерпретации

Пользовательский контент может иметь совершенно разное значение при анализе в разных ситуациях. Например, на игровых платформах существует традиция «мусорного разговора» — пользователи общаются и доставляют друг другу неприятности, чтобы стимулировать конкуренцию. Однако один и тот же комментарий в приложении для знакомств может быть расценен как домогательство или женоненавистничество. Контекст имеет решающее значение.

Психическое здоровье модераторов контента

Просеивание незаконного, оскорбительного и графического контента от имени платформ может вызвать серьезные психические расстройства у сотрудников, которые этим занимаются. Модераторы контента часто страдают от беспокойства, стресса и даже посттравматического стресса из-за своей работы. В результате высокие показатели текучести мешают этим позициям, которые должны стать входом в новую карьеру.

Из нашего блога : Защита психического здоровья модераторов контента

Неэффективные инструменты фильтрации

Часто используемые решения включают фильтры по ключевым словам или RegEx (регулярные выражения), которые блокируют слова или выражения, связанные с запрещенным поведением. Однако, поскольку эти фильтры не могут интерпретировать контекст комментария, это может привести к случайному удалению безопасного содержимого.

Например, виртуальная палеонтологическая конференция использовала фильтр для модерации контента в режиме реального времени, но случайно удалила контент, который содержал термины, обычно используемые палеонтологами, включая лобок, кость и поток. Как заявил один из участников: «Такие слова, как «кость», «лобковая кость» и «ручей», откровенно смешно запрещать в области, где мы регулярно находим лобковые кости в ручьях».

Из нашего блога : PSA: Перестаньте управлять списками ключевых слов

Изменение тактики

Наконец, пользователи, публикующие контент, который является незаконным, графическим, мошенническим или запрещенным, постоянно меняют свой подход, чтобы избежать обнаружения. Модераторы человеческого контента могут адаптироваться к новой тактике, но большинству автоматизированных решений очень сложно не отставать.

 

Методы модерации контента

Упреждающая модерация

При предварительной модерации весь контент, отправляемый пользователями, проверяется и утверждается до того, как он будет опубликован на сайте, либо человеком, либо автоматическим инструментом. Контент может быть опубликован, отклонен или отредактирован в зависимости от того, насколько хорошо он соответствует правилам, установленным платформой. С положительной стороны, это предлагает максимально возможный уровень контроля над платформой; однако это дорого, может быть сложно поддерживать уровень пользовательского контента, а задержка, вызванная предварительной модерацией, может негативно сказаться на пользовательском опыте.

Постмодерация

Постмодерация позволяет немедленно публиковать контент и затем просматривать его командой или модератором. Это дает пользователям удовольствие от немедленности, поскольку они могут видеть, что их сообщения публикуются сразу же после их отправки. Однако для платформы может быть весьма пагубным, если оскорбительный контент проникает и просматривается пользователями до того, как будет удален.

Реактивная модерация

Реактивная модерация предполагает участие модераторов контента, когда пользователь отмечает контент или подает жалобу в соответствии с принципами сообщества. Это более выгодно с точки зрения затрат, поскольку требует только ценных человеческих усилий для работы с контентом, который достаточно серьезен, чтобы вызвать реакцию у другого пользователя. Однако он также неэффективен и предлагает платформе очень мало контроля над контентом на сайте.

Автоматическая модерация контента в реальном времени

Когда платформа может модерировать пользовательский контент в режиме реального времени, она избегает всех ловушек, связанных с другими методами модерации. Анализ в режиме реального времени позволяет платформам заранее предотвращать токсичный контент и формировать опыт пользователей в данный момент.

У пользователя нет задержек, токсичный контент блокируется, а модераторы-люди защищены от серьезного контента, с которым они в противном случае могли бы столкнуться.

Прочие сведения : 3 способа контекстного ИИ для модерации контента увеличить доход и защитить сообщества целевая аудитория для бизнеса. При принятии решения о модерации контента обязательно учитывайте:

• Ожидания пользователей
• Демографические данные пользователей
• Принципы сообщества
• Приоритет запрещенного поведения

После того, как вы решили, какие действия допустимы на вашей платформе и в какой степени, вы можете приступить к разработке стратегии модерации контента. Сочетание модераторов-людей и автоматизированных решений, как правило, является наиболее гибким и эффективным методом управления модерацией контента, особенно на платформах с большим объемом пользовательского контента.

Представляем Spectrum Labs для модерации в режиме реального времени с использованием ИИ

Хотите ли вы защитить свою аудиторию, повысить лояльность к бренду и вовлеченность пользователей или максимально повысить производительность модераторов, Spectrum Labs может помочь сделать ваше сообщество лучше и более инклюзивным. Наше контекстное решение искусственного интеллекта доступно для нескольких типов контента, включая текст (чаты, имена пользователей, информация профиля) и голос. Наш запатентованный многоязычный подход означает, что ваши неанглоязычные пользователи получают те же преимущества, что и англоязычные.

Spectrum Labs предоставляет решения и услуги по модерации пользовательского контента, помогающие потребительским брендам распознавать токсичное поведение и реагировать на него. Платформа определяет более 40 вариантов поведения на разных языках, что позволяет командам Trust & Safety решать опасные проблемы в режиме реального времени. Миссия Spectrum Labs — объединить силу данных и сообщества, чтобы восстановить доверие к Интернету, сделав его более безопасным и ценным местом для всех.

. -генерируемый-контент-загружается-пользователями-в-минуту
3 https://www.tsf.foundation/blog/profanity-filter-causes-problems-at-paleontology-conference-october-2020

Необходимость для модерации контента сайта и как это сделать

Социальные сети – одна из реалий современного мира. Как полеты и колл-центры и многолюдные города. Это там. Он растет. Им пользуются миллионы, простите, миллиарды людей по всему миру. И он открыт. Он процветает благодаря так называемому пользовательскому контенту (UGC), контенту, который вы, я и миллиарды других людей создаем или копируем и вставляем, а также делимся им в наших учетных записях и в наших сетях. Контент, которым легко могут поделиться многие люди, получившие от нас доступ к нему. На самом деле социальные сети рассматриваются как билет к мгновенной славе многими людьми, которые продолжают создавать контент, который, как они надеются, понравится людям и станет «вирусным» 9.0003

Платформы социальных сетей — это веб-сайты или веб-ресурсы.

Многие другие веб-сайты, которые не обязательно разработаны как платформы для поощрения взаимодействия между людьми, также приглашают к участию посетителей, пользователей и клиентов.

Многие организации используют возможности платформ социальных сетей и прилагают усилия, чтобы выделить для себя пространство в рамках общей платформы, где они могут продвигать взаимодействие по темам, которые могут представлять интерес для их организации и бренда.

 

Необходимость модерации контента веб-сайта

Результатом этого является создание контента в гигантских, невозможно больших количествах. Представьте себе 4,6 миллиарда человек (количество интернет-пользователей на январь 2021 года по данным Statista) по всему миру, почти 60% населения планеты, занятые созданием контента.

Кто-то выкладывает фотографии своего последнего отпуска в Шотландии, кого-то поздравляют с днем ​​рождения друзья и знакомые, кто-то выкладывает фотографии новой линейки платьев, появившейся в их бизнесе, кто-то оцифровывает и выкладывает судебные решения последнего много лет кто-то рассылает сообщения с просьбой дать рекомендации плотника и так далее.

Это только четыре из 4,6 миллиардов. Примеры, которые мы взяли, вероятно, являются безобидными транзакциями, которые продолжают происходить все время. Мы участвуем в той мере, в какой они связаны с нами, в противном случае в основном игнорируем их.

Как мы знаем, чтобы создать мир, нужно все. За тысячи лет совместной жизни мы выработали своего рода структуру гражданского общества и границы приемлемого и неприемлемого поведения. Правовые рамки во многих юрисдикциях также руководствуются этими неписаными правилами гражданского общества.

Эти нормы приемлемого поведения, разработанные в первую очередь посредством взаимодействия и для него, также применимы к нашему поведению в Интернете. Хотя через Интернет невозможно причинить физический вред, некоторый существующий контент может оставить глубокое, длительное и тревожное впечатление на психику потребителя.

Достижение нескольких секунд славы за счет создания или обмена контентом, который станет вирусным и сделает меня знаменитым по крайней мере физические) и людей, могут по-разному влиять на разных людей. Для некоторых это может обеспечить комфорт и утешение, в то время как для других это может быть поощрением за вред, который они не могут сделать в реальной жизни, полагая, что они в безопасности, или за получение (внутри) семьи, которую, по их мнению, они заслуживают.

Будь то контент о насилии, о детской порнографии, об изнасиловании и убийстве или о религиозной ненависти, все возможно. Оказавшись на платформе, он начинает жить своей собственной жизнью и быстро размножается, подталкиваемый вуайеристами, а также людьми, стремящимися получить свою минуту славы, делясь «редким» контентом.

К счастью, доля такого контента очень мала, но он существует, и его необходимо обнаружить и устранить. Оставлять его свободным в Интернете опасно, поскольку он подвергает не только взрослых, но даже молодых людей нежелательному материалу.

Хотя приведенное выше может быть примерами экстремального контента, есть много более распространенных примеров того, что можно назвать простым нарушением принципов и практики веб-сайта и сообщества. Например, член группы Facebook, созданной для того, чтобы делиться своими работами по ручной вышивке, может опубликовать рекламный пост с рекламой цен на свою продукцию. Владельцу может потребоваться модерировать это. Антирелигиозное сообщение может быть опубликовано в группе WhatsApp, созданной для обмена вакансиями, и может потребовать удаления администратором.

Необходимость управления таким контентом порождает необходимость модерации контента веб-сайта.

Компания oWorkers, специализирующаяся на обслуживании данных, предоставляет эту услугу своим клиентам со всего мира уже более 8 лет. С ростом использования социальных сетей возросла потребность в модерации, а также в нашей поддержке клиентов. Наше признание в качестве одного из трех ведущих поставщиков услуг данных среди ведущих подразделений BPO является результатом поддержки клиентов, а также признанием наших сотрудников.

 

Что нужно модерировать?

Все.

Это простой ответ.

После того, как было установлено, что неприемлемый контент может быть опубликован, также необходимо понять, что нежелательный контент может скрываться в углах или щелях всемирной паутины. Следовательно, если пользовательский контент (UGC) может быть размещен на сайте, его необходимо модерировать.

Люди и организации также создают дочерние ресурсы на платформах социальных сетей, чтобы воспользоваться преимуществами свободного и плавного взаимодействия на благо своего бренда. Они создают группы и сообщества с целью объединения благосклонно настроенных пользователей, поддержания их интереса, а также выхода через них на более свежую аудиторию и рынки.

Контент постоянно генерируется в четырех распространенных форматах: текст, изображения, аудио и видео. Чем богаче содержание, тем больше возможностей для воздействия. Видео, которое содержит визуальные эффекты и аудио, является наиболее эффективным.

Текст

Существует огромное разнообразие, с которым приходится бороться. От статей и постов до комментариев, обзоров и описаний. Язык — это основное средство общения людей, а текст — это то, как он представлен. При каждом использовании также необходимо понимать контекст. В дополнение к ключевым работам, фразы и предложения также должны быть оценены.

Аудио

Интеллект, которым обладают компьютеры, основан на том, что мы можем назвать «текстом». способны выполнять свои действия.

На данный момент звук не может быть интерпретирован машинами. Его необходимо преобразовать в текст с помощью механизмов обработки естественного языка (NLP), чтобы машины могли понять смысл. Следовательно, модерация контента веб-сайта становится более сложной для машин. Конечно, люди могут понимать и интерпретировать звук и модерировать его.

Изображения

Изображение — это просто изображение для компьютера. Набор пикселей разного цвета, случайно размещенных в кадре. Это мало что значит. Механизмы искусственного интеллекта (ИИ) были разработаны и обучены понимать изображения с помощью миллионов обучающих данных, переданных им. В отличие от аудио, изображения даже не могут быть преобразованы в текст с помощью процесса NLP, что делает их хотя бы частично понятными для машин, чтобы облегчить автоматическую модерацию.

Опять же, благодаря своему интеллекту, люди могут смотреть на изображение, помещать его в контекст и принимать решение о его релевантности и пригодности.

Видео

Видео — самая богатая форма контента, размещаемого пользователями. Он содержит последовательности изображений, а также звук, которые непонятны машинам в их исходной форме. Видео также могут иметь субтитры, что делает их еще более сложными. Машины должны быть обучены с помощью ИИ с использованием машинного обучения (ML), чтобы они могли обрабатывать видеоконтент.

Как и в случае с другими формами контента, пользователи могут понимать и анализировать видеоконтент и определять его пригодность для конкретной платформы. Даже людям сложно анализировать видеоконтент, поскольку им может потребоваться отслеживать визуальную последовательность в дополнение к аудио и субтитрам, если они есть.

oСпособность работников привлекать таланты, проистекающая из нашего положения в наших сообществах в качестве предпочтительного работодателя, дает нам и нашим клиентам доступ к самым отборным талантам. Затем этот талант оттачивается с помощью нашей специальной команды по обучению, чтобы предоставить ресурс, готовый «сразу взяться за дело», будь то проект модерации контента веб-сайта или любой другой. Дополнительным преимуществом, которое обеспечивают кандидаты с последовательным потоком, является удобство обработки краткосрочных рамп объема. Вы никогда не сможете угадать, когда конкретная тема или веб-сайт станут вирусными, не так ли? Мы можем нанять почти сотню дополнительных ресурсов за 48 часов.

 

Как следует проводить модерацию контента веб-сайта?

Будучи частью гражданского общества, мы должны в целом знать правила и нормы, которые необходимо соблюдать. Однако каждый из нас, каждый веб-сайт и сообщество действуют в определенном контексте. Хотя участники таких сообществ и веб-сайтов должны знать об этом, никогда не будет лишним установить контекст для ясности. Публикация изображения женского лица в Германии может быть даже не замечена, но может быть сочтена оскорбительной в обществе на Ближнем Востоке.

Таким образом, установление правил и норм участия на веб-сайте или в сообществе можно считать первым шагом к модерации. Люди, которые участвуют в сообществе, делают это, зная, что такие правила существуют и их необходимо соблюдать. Это может относиться к языку, допустимым темам, внешним ссылкам, рекламе и чему угодно.

Должны быть последствия. Если нет последствий, установление правил часто становится бессмысленным занятием. Хотя владельцы не являются судебными органами, выносящими решения и приговоры правонарушителям, они могут принимать меры в рамках модерации контента веб-сайта. Обычно это приводит к порицанию, редактированию контента, удалению контента, ограничению доступа и, когда ничего не помогает, к полной блокировке доступа пользователей из сообщества. Они могут приниматься последовательно или могут основываться на серьезности нарушения.

Также рекомендуется заранее определить ожидания. Если вы решили, что будете следовать политике модерации, согласно которой Пользовательский контент будет виден только после его проверки, сообщите об этом пользователям. Это предотвратит ненужное беспокойство, пока они ждут появления своего контента. Это также хорошее напоминание пользователям о том, что не все приемлемо.

В дополнение к обученным человеческим ресурсам, oWorkers имеет доступ к новейшим технологическим инструментам, подходящим для этой деятельности, благодаря прочному партнерству с ведущими поставщиками технологий. Поскольку они используются для клиентских проектов, они также могут извлечь выгоду из этих технологий и инструментов. Добавьте к этому наши сверхзащищенные объекты, соответствующие требованиям GDPR, ISO (27001:2013 и 9001:2015), и у вас есть готовое решение. В связи с пандемией мы также оптимизированы для работы полностью из дома или офиса, в зависимости от меняющейся ситуации.

 

Проблема

Раздел 230 Закона о пристойности в сфере коммуникаций (CDA) делает Интернет динамичным рынком для взаимодействия и обмена идеями и информацией. Он обеспечивает посредническую защиту веб-сайтов как за контент, размещенный их пользователями, который может быть непристойным, так и за удаление контента, который может быть неприемлемым, чтобы сделать их веб-сайт более безопасным для более широкого круга людей. В некотором смысле, это способствует свободе слова и создает возможность для создания мерзкого контента, в то же время позволяя просматривать и оценивать контент, связан ли он с терроризмом, дипфейками, детской порнографией или сценами насилия, связанными с незаконным оборотом наркотиков. .

Учитывая, что Интернетом пользуются миллиарды людей, а каждую секунду создается астрономическое количество контента, человеческой модерации, которая по-прежнему считается самым безопасным методом, никогда не будет достаточно, учитывая также своевременную модерацию. Тысячи модераторов просматривают контент в эту минуту, пытаясь решить, подходит ли каждый найденный фрагмент.

Модераторы-люди, которые, по нашему мнению, по-прежнему являются лучшим вариантом для модерации, живут в своем личном аду, просматривая контент. Во-первых, им приходится тщательно балансировать между коммерческими интересами своего работодателя, ведь это, в конце концов, коммерческий бизнес, требованиями свободы слова и обеспечением безопасности и защищенности масс людей, которые будут подвергаться воздействию содержание. При этом они подвергают себя воздействию текста за текстом, аудио за аудио, изображения за изображением и видео за видео ужасающих изнасилований и убийств, жестокого обращения с детьми и разжигания ненависти. Все это постепенно отпечатывается в их сознании. Никогда нельзя сказать, к каким непредвиденным последствиям может привести такое воздействие.

В конце концов, это вопрос коллективной ответственности, хотя это может и не решить насущную проблему публикации непристойного контента. Но это помогает нам понять, что то, что происходит в Интернете, возможно, является отражением того, кто мы есть на самом деле. Мы не можем убежать от него. Легких решений может и не быть, но это наша проблема, и мы должны с ней справиться.

oWorkers понимают проблемы и готовы с ними справляться. Работая с наемным персоналом, в отличие от подрядчиков и фрилансеров, нанятых многими конкурентами, мы регулярно отслеживаем эффективность каждого человека в рамках более широкой системы управления карьерой.