Что такое machine learning? / Хабр

Данный пост содержит выдержки из одноименной статьи Дэниела Фагеллы, руководителя отдела исследований в компании Emerj от 26.02.2020. Дэниел является всемирно востребованным экспертом по последствиям ИИ в рамках конкурентных стратегий для лидеров бизнеса и лидеров государств. Его услугами пользуются ООН, Всемирный банк, Интерпол и ведущие компании.

Слегка укороченный перевод данной статьи служит доказательством концепции, изложенной мной в предыдущем посте от 24.04.2021 «Никто машину не обучает». В конце будет дана аргументация в поддержку тезиса предыдущего поста о том, что никто никого не обучает.

Прежде чем продолжить, следует еще раз определиться с понятием learning. Что такое learning? Во многих латинских языках learning имеет тот же корень, что и apprehending в английском (постижение, усвоение знаний): apprendre по-французски, aprender по-испански и по-португальски… Действительно, learning — это схватывание фрагмента реальности, его улавливание и перенос в наш мозг. В когнитивистике говорится, что learning состоит в формировании внутренней модели мира. Благодаря learning сырые данные, которые поражают наши чувства, превращаются в утонченные идеи, достаточно абстрактные, чтобы их можно было многократно использовать в новом контексте — в моделях реальности меньшего масштаба.

Главный тезис предыдущего поста звучал так:

Мы имеем феномен, который называется «усвоением знаний человеком и животными». Этот феномен объясняется теориями усвоения знаний (в частности павловской теорией условных-безусловных рефлексов). В 60-х годах XX-го века компьютерные ученые задались вопросом о том, как создать самообучающуюся машину, и дали классическое определение такой машины, как способной автоматически усваивать знания из данных, не будучи для этого программируемой. То есть признавалось, что вычислительную машину, в отличие от людей и животных, которые наделены такой способностью по природе, надо еще наделить способностью усваивать знания. Это делается путем строительства специальных моделей машинного усвоения знаний, в основе которых лежит алгоритм машинного усвоения. Строительство таких моделей и алгоритмов и является предметом подобласти ИИ под названием «машинное усвоение» (machine learning) знаний.

Приведенный ниже перевод сделан с учетом именно такого понимания термина «machine learning». Если вы настроены к такому пониманию , как говорится по-аглицки, upfront враждебно, то прошу не тратить свое время на мои призывы подумать о присоединении к принятому во всем мире пониманию machine learning как машинному (автоматическому) усвоению знаний, где под знанием подразумеваются закономерности, регулярности, шаблоны и линии поведения.

Итак, вот перевод. Все очепятки — мои…

Набрав в поисковой строке Google «что такое machine learning?», можно открыть ящик Пандоры из форумов, научных исследований и фейковой информации – и цель этой статьи состоит в том, чтобы упростить определение и понимание термина «машинное усвоение» благодаря прямой помощи со стороны группы экспертов-исследователей.

В дополнение к обоснованному, рабочему определению данного термина, мы подробно опишем проблемы и пределы, связанные с наделением машин способностью «думать», некоторые задачи, решаемые сегодня в рамках глубокого усвоения знаний (передовой подобласти машинного усвоения), и ключевые тезисы разработки приложений машинного усвоения для деловых вариантов использования.

Эта статья будет разбита на следующие ниже разделы:

• Что такое машинное усвоение?

• Как мы пришли к нашему определению (посредством разных точек зрения экспертов-исследователей)

• Базовые концепции машинного усвоения

• Визуальные представления моделей машинного усвоения

• Как мы обеспечиваем машины способностью усваивать знания

• Обзор трудностей и пределов машинного усвоения

• Краткое введение в глубокое усвоение знаний

• Цитируемые работы

• Интервью по данной теме

Мы собрали этот материал, чтобы помочь по любому интересующему вас вопросу о машинном усвоении – вы можете прокрутить страницу до интересующего вас раздела либо просто читать ее по порядку, начиная с приведенного ниже нашего определения термина «машинное усвоение знаний»:

Что такое машинное усвоение?

«Машинное усвоение знаний — это наука о том, как обеспечивать компьютеры способностью усваивать знания и действовать так же, как люди, и совершенствовать свое усвоение знаний в автономном режиме с течением времени, путем предоставления им данных и информации в форме эмпирических наблюдений и реально-практических взаимодействий»

Приведенное выше определение содержит в себе идеальную целевую установку, или конечную цель машинного усвоения знаний, сформулированную многочисленными исследователями в этой области. Эта статья предназначена для того, чтобы предоставить деловому читателю экспертную точку зрения на определение термина «машинное усвоение знаний» и показать принципы его работы. В сознании многих людей машинное усвоение и искусственный интеллект имеют одинаковое определение, однако есть несколько существенных различий, которые читатели должны уметь узнавать. Ссылки и соответствующие интервью приведены в конце этой статьи для дальнейшего изучения.

Как мы пришли к нашему определению

Как и в случае с любой концепцией, определение термина «машинное усвоение знаний» может несколько отличаться, в зависимости от того, кого вы спрашиваете. Мы прочесали Интернет и отыскали в авторитетных источниках пять практических определений:

• «Машинное усвоение в своей основе — это практика использования алгоритмов для анализа данных, усвоения из них знаний, а затем принятия решения или генерирования предсказания о чем-то, что присутствует в окружающем мире» – Nvidia 

• «Машинное усвоение — это наука о том, как наделять компьютеры способностью действовать без явного на то программирования» – Стэнфорд

• «Машинное усвоение основывается на алгоритмах, которые способны усваивать знания из данных, не опираясь в этом на программирование, которое в основном базируется на правилах» — McKinsey & Co.

• «Алгоритмы машинного усвоения могут выяснять пути выполнения важных задач посредством обобщения на основе примеров» – Вашингтонский университет

• «Область машинного усвоения стремится ответить на вопрос о том, «как строить компьютерные системы, которые совершенствуются автоматически по мере накопления опыта, и каковы фундаментальные законы, которые управляют всеми процессами усвоения знаний?» – Университет Карнеги Меллона

Указанные определения были разосланы экспертам, которых мы попросили эти определения скорректировать либо предоставить свое собственное. Наше вводное определение послужило поводом для самых разных откликов. Ниже приведено несколько из них:

Д-р Иошуа Бенжио, Монреальский университет:

Данный термин не должен определяться с использованием отрицаний (отсюда, пункты №2 и №3 исключаются). Вот мое определение:

Исследования по машинному усвоению знаний являются частью исследований в области искусственного интеллекта, призванных наделять компьютеры способностью приобретать знания посредством данных, наблюдений и взаимодействий с окружающим миром. И эти приобретенные знания должны позволять компьютерам делать правильные обобщения в новой обстановке.

Д-р Данко Николич, CSC и Институт Макса Планка:

(Пункт №2 с исправлением): Машинное усвоение знаний — это наука о том, как наделять компьютеры способностью действовать без явного на то программирования, и вместо оного наделять их возможностями усваивать решения самостоятельно.

Д-р Роман Ямпольский, Университет Луисвилла:

Машинное усвоение знаний — это наука о том, как наделять компьютеры способностью усваивать знания так же хорошо, как люди, или еще лучше.

Д-р Эмили Фокс, Вашингтонский университет:

Мое любимое определение приведено в пункте №5.

Базовые концепции машинного усвоения

Существует много разных типов алгоритмов машинного усвоения знаний, и десятки алгоритмов, если не сотни, публикуются каждый день. Их, как правило, группируют по стилю усвоения знаний (т. е. контролируемое усвоение, неконтролируемое усвоение, полу-контролируемое усвоение) либо по сходству формы или функции (т. е. классификация, регрессия, дерево решений, кластеризация, глубокое усвоение и т. д.). Независимо от стиля усвоения или функции, все комбинации алгоритмов машинного усвоения знаний состоят из следующих ниже компонентов:

• Представление (набор классификаторов или понятный компьютеру язык)

• Оценивание (целевая функция/функция оценивания)

• Оптимизация (метод поиска; нередко, например, классификатор с наивысшей оценкой; используются как готовые, так и конкретно-прикладные методы оптимизации)

Представление	Оценивание	Оптимизация
Экземпляры     K-ближайших соседей     Опорно-векторные машины Гиперплоскости     Наивный Байес     Логистическая регрессия Деревья решений Наборы правил     Пропозициональные правила     Логические программы Нейронные сети Графические модели     Байесовы сети     Условные случайные поля	Точность/частота ошибки Прецизионность и полнота Квадратическая ошибка Правдоподобие Апостериорная вероятность Прирост информации Дивергенция Кульбака-Лейблера Стоимость/полезность Зазор/Маржа	Комбинаторная оптимизация     Жадный поиск     Лучевой поиск     Поиск методом ветвей и границ Непрерывная оптимизация     Неограниченная         Градиентный спуск         Конъюгатный градиент         Квази-ньютоновы методы     Ограниченная         Линейное программирование         Квадратичное программирование

^{Автор таблицы: д-р Педро Доминго, Вашингтонский университет}

Фундаментальная цель алгоритмов машинного усвоения знаний — обобщать за пределами тренировочных образцов, т. е. успешно интерпретировать данные, которые они никогда раньше не «видели».

Визуализации моделей машинного усвоения знаний

Концепции и изложенные по пунктам характерные особенности так или иначе приводят к одному. Когда люди задаются вопросом о том, что такое машинное усвоение, они хотят увидеть ответ воочию, чтобы понять, что оно делает. Ниже, в качестве дополнительной информации, приведено несколько визуализаций моделей машинного усвоения со ссылками на источник.

Модель на основе дерева решений:

Дерево решений

Модель на основе гауссовой смеси:

Гауссова смесь

Нейронная сеть с отсевом

Как мы наделяем машины способностью усваивать знания

Машины наделяются способностью усваивать знания посредством самых разнообразных подходов — от использования базовых деревьев решений и кластеризации до слоев искусственных нейросетей (последние уступили пальму первенства глубокому усвоению), в зависимости от стоящей перед вами задачи и типа (и объема) имеющихся у вас данных. Указанная динамика проявляется в таких разнообразных приложениях, как медицинская диагностика или самоуправляемые автомобили.

Хотя акцент часто делается на отборе наилучшего алгоритма усвоения, исследователи обнаружили, что некоторые наиболее интересные проблемы возникают из-за того, что ни один из алгоритмов машинного усвоения не работает на должном уровне. В большинстве случаев причиной тому являются проблемы с тренировочными данными. Кроме того, это также происходит, когда машинное усвоение применяется в новых сферах деятельности.

Исследования, проводимые на реально существующих приложениях, часто приводят к прорывам в этой области, и причины тому двояки: 1) выявление границ и пределов существующих методов, 2) исследователи и разработчики сотрудничают с экспертами из прикладной сферы деятельности и эффективно задействуют это время и их опыт в целях повышения результативности системы.

Иногда прорывы также происходят «непреднамеренно». В качестве такого примера можно взять модельные ансамбли, или комбинации многочисленных алгоритмов усвоения, позволяющие повышать точность. Коллективы разработчиков, участвовавшие в конкурсе «Приз Netflix» 2009 года, обнаружили, что они стали получать наилучшие результаты после того, как совместили своих учеников с учениками других коллективов, что привело к сверхбыстрому рекомендательному алгоритму (подробнее о том, почему они не применили свой ансамбль, читайте в блоге Netflix).

Важный момент (выявленный из интервью и бесед с экспертами в этой области) с точки зрения применения машинного усвоения знаний в бизнесе и в других сферах состоит в том, что машинное усвоение — это не просто и даже совсем не автоматизация, как нередко принято неправильно понимать. Если вы так думаете, то вы неизбежно упустите предоставляемые машиной ценные сведения, и вытекающие из этого возможности (например, переосмысление всей деловой модели, как это произошло в обрабатывающей промышленности и сельском хозяйстве).

Машины, способные усваивать знания, полезны людям тем, что, располагая всей своей вычислительной мощью, они способны очень быстро выделять или отыскивать закономерности в больших (или других) данных, которые в противном случае были бы пропущены людьми. Машинное усвоение — это инструмент, который используется для повышения способности людей решать задачи и делать обоснованные выводы по широкому спектру вопросов, от помощи в диагностике заболеваний до отыскания решений проблемы глобального изменения климата.

Обзор трудностей и пределов машинного усвоения

«Машинное усвоение не способно получать что-то из ничего… но оно умеет получать больше из меньшего» – Доктор Педро Доминго, Вашингтонский университет

Исторически две самые большие проблемы в машинном усвоении связаны с переподгонкой (при которой модель демонстрирует смещенность в сторону тренировочных данных и неспособность обобщать на новых данных и/или дисперсию, т. е. усваивает случайную информацию во время тренировки на новых данных) и с размерностью (алгоритмы с большим числом признаков работают в более высоких/множественных размерностях, что затрудняет понимание данных). Наличие довольно большого набора данных в некоторых случаях также считалось серьезной проблемой.

Одной из наиболее распространенных ошибок среди новичков в машинном усвоении является иллюзия успеха при получении успешных результатов тестирования на тренировочных данных; Доминго (и другие) подчеркивают, что во время тестирования моделей важно иметь отдельный набор данных, и использовать для тестирования отобранной модели только эти отложенные данные, а в последствии усваивать закономерности на всем наборе данных.

Когда алгоритм усвоения (т. е. ученик) показывает слабую результативность, нередко успех достигается гораздо быстрее, если подавать в машину больше данных, доступность которых в последние годы, как известно, была главнейшим фактором улучшения алгоритмов машинного и глубокого усвоения; однако бывает, что это приводит к трудностям в обеспечении масштабируемости. И тем не менее, время на усвоение этих данных остается проблемой номер один.

С точки зрения своего назначения машинное усвоение знаний само по себе не является самоцелью или окончательным техническим решением. Более того, использовать его в качестве всеохватывающего технического решения нецелесообразно; вместо этого, метод решения задачи нередко лучше всего идентифицируется путем постановки более конкретного вопроса.

Глубокое усвоение и новейшие разработки в нейронных сетях

Глубокое усвоение знаний подразумевает исследование и разработку машинных алгоритмов усвоения подходящего представления данных на нескольких слоях абстракции (способах организации компьютерных систем). Недавнее пристальное внимание к глубокому усвоению (и его публичное освещение) со стороны DeepMind, Facebook и других организаций высветила это направление как «следующий рубеж» машинного усвоения знаний.

Международная конференция по машинному усвоению (International Conference on Machine Learning, аббр. ICML) считается одной из самых важных в мире. В 2019 году она проводилась в Нью-Йорке и собрала исследователей со всего мира, работающих над решением животрепещущих проблем в области глубокого усвоения знаний:

1. Неконтролируемое усвоение в малых наборах данных

2. Усвоение на основе симуляций и переносимость в реальный мир

За последнее десятилетие исследователи систем глубокого усвоения добились больших успехов в таких областях, как обнаружение и распознавание объектов, преобразование текста в речь, извлечение информации и другие. В настоящее время исследования сосредоточены на разработке эффективного машинного усвоения знаний, т. е. систем глубокого усвоения, которые могут усваивать знания с более высокой эффективностью, с такой же результативностью, но за меньшее время и с меньшим объемом данных, в таких передовых областях, как персонализированное здравоохранение, стимулированное средой усвоение знаний роботом (robot reinforcement learning), анализ настроений и другие.

Ключевые тезисы по применению машинного усвоения

Ниже приводится подборка лучших практических подходов и концепций применения машинного усвоения, которые мы собрали из наших интервью для серии подкастов, а также из некоторых других источников. Мы надеемся, что некоторые из этих принципов прояснят приемы использования машинного усвоения и помогут избежать некоторых распространенных ошибок, с которыми компании и исследователи могут столкнуться при запуске проекта, связанного с машинным усвоением.

• Возможно, наиболее важным фактором в успешных проектах машинного усвоения являются признаки, используемые для описания данных (специфичных для конкретной сферы деятельности), и, безусловно, наличие адекватных данных для тренировки моделей

• Причина большинства случаев слабой работы алгоритмов связана с наличием проблем в тренировочных данных (например, недостаточность/искаженность данных; их зашумленность; недостаточное для принятия решений число описываемых данными признаков

• «Из простоты не следует точность» – (согласно Доминго) между числом модельных параметров и склонностью к переподгонке нет никакой связи

• По возможности следует получать экспериментальные данные (в отличие от эмпирических наблюдений, какой-либо контроль над которыми у нас отсутствует) (например, данные, почерпнутые из отправки разных вариантов электронного письма случайной выборке испытуемых из пользовательской базы)

• Неважно, какого рода данными мы пользуемся — причинно-следственными или коррелятивными, — более важным является предсказание последствий наших действий

• Для того, чтобы отобранный вами классификатор или алгоритм усвоения показывал хорошую результативность на свежих данных, нужно всегда откладывать порцию тренировочных данных, чтобы проводить перекрестную валидацию.

Цитируемые работы

1 – http://homes.cs.washington.edu/~pedrod/papers/cacm12.pd

2 – http://videolectures.net/deeplearning2016_precup_machine_learning/

3 – http://www.aaai.org/ojs/index.php/aimagazine/article/view/2367/2272

4 – https://research.facebook.com/blog/facebook-researchers-focus-on-the-most-challenging-machine-learning-questions-at-icml-2016/

5 – https://sites.google.com/site/dataefficientml/

6 – http://www.cl.uni-heidelberg.de/courses/ws14/deepl/BengioETAL12.pdf

Интервью в Emerj по темам, связанным с машинным усвоением знаний

Лучший способ познакомиться с концепциями искусственного интеллекта — читать исследовательские работы и знакомиться с приложениями выдающихся умов в этой области. Ниже приведен краткий список нескольких интервью с исследователями машинного усвоения, многие из которых будут интересны желающим разведать эти темы подробнее:

• Наука машинного усвоения знаний с д-ром Иошуа Бенжио (один из ведущих мировых экспертов в области МУ)

• Д-р Лайл Унгар из UPENN oб использовании машинного усвоения знаний для выявления шаблонов и смысла в социальных медиа

• Консультант по ИИ Лорьен Пратт из Кремниевой долины о деловых вариантах использования технологии машинного усвоения знаний

Выводы из перевода статьи

Приведенный выше перевод наглядно демонстрирует, что предлагаемый русскоязычный вариант термина machine learning как «машинное (или автоматическое) усвоение знаний» лишен двусмысленности (присущей слову «обучение») и хорошо укладывается в принятую во всем мире парадигму, проистекающую из теорий усвоения знаний.

Этот вывод замечательно резюмируется ниже:

Первостепенная цель человека состоит в том, чтобы наделять компьютеры способностью (1) усваивать знания автоматически без вмешательства или помощи со стороны человека и (2) соответствующим образом корректировать свои действия.

Таким образом, роль человека заключается лишь в обеспечении машины когнитивными возможностями — он создает условия, а все остальное делает модель машинного усвоения знаний.

В поддержку тезиса «никто машину не обучает»

В заключение, несколько слов в защиту тезиса предыдущего поста о том, что никто машину не обучает и приведенного выше заключения. Высказывания типа «я обучаю компьютер» или «мы обучили нейросеть», звучат, по меньшей мере, наивно, если рассуждать в рамках парадигмы, принятой за рубежом.

Возьмем шаги типичного рабочего потока:

• сбор данных,

• предобработка данных,

• инженерия признаков,

• отбор модели,

• тренировка модели

• гиперпараметрическая настройка модели,

• валидация работоспособности модели,

• оценивание результативности модели,

• продукционализация модели,

• эксплуатация модели в производстве,

• перетренировка модели в случае дрейфа данных или концепции модели.

На каком шаге человек говорит своей модели, что нужно делать, т.е. где происходит «обучение» им своей модели? Правильный ответ — НИГДЕ.

На этапах сбора и предобработки данных человек вообще не касается модели. Он выполняет роль поставщика и предобработчика. Далее, он выступает в роли наладчика, разбивая данные на части — тренировочный, валидационный и тестовый срезы, подает тренировочные данные в модель и запускает ее. Иными словами, выполняет тренировку модели. Заложенный в модель самообучающийся алгоритм делает несколько пробежек по тренировочным данным до полного завершения или до схождения и усваивает закономерности сам.

Теперь человек в цикле выполняет валидацию модели на валидационных данных, оценивает ее результативность на тестовых данных и выполняет настройку гиперпараметров модели до тех пор, пока не получит нужную результативность. Он задает интервалы значений гиперпараметров и запускает алгоритм оптимизации (случайный поиск, генетический алгоритм и пр. ), который находит оптимальные значения за него. Он лишь подставляет их в модель. Так или иначе, человек никаким образом не модифицирует находящийся внутри модели алгоритм усвоения.

И в заключении на этапе запуска модели в производство у человека чисто обеспечительская функция — ML/Ops.

Таким образом, на всем протяжении работы модель нигде не «обучается» извне, и единственным местом, откуда человек оказывает воздействие на модель, являются гиперпараметры, т.е. внешние рычаги, да и то это воздействие влияет лишь на ее способность усваивать знания, однако от этого ее способность никуда не девается! Она лишь замедляется/убыстряется или улучшается/ухудшается. Одним словом, человек является кем угодно — поставщиком, наладчиком и организатором работы алгоритмической машины под названием «модель машинного усвоения», только не учителем.

Никакого волшебства, никаких демиургов-учителей машин!

Прошу отнестись с пониманием 😉

Машинное обучение (machine learning): что это простыми словами

Машинное обучение — это методы искусственного интеллекта, которые позволяют построить обучаемые модели для разных целей: например, автоматизации процессов, автоматического перевода текстов, распознавания изображений. Именно машинное обучение помогает ранжировать контент в лентах социальных сетей и создавать чат-ботов, которые общаются на естественном языке.

Выделяют два типа машинного обучения: дедуктивное и индуктивное.

Дедуктивное обучение (экспертные системы). В этом случае в задачах есть сформулированные и формализованные знания. Например, это может быть база данных, в которой указано, что если температура больше 30 градусов, то нужно включить кондиционер, а если на улице идет дождь — закрыть окна. Нужно вывести из них новое правило, которое можно применить к конкретному случаю. Экспертные системы чаще относят к ответвлению кибернетики — науки об управлении информацией в сложных системах, — чем к машинному обучению.

Индуктивное обучение подразделяется:

• на обучение с учителем. Пример задач: по предыдущему курсу валют предсказать курс на завтрашний день; отличить по изображениям кошек от собак (в этом случае изначально должна быть информация, на какой картинке и где изображены кошка и собака).
• Обучение без учителя. Пример задачи: разделить группу пользователей сайта на основе их интересов или демографических характеристик. Обычно нужно знать, сколько групп уже имеется в данных.
• Обучение с подкреплением (reinforcement learning). Пример: игра Super Mario, в которой компьютер (агент) взаимодействует со средой (уровень игры) и получает положительные или отрицательные очки.
• Активное обучение. Пример: подсказка слов на клавиатуре телефона.

Многие методы индуктивного обучения связаны с извлечением информации (information extraction). Например, создание для пользователя дополнительного признака на основе его транзакций, чтобы понять, потратил ли клиент в этом месяце больше, чем в предыдущем.

Курс IT-специалист с нуля Поможем определить подходящую вам IT-профессию и освоить её с нуля. Вы на практике попробуете разные направления: разработку на разных языках, аналитику данных, Data Science, менеджмент в IT. Это самый подходящий курс для построения карьеры в IT в новой реальности.

Подробнее

Для этого алгоритма обучения нужны данные, на основе которых будет строиться модель. К supervised learning относятся задачи классификации, прогнозирования и ранжирования и регрессии.

Например, на основе данных о продажах квартир в Москве можно создать алгоритм, который будет оценивать стоимость жилья, выставляемого на продажу. Для алгоритма нужны данные вида X, Y. Если предположить, что X — это таблица с параметрами домов, то Y — таблица со стоимостью каждого дома. Таким образом можно обучить модель предсказывать по параметрам дома его стоимость. Обычно это выражают в виде функции F(X) = Y.

Небольшая часть данных для алгоритма будет выглядеть так:

Благодаря этим данным алгоритм сможет определить цену квартиры в Москве.

При обучении без учителя задействуются неклассифицированные данные. Главное отличие от предыдущего пункта — это то, что тут нет Y, то есть имеется список домов, но неизвестна их стоимость. В этих данных нужно будет найти закономерности, а также создать их структуру. К формам обучения без учителя относят, например:

• кластеризацию — разбивку данных на похожие категории. Например, космические объекты объединяются в конкретные категории по схожим признакам: размеру, удаленности, типу;
• уменьшение размерности — снижение количества признаков наборов данных. Например, можно визуализировать данные о пользователях (их пол, возраст, платежеспособность, город и т.д.) на одном графике. Для этого какие-то признаки нужно убрать, а какие-то — трансформировать специальными методами.

Вернемся к примеру с продажей квартир. Бывает, что невозможно собрать полную информацию по каждому объекту. Тогда алгоритмы машинного обучения будут искать закономерности среди имеющихся вводных.

Так, можно создать алгоритм, автоматически определяющий разные рыночные сегменты. Тогда можно обнаружить, что покупатели недвижимости рядом с университетом выбирают маленькие квартиры, а владельцы коттеджей — дома с большой площадью.

В этом случае есть так называемый агент (A), который обычно моделируется нейронной сетью. Этот агент должен на каждом шаге взаимодействия со средой (E) предсказывать действие, позволяющее максимизировать награду, которую можно получить. Обучение с подкреплением больше всего похоже на то, как учатся дети: если ребенок дотронется до горячего чайника, он обожжется, получит негативную награду (или опыт) и в дальнейшем перестанет его трогать. Сейчас обучение с подкреплением активно используется для сборки кубика Рубика и в компьютерных играх.

TensorFlow.js
Machine learning tools
Brain. js

PHP-OPENCV
RubixML
PHP-ML
Tesseract for PHP

Dplyr
MLR
Caret

SciPy
NumPy
Pandas
Keras
Skikit-learn

Massive Online Analysis (MOA)

Weka
MALLET
ELKI

TensorFlowSharp
ML.NET
Accord. NET

404: Страница не найдена

Корпоративный ИИ

Страница, которую вы пытались открыть по этому адресу, похоже, не существует. Обычно это результат плохой или устаревшей ссылки. Мы извиняемся за любые неудобства.

Что я могу сделать сейчас?

Если вы впервые посещаете TechTarget, добро пожаловать! Извините за обстоятельства, при которых мы встречаемся. Вот куда вы можете пойти отсюда:

Поиск

• Узнайте последние новости.
• Наша домашняя страница содержит самую свежую информацию о корпоративном искусственном интеллекте.
• Наша страница «О нас» содержит дополнительную информацию о сайте, на котором вы находитесь, Enterprise AI.
• Если вам нужно, свяжитесь с нами, мы будем рады услышать от вас.

Просмотр по категории

Бизнес-аналитика

• Райт из Google называет встроенную BI ведущей тенденцией аналитики

  В то время как ИИ превратился в важную помощь в принятии решений, вливая данные в рабочие процессы бизнес-пользователей в реальном . ..

• Alteryx делает Analytics Cloud GA, добавляет новые инструменты

  Через год после представления облачной версии своего пакета поставщик сделал платформу общедоступной с обновлениями …

• Databricks добавляет новый инструмент разработчика на платформу Lakehouse

  Поставщик теперь позволяет разработчикам создавать приложения и модели, используя знакомые инструменты в их самой знакомой среде до…

ИТ-директор

• Цены на серверы растут, поскольку инфляция все еще усложняет ИТ

  Технологические продукты остаются смешанной инфляционной сумкой, поскольку цены на серверы растут, затраты на хранение снижаются, а поставки оборудования опережают …

• Убыток Meta/Inathin показывает, как FTC пытается доказать свою правоту

  В погоне за крупными технологическими компаниями FTC предполагает, что их доминирование основано на приобретении зарождающихся компаний — теория . ..

• Дела Верховного суда могут привести к изменениям в разделе 230

  Два предстоящих дела Верховного суда могут существенно изменить действие Раздела 230, защищающего платформы социальных сетей от ответственности…

Управление данными

• Избегайте разрастания данных с помощью единого источника достоверной информации

  Исследование Enterprise Strategy Group показывает, что организации испытывают трудности с анализом данных в режиме реального времени. Единственный источник правды может…

• InfluxData привлекает 81 миллион долларов для расширения возможностей временных рядов

  Поставщик является создателем и ведущим спонсором базы данных InfluxDB с открытым исходным кодом и планирует использовать новое финансирование для дальнейшего …

• ESG прогнозирует 2023 смены для DataOps, управления данными

  Организации будут использовать облачные технологии и DataOps для доступа к анализу данных в реальном времени и принятию решений в 2023 году, согласно .

  ..

ЭРП

• Проблемы и преимущества облака для финансового отдела

  Перенос финансовой функции в облако может помочь компаниям. Узнайте о некоторых преимуществах, которые могут возникнуть в результате этого, как …

• ERP и PLM: в чем разница?

  Гибкое проектирование и управление продуктами являются ключевыми факторами в сегодняшнем постоянно меняющемся бизнес-ландшафте. Узнайте, почему PLM может помочь и как …

• QAD добавляет подключенную рабочую платформу Redzone

  Поставщик ERP QAD приобретает поставщика Redzone, обеспечивая точку опоры на рынке программного обеспечения для подключенных сотрудников, которое помогает производителям…

Что такое машинное обучение и почему оно важно?

Что такое машинное обучение и почему оно важно? | Micro Focus

Перейти к основному содержанию Перейти к нижнему колонтитулу

• Технические темы
• Машинное обучение

Машинное обучение — это разновидность искусственного интеллекта, ориентированная на создание систем, которые могут учиться на исторических данных, выявлять закономерности и принимать логические решения практически без вмешательства человека. Это метод анализа данных, который автоматизирует построение аналитических моделей за счет использования данных, охватывающих различные формы цифровой информации, включая числа, слова, клики и изображения.

Приложения машинного обучения учатся на входных данных и постоянно повышают точность выходных данных, используя автоматизированные методы оптимизации. Качество модели машинного обучения зависит от двух основных аспектов:

1. Качество входных данных. Распространенная фраза о разработке алгоритмов машинного обучения — «мусор на входе, мусор на выходе». Поговорка означает, что если вы введете некачественные или беспорядочные данные, результат вашей модели будет в значительной степени неточным.

2. Сам выбор модели. В машинном обучении существует множество алгоритмов, которые может выбрать специалист по обработке и анализу данных, каждый из которых имеет свое конкретное применение. Крайне важно выбрать правильный алгоритм для каждого варианта использования. Нейронные сети — это тип алгоритма, вокруг которого много шумихи из-за высокой точности и универсальности, которые он может обеспечить. Однако для небольших объемов данных выбор более простой модели часто дает лучшие результаты.

Чем лучше модель машинного обучения, тем точнее она может находить признаки и закономерности в данных. Это, в свою очередь, означает, что более точными будут его решения и прогнозы.

Ускорьте свою SOC с помощью машинного обучения

Почему важно машинное обучение?

Зачем использовать машинное обучение? Машинное обучение приобретает все большее значение из-за все более огромных объемов и разнообразия данных, доступа и доступности вычислительных мощностей, а также наличия высокоскоростного Интернета. Эти факторы цифрового преобразования позволяют быстро и автоматически разрабатывать модели, которые могут быстро и точно анализировать чрезвычайно большие и сложные наборы данных.

Существует множество вариантов использования машинного обучения для сокращения расходов, снижения рисков и улучшения общего качества жизни, включая рекомендации продуктов/услуг, обнаружение нарушений кибербезопасности и создание беспилотных автомобилей. Благодаря большему доступу к данным и вычислительной мощности машинное обучение с каждым днем ​​становится все более распространенным явлением и вскоре будет интегрировано во многие аспекты человеческой жизни.

Как работает машинное обучение?

При создании модели машинного обучения необходимо выполнить четыре основных шага.

1. Выберите и подготовьте набор обучающих данных

Обучающие данные — это информация, представляющая данные, которые приложение машинного обучения будет принимать для настройки параметров модели. Обучающие данные иногда помечаются, что означает, что они были помечены для вызова классификаций или ожидаемых значений, которые должен прогнозировать режим машинного обучения. Другие обучающие данные могут быть немаркированы, поэтому модели придется извлекать функции и назначать кластеры автономно.

Для маркировки данные должны быть разделены на обучающую и проверочную подгруппы. Первый используется для обучения модели, а второй — для оценки эффективности модели и поиска способов ее улучшения.

2. Выберите алгоритм для применения к набору обучающих данных

Тип алгоритма машинного обучения, который вы выберете, в первую очередь будет зависеть от нескольких аспектов:

• Является ли вариант использования предсказанием значения или классификацией, которая использует помеченное обучение данные или вариант использования — кластеризация или уменьшение размерности, в котором используются немаркированные обучающие данные
• Сколько данных в обучающем наборе
• Характер проблемы, которую модель пытается решить

Для прогнозирования или классификации обычно используются алгоритмы регрессии, такие как обычная регрессия наименьших квадратов или логистическая регрессия. С немаркированными данными вы, вероятно, будете полагаться на алгоритмы кластеризации, такие как k-mean или ближайший сосед. Некоторые алгоритмы, такие как нейронные сети, можно настроить для работы как с кластеризацией, так и с прогнозированием.

3. Обучение алгоритма для построения модели

Обучение алгоритма — это процесс настройки переменных и параметров модели для более точного прогнозирования соответствующих результатов. Обучение алгоритма машинного обучения обычно является итеративным и использует различные методы оптимизации в зависимости от выбранной модели. Эти методы оптимизации не требуют вмешательства человека, что является частью возможностей машинного обучения. Машина учится на данных, которые вы ей предоставляете, практически без каких-либо конкретных указаний от пользователя.

4. Использование и совершенствование модели

Последним шагом является ввод в модель новых данных для повышения ее эффективности и точности с течением времени. Откуда будет поступать новая информация, зависит от характера решаемой проблемы. Например, модель машинного обучения для беспилотных автомобилей будет получать реальную информацию о дорожных условиях, объектах и ​​правилах дорожного движения.

Примеры использования машинного обучения в SOC

Методы машинного обучения

Что такое машинное обучение с учителем

Алгоритмы машинного обучения с учителем используют помеченные данные в качестве обучающих данных, когда известны соответствующие выходные данные для входных данных. Алгоритм машинного обучения принимает набор входных данных и соответствующих правильных выходных данных. Алгоритм сравнивает свои собственные предсказанные выходные данные с правильными выходными данными для расчета точности модели, а затем оптимизирует параметры модели для повышения точности.

Контролируемое машинное обучение опирается на шаблоны для прогнозирования значений неразмеченных данных. Чаще всего он используется в автоматизации, для больших объемов записей данных или в случаях, когда вводится слишком много данных для эффективной обработки людьми. Например, алгоритм может обнаруживать транзакции по кредитным картам, которые могут быть мошенническими, или идентифицировать страхового клиента, который, скорее всего, подаст иск.

Что такое неконтролируемое машинное обучение

Неконтролируемое машинное обучение лучше всего применять к данным, которые не имеют структурированного или объективного ответа. Не существует предварительного определения правильного выхода для данного входа. Вместо этого алгоритм должен понимать входные данные и формировать соответствующее решение. Цель состоит в том, чтобы изучить информацию и определить структуру внутри нее.

Неконтролируемое машинное обучение хорошо работает с транзакционной информацией. Например, алгоритм может идентифицировать сегменты клиентов, которые обладают схожими атрибутами. Клиенты в этих сегментах затем могут быть нацелены на аналогичные маркетинговые кампании. Популярные методы, используемые в неконтролируемом обучении, включают отображение ближайших соседей, самоорганизующиеся карты, разложение по сингулярным числам и кластеризацию k-средних. Алгоритмы впоследствии используются для сегментации тем, выявления выбросов и рекомендации элементов.

В чем разница между контролируемым и неконтролируемым машинным обучением?

Аспект	Обучение под наблюдением	Обучение без учителя
Процесс	Входные и выходные переменные предоставляются для обучения модели.	Для обучения модели предоставляются только входные данные. Выходные данные не используются.
Входные данные	Использует помеченные данные.	Использует неразмеченные данные.
Поддерживаемые алгоритмы	Поддерживает алгоритмы регрессии, алгоритмы на основе экземпляров, алгоритмы классификации, нейронные сети и деревья решений.	Поддерживает алгоритмы кластеризации, алгоритмы ассоциации и нейронные сети.
Сложность	Проще.	Более сложный.
Субъективность	Цель.	Субъективно.
Количество классов	Количество классов известно.	Количество классов неизвестно.
Основной недостаток	Классификация массивных данных с контролируемым обучением затруднена.	Выбор количества кластеров может быть субъективным.
Основная цель	Обучите модель прогнозировать выходные данные при представлении новых входных данных.	Найдите полезную информацию и скрытые закономерности.

На что способно машинное обучение: машинное обучение в реальном мире

Несмотря на то, что функциональность машинного обучения существует уже несколько десятилетий, беспрецедентное значение ему придала недавняя способность применять и автоматически выполнять сложные математические вычисления с использованием больших данных. изысканность. Область применения машинного обучения сегодня широка: от корпоративных AIOps до розничной торговли в Интернете. Некоторые реальные примеры возможностей машинного обучения сегодня включают следующее:

• Кибербезопасность использует поведенческую аналитику для выявления подозрительных или аномальных событий, которые могут указывать на внутренние угрозы, APT или атаки нулевого дня.
• Проекты беспилотных автомобилей, такие как Waymo (дочерняя компания Alphabet Inc.) и Tesla Autopilot, которые на шаг ниже реальных беспилотных автомобилей.
• Цифровые помощники, такие как Siri, Alexa и Google Assistant, которые ищут информацию в Интернете в ответ на наши голосовые команды.
• Индивидуальные рекомендации, основанные на алгоритмах машинного обучения на веб-сайтах и ​​в таких приложениях, как Netflix, Amazon и YouTube.
• Решения для обнаружения мошенничества и обеспечения киберустойчивости, которые объединяют данные из нескольких систем, выявляют клиентов, демонстрирующих поведение с высокой степенью риска, и выявляют модели подозрительной активности. Эти решения могут использовать контролируемое и неконтролируемое машинное обучение для классификации транзакций финансовых организаций как мошеннических или законных. Вот почему потребитель может получать текстовые сообщения от компании-эмитента кредитной карты, подтверждающие законность необычной покупки с использованием финансовых данных потребителя. Машинное обучение стало настолько продвинутым в области мошенничества, что многие компании, выпускающие кредитные карты, рекламируют потребителям отсутствие вины, если мошеннические транзакции не обнаруживаются алгоритмами финансовой организации.
• Распознавание изображений претерпело значительные улучшения и может надежно использоваться для распознавания лиц, чтения почерка на депонированных чеках, мониторинга движения и подсчета количества людей в помещении.
• Спам-фильтры, которые обнаруживают и блокируют нежелательную почту из почтовых ящиков.
• Утилиты, которые анализируют данные датчиков для поиска способов повышения эффективности и сокращения расходов.
• Носимые медицинские устройства, которые собирают ценные данные в режиме реального времени для непрерывной оценки состояния здоровья пациентов.
• Такси-приложения, оценивающие дорожную обстановку в режиме реального времени и предлагающие наиболее эффективный маршрут.
• Анализ тональности определяет тон строки текста. Хорошими приложениями анализа настроений являются Twitter, отзывы клиентов и респонденты опросов:
  • Твиттер: один из способов оценки брендов — определение тона твитов, направленных на человека или компанию. Такие компании, как Crimson Hexagon и Nuvi, обеспечивают это в режиме реального времени.
  • Отзывы клиентов: вы можете определить тон отзывов клиентов, чтобы оценить, как работает ваша компания. Это особенно полезно, если нет системы рейтинга в сочетании с отзывами клиентов в свободном тексте.
  • Опросы: использование анализа настроений в ответах на опросы с произвольным текстом может дать вам краткую оценку того, как чувствуют себя респонденты вашего опроса. Qualtrics реализовала это в своих опросах.
• Анализ сегментации рынка использует неконтролируемое машинное обучение для группировки клиентов в соответствии с покупательскими привычками для определения различных типов или личностей клиентов. Это позволяет вам лучше узнать ваших самых ценных или недостаточно обслуживаемых клиентов.
• Легко нажать ctrl+f для поиска в документе точных слов и фраз, но если вы не знаете точной формулировки, которую вы ищете, поиск документов может быть затруднен. Машинное обучение может использовать такие методы, как нечеткие методы, а моделирование тем может значительно упростить этот процесс, позволяя вам искать документы, не зная точной фразы, которую вы ищете.

Текстовая и мультимедийная аналитика на основе машинного обучения

Роль машинного обучения будет только расти

По мере роста объемов данных, увеличения вычислительной мощности, расширения полосы пропускания Интернета и повышения квалификации специалистов по обработке и анализу данных машинное обучение будет способствовать все большей и большей эффективности на работе и дома.

В связи с постоянно растущими киберугрозами, с которыми сегодня сталкиваются предприятия, машинное обучение необходимо для защиты ценных данных и защиты внутренних сетей от хакеров. Наше лучшее программное обеспечение UEBA SecOps, ArcSight Intelligence, использует машинное обучение для обнаружения аномалий, которые могут указывать на злонамеренные действия.