Задачи машинного обучения — ML.NET

• Статья
• 11/28/2022
• Чтение занимает 8 мин

Задача машинного обучения — это тип прогноза или вывода, основанный на возникшей проблеме или на вопросе, а также доступных данных. Например, задача классификации назначает данные категориям, а задача кластеризации группирует данные в соответствии со сходством.

Задачи машинного обучения полагаются на шаблоны в данных, а не на явное программирование.

В этой статье описываются разные задачи машинного обучения, которые вы можете выбрать в ML.NET, и распространенные варианты их использования.

Определив задачу для своего сценария, выберите наилучший алгоритм для обучения модели.

Далее перечислены доступные алгоритмы для каждой задачи.

Двоичная классификация

Задача контролируемого машинного обучения, которая прогнозирует распределение элементов данных по двум классам (категориям). На вход алгоритма классификации подается набор примеров с метками, каждая из которых представляет собой целое число 0 или 1. Результатом работы алгоритма двоичной классификации является классификатор, который умеет прогнозировать класс для новых экземпляров без метки. Вот несколько примеров для сценария двоичной классификации:

• Распределение комментариев Twitter по тональности — позитивные или негативные.
• Диагностика пациента на наличие определенной болезни.
• Принятие решений о присвоении отметки «спам» сообщению электронной почты.
• Определение того, содержит ли фотография определенный элемент, например изображение собаки или фрукта.

Дополнительные сведения см. в статье о двоичной классификации в Википедии.

Алгоритмы обучения двоичной классификации

Вы можете обучить модель двоичной классификации, используя следующие алгоритмы:

• AveragedPerceptronTrainer
• SdcaLogisticRegressionBinaryTrainer
• SdcaNonCalibratedBinaryTrainer
• SymbolicSgdLogisticRegressionBinaryTrainer
• LbfgsLogisticRegressionBinaryTrainer
• LightGbmBinaryTrainer
• FastTreeBinaryTrainer
• FastForestBinaryTrainer
• GamBinaryTrainer
• FieldAwareFactorizationMachineTrainer
• PriorTrainer
• LinearSvmTrainer

Входные и выходные данные двоичной классификации

Для получения наилучших результатов обучения двоичной классификации обучающие данные должны быть сбалансированы (т.  е. число положительных и отрицательных обучающих данных должно быть одинаковым). Отсутствующие значения необходимо обработать до обучения.

Входные данные столбца меток должны иметь тип Boolean. Входные данные столбца функций должны быть вектором Single фиксированного размера.

С помощью этих алгоритмов обучения выводятся следующие столбцы:

Имя выходного столбца	Тип столбца	Описание
Score	Single	Необработанная оценка, рассчитанная моделью.
PredictedLabel	Boolean	Прогнозируемая метка, зависящая от знака оценки. Отрицательная оценка соответствует значению false, а положительная — значению true.

Многоклассовая классификация

Задача контролируемого машинного обучения, которая прогнозирует распределение экземпляров данных по нескольким классам (категориям). На вход алгоритма классификации подается набор примеров с метками. Каждая метка обычно запускается как текст. Затем она запускается через TermTransform, который преобразует ее в тип ключа (числовой). Результатом работы алгоритма классификации является классификатор, который умеет прогнозировать класс для новых экземпляров без метки. Вот несколько примеров для сценария многоклассовой классификации:

• определение категорий рейсов например «ранние», «вовремя» или «с опозданием»;
• распределение отзывов о фильме по категориям «позитивный», «нейтральный» или «негативный»;
• выбор категорий для отзывов о гостиницах, например «местоположение», «цена», «чистота» и т. д.

Дополнительные сведения см. в статье о многоклассовой классификации в Википедии.

Примечание

В рамках стратегии one-vs.-rest обновляется любой алгоритм обучения двоичной классификации для работы с многоклассовыми наборами данных. Подробнее см. в Википедии.

Алгоритмы обучения многоклассовой классификации

Вы можете обучить модель многоклассовой классификации, используя следующие алгоритмы:

• LightGbmMulticlassTrainer
• SdcaMaximumEntropyMulticlassTrainer
• SdcaNonCalibratedMulticlassTrainer
• LbfgsMaximumEntropyMulticlassTrainer
• NaiveBayesMulticlassTrainer
• OneVersusAllTrainer
• PairwiseCouplingTrainer

Входные и выходные данные многоклассовой классификации

Входные данные столбца меток должны иметь тип key. Столбец функций должен быть вектором Single фиксированного размера.

Этот алгоритм обучения выводит приведенные ниже данные.

Имя выходных данных	Type	Описание
Score	Вектор Single	Оценки всех классов. Более высокое значение означает большую вероятность попадания в связанный класс. Если i-й элемент имеет самое большое значение, индекс прогнозируемой метки будет равен i. Обратите внимание, что индекс i отсчитывается от нуля.
PredictedLabel	Тип key	Индекс прогнозируемой метки. Если его значение равно i, фактическая метка будет i-й категорией во входном типе метки с ключевым значением.

Регрессия

Задача контролируемого машинного обучения, которая прогнозирует значение метки по набору связанных компонентов. Метка здесь может принимать любое значение, а не просто выбирается из конечного набора значений, как в задачах классификации. Алгоритмы регрессии моделируют зависимость меток от связанных компонентов, чтобы определить закономерности изменения меток при разных значениях компонентов. На вход алгоритма регрессии подается набор примеров с метками известных значений. Результатом работы алгоритма регрессии является функция, которая умеет прогнозировать значения метки для любого нового набора входных компонентов. Вот несколько примеров для сценария регрессии:

• прогнозирование цен на дома по таким атрибутам, как количество комнат, расположение и размер;
• прогнозирование будущей цены акций на основе исторических данных и текущих тенденций рынка;
• прогнозирование продаж товара в зависимости от рекламного бюджета.

Алгоритмы обучения регрессии

Вы можете обучить модель регрессии, используя следующие алгоритмы:

• LbfgsPoissonRegressionTrainer
• LightGbmRegressionTrainer
• SdcaRegressionTrainer
• OlsTrainer
• OnlineGradientDescentTrainer
• FastTreeRegressionTrainer
• FastTreeTweedieTrainer
• FastForestRegressionTrainer
• GamRegressionTrainer

Входные и выходные данные регрессии

Входные данные столбца меток должны иметь тип Single.

Алгоритмы обучения для этой задачи выводят приведенные ниже данные.

Имя выходных данных	Type	Описание
Score	Single	Необработанное оценка, спрогнозированная моделью.

Кластеризация

Задача неконтролируемого машинного обучения, которая группирует отдельные экземпляры данных в кластеры со сходными характеристиками. Кластеризацию можно также использовать для определения в наборе данных связей, которые невозможно логически отследить просмотром или наблюдением данных. Входные и выходные данные для алгоритма кластеризации зависят от выбранного метода. Вы можете выбрать подход на основе распространения, центроида, возможности подключения или плотности. ML.NET в настоящее время поддерживает только кластеризацию методом К-средних на основе центроида. Примеры сценариев для использования кластеризации:

• распределение посетителей гостиниц на сегменты, исходя из привычек и характеристик выбора гостиниц;
• определение сегментов и демографических характеристик для клиентов, чтобы создавать целевые рекламные кампании;
• определение категорий запасов по параметрам производства.

Алгоритм обучения кластеризации

Вы можете обучить модель кластеризации, используя следующие алгоритмы:

• KMeansTrainer

Входные и выходные данные кластеризации

Входные данные функций должны иметь тип Single. Метки не требуются.

Этот алгоритм обучения выводит приведенные ниже данные.

Имя выходных данных	Type	Описание
Score	Вектор Single	Расстояния от заданной точки данных до всех кластеров средневзвешенных
PredictedLabel	Тип key	Индекс ближайшего кластера, спрогнозированный моделью.

Обнаружение аномалий

Эта задача создает модель обнаружения аномалий с помощью анализа главных компонентов (PCA). Обнаружение аномалий на основе PCA позволяет создавать модели в сценариях, где легко получить данные для обучения из одного класса, такого как допустимые транзакции, однако получить достаточную выборку аномальных значений затруднительно.

Общепринятый метод в машинном обучении, PCA, часто используется в разведочном анализе данных, так как он раскрывает внутреннюю структуру данных и объясняет их вариативность. PCA выполняется путем анализа данных с несколькими переменными. Он выполняет поиск корреляции между переменными и определяет сочетание значений, которые лучше всего фиксируют различия результатов. Эти объединенные значения компонентов используются для создания более компактных компонентов, называемых главными компонентами.

Обнаружение аномалий включает в себя ряд важных задач машинного обучения:

• Выявление потенциально мошеннических транзакций.
• Изучение шаблонов, которые указывают, что произошли сетевые атаки.
• Поиск аномальных кластеров пациентов.
• Проверка значений, введенных в систему.

Так как аномалии по определению довольно-таки редкие события, со сборкой репрезентативной выборки данных, используемых для моделирования, могут быть трудности. Алгоритмы, включенные в эту категорию, специально разработаны для решения основных проблем разработки и обучения моделей с использованием несбалансированных наборов данных.

Алгоритм обучения обнаружению аномалий

Вы можете обучить модель обнаружения аномалий, используя следующие алгоритмы:

• RandomizedPcaTrainer

Входные и выходные данные обнаружения аномалий

Входные данные функций должны быть вектором Single фиксированного размера.

Этот алгоритм обучения выводит приведенные ниже данные.

Имя выходных данных	Type	Описание
Score	Single	Неотрицательная неограниченная оценка, вычисленная моделью обнаружения аномалий
PredictedLabel	Boolean	Значение true/false, указывающее, являются ли входные данные аномалией (PredictedLabel=true) или нет (PredictedLabel=false)

Ранжирование

Задача ранжирования создает средство ранжирования на основе набора примеров с метками. Этот набор примеров состоит из групп экземпляров, которые могут быть оценены с заданными критериями. Метки ранжирования для каждого экземпляра — { 0, 1, 2, 3, 4 }. Средство ранжирования обучается ранжировать новые группы экземпляров с неизвестными оценками для каждого экземпляра. Алгоритмы обучения ранжированию ML.NET основаны на ранжировании машинного обучения.

Алгоритмы обучения ранжированию

Вы можете обучить модель ранжирования, используя следующие алгоритмы:

• LightGbmRankingTrainer
• FastTreeRankingTrainer

Входные и выходные данные ранжирования

Входные данные метки должны иметь тип key или Single. Значение метки определяет релевантность, где более высокие значения означают более высокую степень релевантности. Если метка имеет тип key, индексом ключа будет значение релевантности, где наименьший индекс является минимально релевантным. Если метка имеет тип Single, более высокие значения означают более высокую степень релевантности.

Данные должны быть вектором Single фиксированного размера, а входной столбец группы строк должен иметь тип key.

Этот алгоритм обучения выводит приведенные ниже данные.

Имя выходных данных	Type	Описание
Score	Single	Неограниченная оценка, вычисленная моделью для определения прогноза

Задача рекомендации позволяет создать список рекомендуемых продуктов или служб. ML.NET использует факторизацию матрицы (MF), алгоритм совместной фильтрации для рекомендаций при наличии исторических данных о рейтинге продуктов в вашем каталоге. Например, вы получили исторические данные о рейтинге фильмов для пользователей и хотели бы рекомендовать другие фильмы, которые, скорее всего, будут отслеживаться далее.

Алгоритмы обучения рекомендациям

Вы можете обучить модель рекомендаций, используя следующий алгоритм:

• MatrixFactorizationTrainer

Прогнозирование

Задача прогнозирования использует предыдущие данные временных рядов, чтобы делать прогнозы о будущем поведении. Сценарии, применимые к прогнозированию, включают прогнозирование погоды, сезонные прогнозы продаж и диагностическое обслуживание.

Алгоритмы обучения для прогнозирования

Вы можете обучить модель прогнозирования, используя следующий алгоритм.

ForecastBySsa

Классификация изображений

Задача контролируемого машинного обучения, которая прогнозирует распределение изображений по нескольким классам (категориям). Входные данные — это набор помеченных примеров. Каждая метка обычно запускается как текст. Затем она запускается через TermTransform, который преобразует ее в тип ключа (числовой). Результатом работы алгоритма классификации изображений является классификатор, который можно использовать для прогнозирования класса новых изображений. Задача классификации изображений — это тип классификации по нескольким классам. Вот несколько примеров для сценария классификации изображений:

• определение породы собаки, например «сибирский хаски», «золотистый ретривер», «пудель» и т. д;
• определение, является ли производственный продукт поврежденным или нет;
• определение типов цветов, например «роза», «подсолнух» и т. д.

Алгоритмы обучения классификации изображений

Вы можете обучить модель классификации изображений, используя следующие алгоритмы обучения:

• ImageClassificationTrainer

Входные и выходные данные классификации изображений

Входные данные столбца меток должны иметь тип key. Столбец функции должен быть вектором с переменным размером Byte.

Этот алгоритм обучения выводит следующие столбцы:

Имя выходных данных	Type	Описание
Score	Single	Оценки всех классов. Более высокое значение означает большую вероятность попадания в связанный класс. Если i-й элемент имеет самое большое значение, индекс прогнозируемой метки будет равен i. Обратите внимание, что индекс i отсчитывается от нуля.
PredictedLabel	Тип key	Индекс прогнозируемой метки. Если его значение равно i, фактическая метка будет i-й категорией во входном типе метки с ключевым значением.

Обнаружение объектов

Задача контролируемого машинного обучения, которая используется для прогнозирования класса (категории) изображения, а также предоставляет ограничивающий прямоугольник для категории внутри изображения. Вместо классификации одного объекта в изображении, обнаружение объектов может определить несколько объектов в изображении. Примеры обнаружения объектов:

• обнаружение автомобилей, дорожных знаков или людей на изображениях дорог;
• обнаружение дефектов на изображениях продуктов;
• обнаружение проблемных участков на изображениях рентгеновских снимков.

Обучение модели обнаружения объектов в настоящее время доступно только в Model Builder с помощью Машинного обучения Azure.

Какие задачи позволяет решать машинное обучение?

Полезные материалы

Какие задачи позволяет решать машинное обучение?

01. 06.2022

© pexels.com

Машинное обучение (machine learning, ML) является самым перспективным направлением искусственного интеллекта. По данным аналитического альманаха МФТИ, одно из главных событий в области искусственного интеллекта в мире в 2021 году – заявление учёных из Стэнфорда о становлении новой парадигмы в области ML: крупные корпорации будут создавать гигантские модели, которые другие компании будут дообучать и использовать для решения своих задач.

Что такое машинное обучение?

Machine learning – это область прикладной математики, которая позволяет обучать компьютерные модели для выявления общих закономерностей в данных. Модели машинного обучения на основе большого количества примеров самостоятельно учатся различать полученную информацию и использовать её для решения задач. Machine learning качественным образом отличается от детерминированных алгоритмов, которые включают в себя фиксированный набор предопределённых шагов. Машинное обучение сейчас представляет собой быстро развивающуюся отрасль. Это связано с увеличением вычислительных мощностей и накоплением знаний, появлением совокупности научно обоснованных и эффективных подходов.

Как связаны между собой машинное обучение, нейросети и искусственный интеллект?

Машинное обучение – это область, в которой исследуются и применяются модели, обучающиеся на входных данных. Оно является одним из направлений искусственного интеллекта.

Нейронные сети – одно из семейств моделей машинного обучения.

Искусственный интеллект – группа методов с использованием различных алгоритмов, в том числе на основе машинного обучения, направленных на создание интеллектуальных машин. Сильный искусственный интеллект способен решать повседневные задачи человека, а слабый – выполнять лишь узконаправленные задачи, например, различать разнообразные объекты, объединять в группы похожие изображения. При работе с такими моделями человек передаёт им часть знаний и тем самым ускоряет собственную работу.

Основные направления в machine learning

• Обучение с учителем (supervised learning)

Для анализа используются размеченные данные, все объекты заранее промаркированы. Например, для обучения модели представлены фотографии с кошками и собаками с соответствующими метками. Задача – научиться различать этих животных.

• Обучение без учителя (unsupervised learning)

При обработке массивов информации нет описания или меток объектов, алгоритм должен самостоятельно выявлять закономерности, взаимосвязи и зависимости в данных. Обучение без учителя применяется для поиска похожих текстов, изображений и документов, визуализации и выявления аномалий.

• Обучение с подкреплением (reinforcement learning)



Машина ищет оптимальные действия для выполнения поставленной задачи в различных условиях. Например, модель космического корабля совершает посадку. На основании информации о меняющемся окружении необходимо адаптировать способ действия. Оптимизированные шаги и есть результат обучения.

Какие задачи решает машинное обучение?

Машинное обучение помогает в решении экономических и социально значимых проблем. Основные классы задач, решаемых с помощью machine learning:

• Регрессия – это прогнозирование числового значения на основе выборки объектов с различными признаками. Например, оценка платёжеспособности заёмщика, ожидаемого дохода компании или цены квартиры на рынке недвижимости.


• Классификация – отнесение объектов на основе имеющихся параметров к одному из предопределённых классов. В рамках работы Центра изучения и сетевого мониторинга молодёжи именно качественная классификация помогает выявить деструктивный контент среди текстовых или визуальных объектов. Ежедневно благодаря машинному обучению анализируется более миллиона изображений и текстов.


• Кластеризация – объединение похожих данных в группы (кластеры). Например, поиск сообществ, похожих по контенту, или объединение схожих по смыслу постов в социальной сети.


• Прогнозирование временного ряда – работа с данными, полученными в определённый период времени, и предсказание на их основе значений в задаваемый исследуемый период. Решение этой задачи позволяет спрогнозировать сейсмическую активность или изменение стоимости ценных бумаг.



Также существуют вспомогательные задачи, которые можно решить с помощью machine learning – распознавание текста на изображениях, детекция символов, идентификация речи и так далее.

Машинное обучение и анализ данных

По мнению доктора физико-математических наук, профессора МФТИ, специалиста в области машинного обучения Константина Воронцова, интеллектуальный анализ данных в целом основывается на подходах и методах машинного обучения. ML занимается построением математических моделей для обобщения информации, а анализ данных как прикладная дисциплина позволяет решать конкретные практические задачи. Модели помогают исследовать и обрабатывать гигантские потоки информации, выявлять закономерности.

В каких сферах применяют machine learning?

Машинное обучение активно используется во многих отраслях экономики. Например, в бизнесе широко применяются модели для предсказания поведения клиентов, создания рекомендательных систем, кластеризации аудитории для настройки показов рекламы (объединение людей в группы по схожим интересам, возрасту или социальному положению). Например, такой метод, как анализ временных рядов, необходим для глубокого понимания происходящих бизнес-процессов, в частности, динамики закупок и продаж товаров, посещаемости сайта и охвата пользователей.

В медицине machine learning помогает анализировать данные различных исследований состояния здоровья пациента. Умные системы на базе ML могут по рентгеновскому снимку выявлять патологии или предсказывать вероятность наличия какого-либо заболевания по совокупности результатов анализов.

В промышленности с помощью моделей машинного обучения внедряется автоматизация технологических процессов. Это позволяет снижать затраты на выпуск продукции и увеличивать производительность.

В сельском хозяйстве с использованием подходов машинного обучения были запущены первые беспилотные комбайны. Автопилот помогает управлять транспортом в то время, когда комбайнёр следит за процессом жатвы.  

 

ML также позволяет обеспечивать безопасность в реальном мире и цифровом пространстве. Например, машинное обучение помогает автоматически вычислять мошеннические транзакции среди многочисленных банковских операций, контролировать заданный периметр и использовать системы биометрического распознавания.

Машинное обучение широко применяется в рамках работы Центра изучения и сетевого мониторинга молодёжи. Цифровое пространство – непрерывно обновляемая среда, которая ежесекундно пополняется полезным, нейтральным и деструктивным контентом. В целях мониторинга и анализа негативных явлений в Интернете специалисты Центра разрабатывают или адаптируют существующие модели машинного обучения. ML значительно упрощает поиск потенциально опасной для пользователей информации среди большого объёма сетевых данных.

Перспективы развития машинного обучения: будет ли искусственный интеллект умнее человека?

Machine learning в перспективе освободит человека от выполнения рутинных операций и сделает его труд более эффективным. Благодаря этому жизнь станет легче, а компьютеры – ещё умнее. Несмотря на большие успехи в области искусственного интеллекта, современное машинное обучение и другие подходы пока не могут заменить человеческий интеллект. Модели занимаются статистическим обобщением свойств объектов, но помимо общих характеристик также существуют особенности, которые можно определить только методом «ручного» анализа. На данный момент это единственная возможность выявлять единичные (уникальные) признаки, распознавать сложные объекты и новые явления во всей их полноте.

У машинного обучения огромные перспективы, капиталовложения в ML постоянно растут. Это те технологии, которые поменяют мир точно так же, как когда-то его изменило изобретение полупроводников или лазера. Сегодня исследовательское сообщество и инженеры стремятся облегчить повседневную жизнь с помощью machine learning и расширить горизонты человеческого знания.

Дополнительные материалы:

Нейросети и дети: как технологии защищают от цифровых угроз? 





Теги:

технологии

задач машинного обучения — ML.NET

• Статья
• 18.03.2022
• 9 минут на чтение

Задача машинного обучения — это тип прогноза или вывода, основанный на заданной проблеме или вопросе и доступных данных. Например, задача классификации распределяет данные по категориям, а задача кластеризации группирует данные по сходству.

Задачи машинного обучения основаны на шаблонах данных, а не явно запрограммированы.

В этой статье описываются различные задачи машинного обучения, которые можно выбрать в ML.NET, и некоторые распространенные варианты использования.

После того, как вы решили, какая задача подходит для вашего сценария, вам нужно выбрать лучший алгоритм для обучения вашей модели. Доступные алгоритмы перечислены в разделе для каждой задачи.

Двоичная классификация

Задача машинного обучения под наблюдением, используемая для прогнозирования того, к какому из двух классов (категорий) принадлежит экземпляр данных. Входными данными алгоритма классификации является набор помеченных примеров, где каждая метка представляет собой целое число, равное 0 или 1. Выходными данными алгоритма бинарной классификации является классификатор, который можно использовать для прогнозирования класса новых непомеченных экземпляров. Примеры сценариев бинарной классификации включают:

• Толкование комментариев в Твиттере как «положительное» или «отрицательное».
• Диагностика наличия у пациента того или иного заболевания.
• Принятие решения помечать письмо как спам или нет.
• Определение того, содержит ли фотография определенный предмет или нет, например, собаку или фрукт.

Для получения дополнительной информации см. статью о двоичной классификации в Википедии.

Тренажеры бинарной классификации

Вы можете обучить модель бинарной классификации, используя следующие алгоритмы:

• Тренажер среднего персептрона
• SdcaLogisticRegressionBinaryTrainer
• SdcaNonCalibratedBinaryTrainer
• SymbolicSgdLogisticRegressionBinaryTrainer
• LbfgsLogisticRegressionBinaryTrainer
• LightGbmBinaryTrainer
• FastTreeBinaryTrainer
• FastForestBinaryTrainer
• GamBinaryTrainer
• FieldAwareFactorizationMachineTrainer
• ПриорТрейнер
• LinearSvmTrainer

Входы и выходы бинарной классификации

Для достижения наилучших результатов с бинарной классификацией обучающие данные должны быть сбалансированы (т. е. равное количество положительных и отрицательных обучающих данных). Пропущенные значения должны быть обработаны до обучения.

Данные столбца меток ввода должны быть логическими. Данные столбца входных объектов должны быть вектором фиксированного размера Single.

Эти тренажеры выводят следующие столбцы:

Имя выходного столбца	Тип колонны	Описание
Оценка	Одноместный	Необработанная оценка, рассчитанная моделью
PredictedLabel	Булево значение	Прогнозируемая метка на основе знака оценки. Отрицательная оценка соответствует false , а положительная оценка соответствует true .

Многоклассовая классификация

Задача контролируемого машинного обучения, которая используется для прогнозирования класса (категории) экземпляра данных. Входными данными алгоритма классификации является набор помеченных примеров. Каждая метка обычно начинается с текста. Затем он проходит через TermTransform, который преобразует его в тип Key (числовой). Результатом алгоритма классификации является классификатор, который можно использовать для прогнозирования класса новых непомеченных экземпляров. Примеры сценариев многоклассовой классификации включают:

• Классификация рейсов как «ранние», «своевременные» или «поздние».
• Понимание обзоров фильмов как «положительных», «нейтральных» или «отрицательных».
• Классификация отзывов об отелях по категориям «расположение», «цена», «чистота» и т. д.

Для получения дополнительной информации см. статью о классификации мультиклассов в Википедии.

Примечание

Один против всех обновляет любой модуль обучения бинарной классификации для работы с мультиклассовыми наборами данных. Больше информации в Википедии.

Тренажеры многоклассовой классификации

Вы можете обучить модель многоклассовой классификации, используя следующие алгоритмы обучения:

• LightGbm MulticlassTrainer
• SdcaMaximumEntropyMulticlassTrainer
• SdcaNonCalibratedMulticlassTrainer
• LbfgsMaximumEntropyMulticlassTrainer
• NaiveBayesMulticlassTrainer
• OneVersusAllTrainer
• Тренажер для парных соединений

Многоклассовая классификация входов и выходов

Данные столбца метки ввода должны быть ключевого типа. Столбец объектов должен быть вектором фиксированного размера Single.

Этот тренажер выводит следующее:

Имя выхода	Тип	Описание
Оценка	Вектор одиночного	Баллы всех классов. Более высокое значение означает более высокую вероятность попадания в соответствующий класс. Если i-й элемент имеет наибольшее значение, прогнозируемый индекс метки будет равен i. Обратите внимание, что i — это индекс, начинающийся с нуля.
PredictedLabel	тип ключа	Прогнозируемый индекс метки. Если его значение равно i, фактическая метка будет i-й категорией в типе входной метки с ключом.

Регрессия

Задача контролируемого машинного обучения, которая используется для прогнозирования значения метки на основе набора связанных функций. Метка может иметь любое реальное значение, а не из конечного набора значений, как в задачах классификации. Алгоритмы регрессии моделируют зависимость метки от связанных с ней функций, чтобы определить, как будет меняться метка при изменении значений функций. Входные данные алгоритма регрессии представляют собой набор примеров с метками известных значений. Результатом алгоритма регрессии является функция, которую можно использовать для прогнозирования значения метки для любого нового набора входных функций. Примеры сценариев регрессии включают:

• Прогнозирование цен на жилье на основе атрибутов дома, таких как количество спален, расположение или размер.
• Прогнозирование будущих цен на акции на основе исторических данных и текущих рыночных тенденций.
• Прогнозирование продаж продукта на основе рекламных бюджетов.

Тренажеры регрессии

Вы можете обучать модель регрессии, используя следующие алгоритмы:

• LbfgsPoissonRegressionTrainer
• LightGbmRegressionTrainer
• SdcaRegressionTrainer
• OlsTrainer
• OnlineGradientDescentTrainer
• FastTreeRegressionTrainer
• FastTreeTweedieTrainer
• FastForestRegressionTrainer
• GamRegressionTrainer

Входные и выходные данные регрессии

Данные столбца метки ввода должны быть Single.

Тренеры для этой задачи выводят следующее:

Имя вывода	Тип	Описание
Оценка	Одноместный	Необработанная оценка, предсказанная моделью

Кластеризация

Неконтролируемая задача машинного обучения, используемая для группировки экземпляров данных в кластеры со схожими характеристиками. Кластеризацию также можно использовать для выявления взаимосвязей в наборе данных, которые вы не можете логически вывести путем просмотра или простого наблюдения. Входные и выходные данные алгоритма кластеризации зависят от выбранной методологии. Вы можете использовать подход, основанный на распределении, центроиде, связности или плотности. ML.NET в настоящее время поддерживает подход на основе центроидов с использованием кластеризации K-средних. Примеры сценариев кластеризации включают:

• Понимание сегментов гостей отеля на основе привычек и особенностей выбора отеля.
• Определение сегментов и демографических характеристик клиентов для создания целевых рекламных кампаний.
• Классификация запасов на основе производственных показателей.

Тренажер кластеризации

Обучить модель кластеризации можно по следующему алгоритму:

• KMeansTrainer

Кластеризация входных и выходных данных

Входные данные объектов должны быть Single. Никакие ярлыки не нужны.

Этот тренажер выводит следующее:

Имя вывода	Тип	Описание
Оценка	вектор одиночного	Расстояния данной точки данных до центроидов всех кластеров
PredictedLabel	тип ключа	Индекс ближайшего кластера, предсказанный моделью.

Обнаружение аномалий

Эта задача создает модель обнаружения аномалий с помощью анализа главных компонентов (PCA). Обнаружение аномалий на основе PCA помогает построить модель в сценариях, где легко получить обучающие данные из одного класса, например действительные транзакции, но сложно получить достаточное количество выборок целевых аномалий.

Устоявшийся метод машинного обучения, PCA часто используется в исследовательском анализе данных, поскольку он раскрывает внутреннюю структуру данных и объясняет дисперсию данных. PCA работает путем анализа данных, содержащих несколько переменных. Он ищет корреляции между переменными и определяет комбинацию значений, которая лучше всего отражает различия в результатах. Эти комбинированные значения функций используются для создания более компактного пространства функций, называемого главными компонентами.

Обнаружение аномалий включает в себя множество важных задач машинного обучения:

• Выявление потенциально мошеннических транзакций.
• Шаблоны обучения, указывающие на то, что произошло вторжение в сеть.
• Обнаружение аномальных скоплений пациентов.
• Проверка введенных в систему значений.

Поскольку аномалии по определению являются редкими событиями, может быть сложно собрать репрезентативную выборку данных для использования в моделировании. Алгоритмы, включенные в эту категорию, были специально разработаны для решения основных задач построения и обучения моделей с использованием несбалансированных наборов данных.

Тренажер обнаружения аномалий

Вы можете обучить модель обнаружения аномалий, используя следующий алгоритм:

• RandomizedPcaTrainer

Входы и выходы обнаружения аномалий

Входные объекты должны быть вектором фиксированного размера Single.

Этот тренажер выводит следующее:

Имя вывода	Тип	Описание
Оценка	Одноместный	Неотрицательная неограниченная оценка, рассчитанная с помощью модели обнаружения аномалий
PredictedLabel	Булево значение	Значение true/false, указывающее, является ли ввод аномалией (PredictedLabel=true) или нет (PredictedLabel=false)

Ранжирование

Задача ранжирования создает ранжировщик из набора помеченных примеров. Этот набор примеров состоит из групп экземпляров, которые можно оценить по заданным критериям. Метки ранжирования {0, 1, 2, 3, 4} для каждого экземпляра. Ранкер обучен ранжировать новые группы экземпляров с неизвестными оценками для каждого экземпляра. Обучающиеся ранжирования ML.NET основаны на машинном обучении ранжирования.

Алгоритмы обучения ранжированию

Вы можете обучать модель ранжирования со следующими алгоритмами:

• LightGbmRankingTrainer
• FastTreeRankingTrainer

Ранжирование ввода и вывода

Тип данных метки ввода должен быть ключевым тип или одиночный. Значение метки определяет релевантность, где более высокие значения указывают на более высокую релевантность. Если этикетка представляет собой тип ключа, то индекс ключа — это значение релевантности, где наименьший индекс является наименее релевантным. Если этикетка представляет собой Одиночные большие значения указывают на более высокую релевантность.

Данные объекта должны быть вектором фиксированного размера Single и входной группой строк столбец должен быть ключевым типом.

Этот тренажер выводит следующее:

Имя вывода	Тип	Описание
Оценка	Одноместный	Неограниченная оценка, рассчитанная моделью для определения прогноза

Задача рекомендации позволяет создать список рекомендуемых продуктов или услуг. ML.NET использует матричную факторизацию (MF), алгоритм совместной фильтрации для рекомендаций, когда в вашем каталоге есть исторические данные о рейтингах продуктов. Например, у вас есть исторические данные о рейтингах фильмов для ваших пользователей, и вы хотите порекомендовать другие фильмы, которые они, вероятно, посмотрят в следующий раз.

Алгоритмы обучения рекомендаций

Вы можете обучить модель рекомендаций с помощью следующего алгоритма:

• MatrixFactorizationTrainer

Прогнозирование

Задача прогнозирования использует прошлые данные временных рядов для прогнозирования поведения в будущем. Сценарии, применимые к прогнозированию, включают прогнозирование погоды, прогнозирование сезонных продаж и профилактическое обслуживание.

Тренеры прогнозирования

Вы можете обучить модель прогнозирования по следующему алгоритму:

ForecastBySsa

Классификация изображений

Задача контролируемого машинного обучения, которая используется для прогнозирования класса (категории) изображения. Вход представляет собой набор помеченных примеров. Каждая метка обычно начинается с текста. Затем он проходит через TermTransform, который преобразует его в тип Key (числовой). Результатом алгоритма классификации изображений является классификатор, который можно использовать для прогнозирования класса новых изображений. Задача классификации изображений является разновидностью мультиклассовой классификации. Примеры сценариев классификации изображений включают:

• Определение породы собаки «сибирский хаски», «золотистый ретривер», «пудель» и др.
• Определение того, является ли производственный продукт бракованным или нет.
• Определение видов цветов как «Роза», «Подсолнух» и т.д.

Тренажеры классификации изображений

Вы можете обучить модель классификации изображений, используя следующие алгоритмы обучения:

• ImageClassificationTrainer

Входы и выходы классификации изображений

Данные столбца метки ввода должны быть ключевого типа. Столбец функций должен быть вектором переменного размера в байтах.

Этот тренажер выводит следующие столбцы:

Имя вывода	Тип	Описание
Оценка	Одноместный	Баллы всех классов. Чем выше значение, тем выше вероятность попасть в соответствующий класс. Если i-й элемент имеет наибольшее значение, прогнозируемый индекс метки будет i. Обратите внимание, что индекс i отсчитывается от нуля.
PredictedLabel	Тип ключа	Прогнозируемый индекс метки. Если его значение равно i, фактическая метка будет i-й категорией в типе входной метки с ключом.

Обнаружение объектов

Задача контролируемого машинного обучения, которая используется для прогнозирования класса (категории) изображения, но также дает ограничивающую рамку, где эта категория находится на изображении. Вместо того, чтобы классифицировать один объект на изображении, обнаружение объектов может обнаруживать несколько объектов на изображении. Примеры обнаружения объектов включают:

• Обнаружение автомобилей, знаков или людей на изображениях дороги.
• Выявление дефектов на изображениях товаров.
• Обнаружение проблемных областей на рентгеновских изображениях.

Обучение модели обнаружения объектов в настоящее время доступно только в построителе моделей с использованием машинного обучения Azure.

наиболее распространенных задач машинного обучения

4 декабря 2022 г., Ajitesh Kumar · 1 комментарий

0532, с которым можно столкнуться, пытаясь решить проблемы с машинным обучением . Также указан набор из методов машинного обучения , которые можно использовать для решения этих задач. Пожалуйста, не стесняйтесь комментировать/предлагать, если я пропустил упоминание одного или нескольких важных моментов. Также извините за опечатки.

Возможно, вы захотите прочитать пост о том, что такое машинное обучение? Различные аспекты концепций машинного обучения были объяснены с помощью примеров. Вот выдержка со страницы:

Машинное обучение — это аппроксимация математических функций (уравнений), представляющих сценарии реального мира. Эти математические функции также называют «математическими моделями» или просто моделями. Ниже приведены ключевые задачи машинного обучения, описанные далее в этой статье:0004

Оценка плотности вероятности и функции массы вероятности

Сопоставление подобия

Группировка совпадений

Причинное моделирование

Профилирование ссылок

Ниже приведены ключевые этапы разработки, которые используются для решения различных задач, перечисленных выше. Они составляют ключевые этапы жизненного цикла моделей машинного обучения (MLM).

1. Сбор данных
2. Предварительная обработка данных
3. Исследовательский анализ данных (EDA)
4. Разработка признаков, включая создание/извлечение признаков, выбор признаков, уменьшение размерности
5. Обучение моделей машинного обучения
6. Выбор модели/алгоритма
7. Тестирование и сопоставление
8. Мониторинг моделей
9. Повторное обучение моделей

Задачи

Ниже перечислены некоторые ключевые задачи, которые можно выполнить с помощью моделей машинного обучения:

• Регрессия : Задачи регрессии в основном связаны с оценкой числовых значений ( непрерывных переменных ). Задача регрессии в машинном обучении — это контролируемый метод машинного обучения, используемый для прогнозирования значений заданной целевой переменной на основе ввода одной или нескольких независимых переменных. Это задача подбора математической модели к наблюдаемым точкам данных, где цель состоит в том, чтобы минимизировать сумму квадратов ошибок между наблюдаемыми данными и прогнозируемыми значениями. В задачах регрессии мы используем линейные и нелинейные модели для построения наших прогностических моделей. В линейных моделях используется основное предположение о том, что между входными и выходными переменными существует линейная зависимость, в то время как нелинейные модели не полагаются ни на какие такие предположения. Цель линейной регрессии — найти наиболее подходящую линию для наших данных, тогда как в нелинейной регрессии мы пытаемся определить сложные отношения в нашем наборе данных. Помимо задач прогнозирования, задачи регрессии также можно использовать для задач логического вывода, когда мы хотим понять, как переменные взаимодействуют друг с другом. Например, вы можете использовать модель линейной регрессии, чтобы исследовать, как две или более независимых переменных влияют на зависимую переменную, такую ​​как зарплата или удовлетворенность работой. Это позволяет нам получить представление о том, как изменения одной независимой переменной влияют на другую независимую переменную или даже на саму зависимую переменную, без необходимости вносить какие-либо изменения самостоятельно.
  Некоторые из примеров включают оценку цены на жилье, цены продукта, цены акций и т. д. Некоторые из следующих методов машинного обучения могут использоваться для решения задач регрессии:
  • • Регрессия ядра (более высокая точность)
    • Регрессия гауссовского процесса (Более высокая точность)
    • Деревья регрессии
    • Линейная регрессия
    • Регрессия опорных векторов
    • LASSO / Ridge
    • Глубокое обучение
    • Случайные леса
• Классификация : Задачи классификации просто связаны с прогнозированием категории данных ( дискретных переменных ). Классификация — это тип задачи машинного обучения, который включает в себя определение того, к какой группе или категории принадлежит элемент, на основе определенных функций или характеристик. Это один из наиболее распространенных методов контролируемого обучения, который используется во всем: от обнаружения банковского мошенничества до распознавания лиц. По своей сути классификация — это процесс сортировки элементов по двум или более взаимоисключающим группам, часто называемым классами. Цель состоит в том, чтобы правильно отнести данный элемент к нужному классу на основе его характеристик. Поэтому, чтобы сделать это, машина должна научиться различать разные классы, используя эти функции. Это можно сделать путем предварительной маркировки данных, чтобы компьютер знал, к какому классу принадлежит каждый элемент, а затем обучая его с помощью различных алгоритмов, пока он не научится точно идентифицировать каждый класс. Проще говоря, задача классификации приводит к созданию модели, которая для нового индивидуума определяет, к какому классу он принадлежит. Тесно связанная задача оценка или класс оценка вероятности . Модель оценки, применяемая к индивидууму, дает вместо предсказания класса оценку, представляющую вероятность (или какую-либо другую количественную оценку вероятности) того, что этот индивидуум принадлежит к каждому классу. Одним из наиболее распространенных примеров является прогнозирование того, является ли электронное письмо спамом или ветчиной. Некоторые из распространенных вариантов использования можно найти в области здравоохранения, например, страдает ли человек определенным заболеванием или нет. Он также применяется в финансовых случаях, таких как определение того, является ли транзакция мошенничеством или нет. Возможно, вы захотите проверить эту страницу на реальных примерах моделей классификации, реальных примерах моделей классификации машинного обучения. Для решения задач классификации можно применять следующие методы машинного обучения:
  • Дискриминантный анализ ядра (более высокая точность)
  • K-ближайшие соседи  (более высокая точность)
  • Искусственные нейронные сети (ИНС)  (более высокая точность)
  • Машина поддержки
  • Логистическая регрессия0004
  • Кластеризация : Кластеризация — это широко используемая задача машинного обучения, в которой точки данных группируются в кластеры или группы тесно связанных точек данных. Это неконтролируемый подход, который не требует размеченных данных и может использоваться для выявления закономерностей или сходств в наборе данных. Кластеризация имеет множество применений, начиная от сегментации клиентов, сегментации рынка, сегментации изображений, классификации документов и многого другого. По своей сути кластеризация — это процесс разделения набора объектов на отдельные группы таким образом, что элементы в каждой группе похожи друг на друга, а элементы, принадлежащие к разным группам, сильно различаются. Ниже приведены четыре различных типа алгоритмов кластеризации:
    • Кластеризация на основе прототипа (K-средних)
    • Иерархическая кластеризация
    • DBSCAN (пространственная кластеризация приложений с шумом на основе плотности)
    • Кластеризация на основе распределения в котором машины обучаются сопоставлять предметы на основе их сходства. Этот тип задач можно использовать для широкого круга приложений, таких как обработка естественного языка, распознавание изображений и системы рекомендаций. Чтобы система машинного обучения могла хорошо справляться с задачами такого типа, она должна научиться различать похожие и непохожие элементы. Это можно сделать, создав векторы признаков из примеров известных точек данных, а затем используя эту информацию в качестве обучающих данных, чтобы машина могла делать точные прогнозы при представлении новых точек данных. После обучения алгоритмы сопоставления сходства можно использовать разными способами, например, для предоставления рекомендаций или помощи в поисковой оптимизации. Например, если вы искали определенный продукт в Интернете, но не смогли найти его с помощью традиционных методов поиска, 9Сопоставление подобия 0531 может помочь, представляя другие продукты, которые точно соответствуют желаемому элементу на основе их характеристик и характеристик. Точно так же системы рекомендаций используют такие алгоритмы , чтобы предлагать элементы, которые могут понравиться пользователям, на основе их прошлых предпочтений или других пользователей со схожими интересами.
    • Группировка по совпадению : Задачи группирования по совпадению также называются задачами анализа набора часто встречающихся элементов, обнаружения правил ассоциации и задач анализа потребительской корзины. В этой задаче связь между сущностями находится на основе транзакций с их участием. например, какие предметы обычно покупают вместе ? Разница между кластеризацией и группировкой по совпадению заключается в том, что при кластеризации сходство между объектами обнаруживается на основе атрибутов объектов, а при группировке по совпадению сходство объектов обнаруживается на основе их совместного появления в транзакциях. Например, записи о покупках в супермаркете могут выявить ассоциацию с тем, что хлеб покупается вместе с яйцами гораздо чаще, чем ожидалось.
    • Многовариантный запрос : Многовариантный запрос заключается в запросе или поиске похожих объектов. Для таких задач можно использовать некоторые из следующих методов МО:
      • Ближайшие соседи
      • Поиск диапазона
      • Дальние соседи
    • Оценка плотности вероятности и функции массы : Проблемы оценки функции плотности вероятности связаны с поиском вероятности или частота объектов. В теории вероятностей и статистике оценка плотности — это построение оценки на основе наблюдаемых данных ненаблюдаемой основной функции плотности вероятности. Некоторые из следующих методов машинного обучения могут быть использованы для решения задач оценки плотности:
      • Оценка плотности ядра (более высокая точность)
      • Смесь гауссианов
      • Дерево оценки плотности
    • Машинный перевод : Машинный перевод — это процесс перевода текста с одного языка на другой с использованием алгоритмов машинного обучения. Существует множество различных задач машинного перевода, таких как машинный перевод документов, машинный перевод речи и машинный перевод веб-страниц. Модели глубокого обучения достигли самых современных результатов во многих задачах машинного перевода. Например, модели глубокого обучения использовались для машинного перевода веб-страниц с английского на китайский с точностью, близкой к человеческому уровню. Кроме того, модели глубокого обучения использовались для машинного перевода речи с английского на французский с точностью, близкой к человеческому уровню. Машинный перевод — важное применение машинного обучения, которое может изменить то, как люди общаются друг с другом.
    • Обнаружение аномалий : Обнаружение аномалий — это процесс выявления необычных закономерностей в данных, которые не соответствуют ожидаемому поведению. Он часто используется в самых разных приложениях, таких как обнаружение мошеннических действий в финансовых данных, обнаружение злонамеренного поведения в данных сетевого трафика и выявление неисправностей оборудования в данных датчиков. Обнаружение аномалий может выполняться с использованием различных моделей машинного обучения, таких как методы на основе плотности, методы на основе кластеров и методы на основе правил. Каждый из этих методов имеет свои сильные и слабые стороны, поэтому важно выбрать правильную модель для конкретного приложения. Обнаружение аномалий с помощью машинного обучения — сложный процесс, но он может быть чрезвычайно эффективным при выявлении редких событий, которые в противном случае были бы упущены из виду.
    • Синтез и выборка : Синтез и выборка являются важными задачами в глубоком и машинном обучении. Они используются для создания новых данных из существующих данных или для выбора репрезентативного подмножества данных для дальнейшего анализа. Синтез и выборка часто используются вместе, чтобы создать более разнообразный и репрезентативный набор данных. Синтез можно использовать для создания новых точек данных путем экстраполяции существующих точек данных. Например, если у нас есть набор изображений животных, мы можем использовать синтез для создания новых изображений животных, похожих на изображения в наборе данных. Выборку можно использовать для выбора подмножества данных, которое является репрезентативным для всего набора данных. Например, если у нас есть набор изображений животных, мы можем использовать выборку, чтобы выбрать подмножество изображений, которое представляет все различные типы животных в наборе данных.
    • Транскрипция : Задачи транскрипции включают преобразование аудио- или видеозаписей или изображений с текстом в письменный текст. Они обычно используются в таких областях, как журналистика, наука и медицина. В последние годы задачи транскрипции были до некоторой степени автоматизированы с использованием алгоритмов машинного обучения. Модели глубокого обучения можно научить расшифровывать аудиозаписи с высокой степенью точности. Однако для обучения этим моделям требуется большой объем данных, и они часто борются с фоновым шумом и акцентами. В результате транскрипция по-прежнему в основном выполняется вручную. Профессиональные транскрибаторы используют свое знание языка и внимание к деталям для предоставления точных услуг транскрипции.
    • Причинное моделирование : Причинное моделирование — это тип задачи машинного обучения, целью которой является определение причин и следствий определенных условий или переменных. Это важный инструмент для исследователей в таких областях, как эпидемиология, экономика, психология, маркетинг и политология. В причинно-следственном моделировании данные используются для того, чтобы делать выводы о взаимосвязях между переменными. Цель состоит в том, чтобы определить, какие переменные вызывают определенные результаты и как они связаны. Например, исследователь может захотеть определить причинно-следственную связь между курением сигарет и раком легких. Связано ли курение сигарет с раком легких?
    • Уменьшение размерности (извлечение признаков) : Согласно странице Википедии, посвященной уменьшению размерностей, сокращение размерностей — это процесс уменьшения количества рассматриваемых случайных величин, который можно разделить на выбор признаков и извлечение признаков. Ниже приведены некоторые методы машинного обучения, которые можно использовать для уменьшения размеров:
      • Многообразное обучение/KPCA (более высокая точность)
      • Анализ главных компонентов
      • Анализ независимых компонентов
      • Графические модели Гаусса
      • Факторизация неотрицательной матрицы
      • Сжатое зондирование
    • Прогнозирование связи : Задача прогнозирования связи в машинном обучении — это задача, которая фокусируется на выявлении потенциальных связей между объектами, которые еще не связаны. Он используется для прогнозирования отношений между объектами, такими как клиенты, продукты, авторы и т. д. Цель предсказания ссылок — построить модель, которая может точно идентифицировать связи между объектами в наборе данных. В прошлом прогнозирование ссылок в основном использовалось для анализа социальных сетей, где оно часто использовалось для предложения друзей или подписчиков для пользователей платформы социальной сети. Однако его также можно применять к другим типам данных, таким как данные о транзакциях клиентов или научные исследования. Модели прогнозирования ссылок также часто используются в системах рекомендаций, чтобы рекомендовать товары клиентам на основе их прошлого поведения или предпочтений. Предсказание связи может также оценить силу связи. Например, для рекомендации фильмов клиентам прогнозирование ссылок может использоваться для создания графика между покупателями и фильмами, которые они смотрели или оценили. Внутри графа ищутся те потенциальные связи (сильная ссылка), которые должны существовать между клиентами и фильмами.

    Этапы разработки жизненного цикла разработки MLM

    Ниже приведены наиболее распространенные этапы разработки моделей машинного обучения, с которыми чаще всего можно столкнуться при решении различных задач машинного обучения:

    1. Сбор данных : Любая проблема машинного обучения требует большого количества данных для обучения/тестирования. Ключевым моментом является определение правильных источников данных и сбор данных из этих источников данных. Данные можно найти в базах данных, внешних агентствах, Интернете и т. д.
    2. Предварительная обработка данных : Перед началом обучения моделей чрезвычайно важно правильно подготовить данные. В рамках предварительной обработки данных выполняются некоторые из следующих действий:
       • Очистка данных : Очистка данных требует определения атрибутов с недостаточным количеством данных или атрибутов, не имеющих дисперсии. Эти данные (строки и столбцы) необходимо удалить из набора обучающих данных.
       • Импутация отсутствующих данных : Обработка отсутствующих данных с использованием методов импутации данных, таких как замена отсутствующих данных средним значением, медианой или модой. Вот мой пост на эту тему: Замените пропущенные значения средним значением, медианой или модой
    3. Исследовательский анализ данных (EDA) : После предварительной обработки данных следующим шагом является выполнение исследовательского анализа данных для понимания распределения данных и взаимосвязей между данными или внутри них. В рамках EDA выполняются некоторые из следующих действий:
       • Корреляционный анализ
       • Анализ мультиколлинеарности
       • Анализ распределения данных
    4. Разработка признаков : Разработка признаков является одной из важнейших задач, которые будут использоваться при построении моделей машинного обучения. . Разработка признаков важна, потому что выбор правильных признаков не только поможет построить модели с более высокой точностью, но также поможет достичь целей, связанных с построением более простых моделей, уменьшением переобучения и т. д. Разработка признаков включает в себя такие задачи, как получение признаков из необработанных признаков, определение важных признаков, извлечение признаков и выбор признаков. Ниже приведены некоторые методы, которые можно использовать для выбора признаков:
       • Методы фильтрации помогают выбирать функции на основе результатов статистических тестов. Ниже приведены некоторые из используемых статистических тестов:
         • Корреляция Пирсона
         • Линейный дискриминантный анализ (LDA)
         • Дисперсионный анализ (ANOVA)
         • Критерии хи-квадрат
       • подмножество признаков и определение точности модели. Ниже приведены некоторые из используемых алгоритмов:
         • Прямой выбор
         • Обратное исключение
         • Рекурсивное исключение признаков
       • Методы регуляризации наказывают один или несколько признаков соответствующим образом, чтобы получить наиболее важные признаки. Ниже приведены некоторые из используемых алгоритмов:
         • регуляризация LASSO (L1)
         • регуляризация Ridge (L2)
         • регуляризация эластичной сети
         • регуляризация с помощью алгоритмов классификации, таких как логистическая регрессия, SVM и т. д.
    5. Обучающие модели:  После того, как некоторые функции определены, появляются обучающие модели с данными, связанными с этими функциями. Одним из популярных алгоритмов, используемых для обучения регрессионных моделей, является Gradient Descent , который помогает нам найти оптимальные значения параметров, чтобы минимизировать нашу функцию стоимости (также известную как частота ошибок). В этом методе мы начинаем со случайных начальных значений параметров, а затем постепенно обновляем их, делая небольшие шаги, пока не достигнем оптимального решения. Этот итеративный процесс помогает нам со временем снизить частоту ошибок и, в конечном итоге, обеспечить более точные прогнозы для нашей целевой переменной.
    6. Выбор модели/выбор алгоритма : Часто бывает несколько моделей, которые обучаются с использованием разных алгоритмов. Одной из важных задач является выбор наиболее оптимальных моделей для развертывания их в продакшене. Настройка гиперпараметров — наиболее распространенная задача, выполняемая в рамках выбора модели. Кроме того, если есть две модели, обученные с использованием разных алгоритмов, которые имеют одинаковую производительность, то также необходимо выполнить выбор алгоритма.
    7. Тестирование и сопоставление : Задачи тестирования и сопоставления относятся к сравнению наборов данных. Ниже приведены некоторые из методов, которые можно использовать для таких проблем:
       • Минимальное связующее дерево
       • Двудольное перекрестное сопоставление
       • N-точечная корреляция
    8. Мониторинг моделей : После обучения и развертывания моделей, они требуют регулярного контроля. Модели мониторинга требуют обработки фактических и прогнозируемых значений, а также измерения производительности модели на основе соответствующих показателей.
    9. Повторное обучение модели : В случае ухудшения производительности модели требуется повторное обучение моделей. Следующее выполняется в рамках модели переподготовки:
       • Новые функции. Получить определение
       • Новые алгоритмы могут использоваться
       • Гиперпараметры могут получить настройку
       • модельные ансамбли. Аджитеш Кумар

         В последнее время я работаю в области анализа данных, включая науку о данных и машинное обучение/глубокое обучение. Я также увлекаюсь различными технологиями, включая языки программирования, такие как Java/JEE, Javascript, Python, R, Julia и т. д., а также такие технологии, как блокчейн, мобильные вычисления, облачные технологии, безопасность приложений, платформы облачных вычислений, большие данные, и т. д. Чтобы быть в курсе последних обновлений и блогов, следите за нами в Twitter. Я хотел бы связаться с вами на Linkedin.

         Ознакомьтесь с моей последней книгой под названием «Основы мышления: создание успешных продуктов с использованием первых принципов». / Глубокое обучение. Я также увлекаюсь различными технологиями, включая языки программирования, такие как Java/JEE, Javascript, Python, R, Julia и т.