Машинное обучение с учителем

Машинное обучение с учителем (supervised learning): задачи классификации и регрессии

Машинное обучение с учителем, или supervised learning, представляет собой один из фундаментальных разделов искусственного интеллекта и машинного обучения. Суть данного подхода заключается в построении прогностических моделей на основе набора данных, для которого известны целевые значения. Аналогия с процессом образования человека дала название этому направлению: алгоритм выступает в роли «ученика», а предоставленный размеченный набор данных — в роли «учителя» или учебного пособия, содержащего правильные ответы.
Процесс начинается с формирования обучающей выборки (training dataset), которая состоит из множества объектов. Каждый объект описывается набором характеристик, называемых признаками (features), и соответствующей ему меткой (label) или целевым значением (target variable). Например, при оценке кредитоспособности заёмщика признаками могут быть его возраст, уровень дохода, стаж работы, а меткой — класс («надежный»/«ненадежный») или конкретное число (вероятность дефолта). Цель алгоритма — выявить скрытую функциональную зависимость между признаками и целевой переменной, чтобы в дальнейшем применять эту зависимость к новым, ранее не виденным данным для получения прогноза.
Ключевым отличием обучения с учителем от других парадигм, таких как обучение без учителя (unsupervised learning), является наличие «ответов». В обучении без учителя алгоритм самостоятельно ищет скрытые структуры, кластеры или аномалии в неразмеченных данных. В случае же контролируемого обучения процесс оптимизации направлен на минимизацию ошибки между предсказаниями модели и истинными значениями из обучающей выборки. Это позволяет объективно оценивать качество модели на тестовой выборке и вносить корректировки в процессе её разработки.

Классификация относится к задачам, где результатом работы модели является дискретная категория или метка класса из заранее определенного конечного множества. Модель анализирует входные признаки объекта и присваивает ему наиболее вероятный класс. Если множество классов состоит из двух элементов (например, «да»/«нет», 1/0, «спам»/«не спам»), задача называется бинарной классификацией. При наличии трех и более классов говорят о многоклассовой классификации.
В экономике и финансах методы классификации находят широчайшее применение благодаря своей способности автоматизировать процессы принятия решений, связанные с категоризацией и оценкой рисков.
Кредитный скоринг. Одна из классических задач банковской сферы. На основе анкеты клиента (доход, кредитная история, семейное положение и т.д.) модель должна классифицировать его по уровню кредитного риска. Результатом может быть бинарный ответ («выдать кредит» / «отказать») или отнесение клиента к одной из нескольких категорий риска (A, B, C, D), определяющих условия кредитования.
Фрод-мониторинг (обнаружение мошенничества). Банковские системы анализируют транзакции клиентов в реальном времени. Каждая операция описывается множеством признаков (сумма, местоположение, время, устройство). Модель классификации определяет, является ли транзакция легитимной («нормальная») или подозрительной («фрод»). Своевременная идентификация мошеннических операций позволяет финансовым институтам экономить значительные средства.
Оценка оттока клиентов (Churn Prediction). Телекоммуникационные компании, онлайн-сервисы и розничные сети используют классификацию для выявления клиентов, склонных прекратить пользоваться услугами. Анализируя историю взаимодействий, частоту покупок и обращения в поддержку, модель помечает лояльных клиентов и тех, кто находится в «зоне риска». Это дает возможность маркетинговому отделу предпринять упреждающие действия для удержания ценных потребителей.

С математической точки зрения, классификатор пытается построить функцию f(X), которая отображает многомерное пространство признаков X в пространство меток Y. Для бинарной классификации часто используется логистическая регрессия. Несмотря на слово «регрессия» в названии, этот метод является мощным инструментом классификации. Он моделирует вероятность того, что объект принадлежит к положительному классу, используя сигмоидальную функцию:
P(y=1;X)= 1/(1+e^(-(;0+;1X1+...+;nXn)) )
где ;i — коэффициенты модели, которые настраиваются в процессе обучения. Полученная вероятность затем преобразуется в окончательное решение путем сравнения с пороговым значением (обычно 0.5).
Помимо логистической регрессии широкое распространение получили такие алгоритмы, как метод опорных векторов (Support Vector Machines, SVM), который эффективен в пространствах высокой размерности; деревья решений и их ансамбли, такие как случайный лес (Random Forest) и градиентный бустинг (Gradient Boosting), отличающиеся высокой точностью и устойчивостью к переобучению.

Регрессия — второй столп обучения с учителем. Данная задача предполагает прогнозирование непрерывной числовой величины. В отличие от классификации, где ответом является категория, здесь модель предсказывает конкретное значение: цену, объем, количество, время. Выходная переменная может принимать любое значение из заданного диапазона.
Прогнозирование количественных показателей лежит в основе стратегического планирования во многих отраслях экономики.
Прогнозирование цен на финансовые активы. Инвестиционные фонды и трейдеры строят регрессионные модели для предсказания будущей стоимости акций, облигаций или валютных пар на основе исторических данных, макроэкономических индикаторов и новостного фона. Хотя финансовые рынки подвержены влиянию стохастических факторов, регрессионный анализ помогает выявлять основные тенденции.
Оценка стоимости активов (Asset Valuation). В сфере недвижимости регрессионные модели используются для автоматизированной оценки рыночной стоимости объектов. Модель, обученная на большой базе данных проданных квартир, учитывает такие признаки, как площадь, район, этаж, удаленность от метро, год постройки дома, и выдает расчетную стоимость конкретного объекта. Подобные системы массово применяются банками при ипотечном кредитовании и аналитическими порталами вроде ЦИАН или Авито.
Макроэкономическое прогнозирование. Правительства и центральные банки используют сложные эконометрические и регрессионные модели для прогнозирования ВВП, уровня инфляции, безработицы и объемов промышленного производства. Эти прогнозы служат основой для формирования денежно-кредитной и бюджетной политики.
Прогнозирование спроса. Ритейл-компании и производственные предприятия применяют регрессию для предсказания будущего объема продаж продукции. Точный прогноз позволяет оптимизировать управление запасами, планировать производственные мощности и выстраивать логистические цепочки, избегая дефицита или затоваривания складов.
Простейшей формой является линейная регрессия, которая предполагает, что зависимость между признаками и целевой переменной можно описать уравнением прямой линии (или гиперплоскости в многомерном пространстве):
y=;0;+;1;X1;+...+;n;Xn;+;
Здесь y — прогнозируемое значение,  Xi; — признаки, ;i — коэффициенты, отражающие влияние каждого признака, а ; — случайная ошибка. Обучение модели заключается в поиске таких значений коэффициентов ;, которые минимизируют сумму квадратов ошибок на обучающих данных (метод наименьших квадратов, OLS)
Для моделирования более сложных, нелинейных зависимостей используются полиномиальная регрессия, гребневая (Ridge) и лассо (Lasso) регрессии (которые включают механизмы регуляризации для борьбы с переобучением), а также методы на основе деревьев решений, способные улавливать сложные взаимодействия между факторами.
Выбор метрик для оценки производительности модели критически важен и зависит от типа решаемой задачи. Для задач регрессии стандартными метриками являются средняя абсолютная ошибка (MAE), среднеквадратичная ошибка (MSE) и коэффициент детерминации (R^2), показывающий долю дисперсии целевой переменной, объясненную моделью.

Для задач классификации набор метрик сложнее. Простая точность (Accuracy) может вводить в заблуждение, особенно на несбалансированных выборках (например, когда фродовых транзакций менее 1% от общего числа). Поэтому используются метрики, основанные на матрице ошибок (confusion matrix):
Точность (Precision) - доля объектов, названных моделью положительными, которые действительно являются положительными. Важна, когда цена ложноположительного срабатывания высока (например, необоснованная блокировка счета).
Полнота (Recall) - доля реально положительных объектов, которые были найдены моделью. Критична, когда важно минимизировать ложноотрицательные результаты (например, пропустить мошенническую операцию).
F1-мера - гармоническое среднее между точностью и полнотой, используемая как сбалансированная оценка.
Основное различие между классификацией и регрессией заключается в природе выходной переменной. Однако они тесно связаны. Как отмечалось, логистическая регрессия предсказывает вероятность, которая является непрерывной величиной (задача регрессии), но затем использует эту вероятность для принятия решения о классе (задача классификации). Любой алгоритм классификации, выдающий вероятности принадлежности к классам, по сути, решает вспомогательную регрессионную задачу