Машинное обучение – это способ создавать программы, которые находят полезные закономерности в данных. Разработчик задаёт цель и способ оценки ошибки, а конкретное правило модель подбирает по примерам. В обычной программе большая часть условий записана заранее, поэтому её поведение напрямую следует из кода.
Как модель получает правило
Допустим, нужно отличать нежелательные письма. Можно вручную перечислить подозрительные слова, но отправители быстро изменят формулировки. В машинном обучении системе показывают множество писем с метками «спам» и «не спам». Алгоритм подбирает параметры, которые связывают признаки сообщения с правильным классом.
После обучения модель получает новое письмо и выдаёт прогноз. Она не ищет его точную копию, а применяет закономерности, найденные в обучающей выборке.
Основные виды обучения
При обучении с учителем примеры содержат правильные ответы. Так строят классификацию изображений и числовые прогнозы. При обучении без учителя готовых меток нет: алгоритм ищет группы, необычные объекты или более компактное представление данных.
В обучении с подкреплением система выбирает действия и получает награду. Она учится стратегии через последствия, например в игре или управлении. На практике методы часто сочетают.
Чем машинное обучение не является
Модель не отменяет программирование. Код по-прежнему загружает данные, запускает обучение, проверяет результат и встраивает его в продукт. Явные правила также остаются полезными там, где условия известны и должны соблюдаться точно.
Не всякая автоматизация относится к машинному обучению. Калькулятор, сортировка списка и форма с проверкой даты могут работать по обычным алгоритмам без обучаемых параметров.
Почему качество зависит от данных
Модель видит мир через примеры. Если в них мало редких случаев, ошибки будут чаще именно там. Неверные метки учат неверным связям, а историческая несправедливость может воспроизводиться в прогнозах.
Поэтому данные делят на обучающие и тестовые, проверяют происхождение признаков и оценивают ошибки по важным группам. Высокая средняя точность не гарантирует безопасность каждого решения.
Нейросети являются одним из классов моделей машинного обучения, но существуют и деревья решений, линейные модели, методы ближайших соседей. Выбор зависит от данных, требований к объяснимости, скорости и цене ошибки. Машинное обучение полезно не потому, что «думает» вместо человека, а потому, что способно извлечь из большого числа примеров правило, которое трудно перечислить вручную.
Какие признаки видит модель
Алгоритм получает не объект целиком, а численное представление. Для квартиры это могут быть площадь, район и этаж, для письма – частоты и последовательности токенов, для снимка – значения пикселей. Признаки задаёт человек либо учит сама нейросеть. Если важная информация отсутствует, модель не восстановит её из намерений заказчика.
Опасно включать признак, который известен только после события. Например, прогноз оттока будет выглядеть идеальным, если случайно использовать отметку о закрытии договора. Такая утечка данных даёт высокую оценку на тесте и бесполезную систему в реальной работе.
Как данные делят на части
На обучающей выборке параметры настраивают, на проверочной выбирают вариант, а тестовую оставляют для финальной оценки. Записи одного человека или почти одинаковые фотографии не должны попадать в разные части, иначе модель фактически увидит ответ заранее.
Подробные требования к выборке собраны в статье о том, какие данные нужны для машинного обучения. При прогнозе будущего деление делают по времени, а не случайным перемешиванием старых и новых событий.
Что означают переобучение и недообучение
Недообученная модель слишком проста или недостаточно настроена и ошибается даже на знакомых примерах. Переобученная запоминает особенности учебных данных, но плохо переносит правило на новые. Между этими состояниями ищут баланс с помощью регуляризации, ранней остановки и независимой проверки.
Больше параметров не всегда полезнее. Если данных мало, простая линейная модель или дерево решений часто устойчивее и понятнее. Сложность оправдана только измеримым улучшением на реалистичном тесте.
Какие метрики выбирать
Одна «точность» может скрывать смысл ошибок. При редкой болезни модель, всегда отвечающая «здоров», получит высокий процент совпадений, но не найдёт ни одного случая. Тогда отдельно считают пропущенные и ложные срабатывания. Для численного прогноза оценивают величину отклонения, а для ранжирования – качество верхних результатов.
Метрика должна отражать последствия. Стоимость лишней проверки и стоимость пропущенной угрозы различаются. Общую схему построения модели продолжает статья о том, как работает алгоритм машинного обучения.
Машинное обучение полезно, когда закономерность повторяется, данных достаточно, а результат можно проверить. Оно не заменяет причинное объяснение: хорошая корреляция помогает прогнозировать, но сама по себе не доказывает, почему событие произошло.
После запуска распределение данных способно измениться. Новая техника, сезон или поведение пользователей делают старую модель менее точной. Поэтому качество измеряют не только перед публикацией, но и во время эксплуатации, заранее определив порог для остановки и повторного обучения.
