Глубокое обучение – направление машинного обучения, использующее нейросети с несколькими последовательными слоями преобразований. Глубина позволяет строить признаки по уровням: от простых деталей входа к более сложным сочетаниям. Слово «глубокое» относится к структуре вычислений, а не к человеческой глубине понимания.
Что дают дополнительные слои
При распознавании изображения ранний слой может реагировать на контрастные края. Следующий объединяет их в углы и текстуры, более поздний – в части объектов. Конкретное разделение не всегда столь аккуратно, но общий принцип иерархии полезен.
В языковой модели слои последовательно уточняют представление токенов с учётом контекста. Одни связи помогают согласовать форму слов, другие – удержать тему и сопоставить далёкие части текста.
Нелинейные функции между слоями особенно важны. Без них много последовательных линейных преобразований можно было бы свести к одному, и глубина почти ничего не добавила бы.
Чем это отличается от старых подходов
Раньше для многих задач специалисты вручную конструировали признаки: измеряли контуры, частоты звука или статистику слов. Глубокая сеть способна обучить представления вместе с конечной задачей.
Ручные признаки не исчезли и остаются полезными при малом количестве данных или строгих требованиях к объяснимости. Глубокое обучение особенно успешно там, где вход сложен и примеров много: изображения, речь, язык, видео.
Почему обучение стало возможным
Идеи многослойных сетей существуют давно, но их развитию помогли большие цифровые наборы, графические ускорители и улучшенные методы оптимизации. Параллельные матричные вычисления значительно сократили время экспериментов.
Появились также архитектуры, лучше подходящие разным данным: свёрточные сети для пространственных структур и трансформеры для последовательностей и связей между элементами.
Какие есть ограничения
Глубокая модель требует вычислительных ресурсов и тщательно подготовленных данных. Она может переобучиться, воспроизвести перекосы выборки и быть сложной для объяснения. Увеличение слоёв не исправляет неверную постановку задачи.
Для небольшой таблицы дерево решений или линейная модель иногда работает не хуже, быстрее обучается и легче проверяется. Выбирать следует по тестам и рискам, а не по слову «глубокий».
Глубокое обучение эффективно, потому что модель сама строит многоуровневое представление данных. Но каждый уровень остаётся математическим преобразованием, а качество всей системы зависит от цели, примеров, проверки и условий применения.
Как сеть обучает свои слои
Сначала сеть делает прогноз на примере, для которого известен правильный ответ. Функция потерь измеряет расхождение. Затем алгоритм обратного распространения вычисляет, как каждый параметр повлиял на ошибку, а оптимизатор немного изменяет веса. Миллионы таких шагов постепенно формируют полезные внутренние представления.
Обратное распространение не сообщает сети человеческое правило вроде «у кошки острые уши». Оно лишь направляет численные изменения. Поэтому модель может найти неожиданную подсказку в фоне снимка и хорошо работать на учебной выборке по неверной причине. Основы настройки параметров раскрывает статья о том, что такое веса нейросети.
Что такое представление данных
На вход сеть получает числа. Слова превращаются в векторы, звук – в последовательность отсчётов или частот, изображение – в значения пикселей. Слои преобразуют эти числа так, чтобы важные для задачи объекты оказались различимы. Такое внутреннее описание называют представлением.
Хорошее представление переносится на новые примеры. Если сеть видела кошек только на диване, она может спутать диван с признаком животного. Разнообразная выборка и отдельный тест помогают проверить, выучена ли сущность, а не случайный фон.
Почему архитектуры различаются
Свёрточные сети используют локальные фильтры и хорошо учитывают пространственное соседство пикселей. Рекуррентные сети последовательно обрабатывают элементы, но им трудно удерживать далёкие связи. Механизм внимания позволяет напрямую сопоставлять разные части входа и стал основой трансформеров. Подробнее эта архитектура описана в статье о том, что такое трансформер.
Название архитектуры не гарантирует превосходства. Для небольшого набора табличных данных глубокая сеть может запомнить шум, тогда как простая модель даст более устойчивый и понятный результат.
Как проверяют обобщение
Данные делят как минимум на обучающую и тестовую части. Тест не должен незаметно содержать копии учебных объектов. Для временного прогноза особенно важно проверять на будущем периоде, а для медицинских изображений – учитывать пациентов и клиники, которых не было при обучении.
Если параметры многократно подбирали по одному тесту, он перестаёт быть независимым. Тогда оставляют ещё одну закрытую выборку или проводят внешнюю проверку. Высокая точность без описания данных мало что говорит о надёжности.
Почему обучение требует ресурсов
Большие сети выполняют огромное число матричных операций. Ускорители делают их параллельно, но расходуют энергию и требуют памяти для параметров и промежуточных значений. После обучения использование модели обычно дешевле одного полного цикла подготовки, хотя частые запросы тоже складываются в заметную нагрузку.
Глубокое обучение ценно не количеством слоёв само по себе, а способностью извлекать представления из сложных данных. Оно оправдано, когда есть достаточная выборка, измеримая цель и проверка на условиях, похожих на реальное применение.
