Трансформер – архитектура нейросети, которая сопоставляет элементы последовательности с помощью механизма внимания. Каждый токен может учитывать другие токены контекста и оценивать их важность для текущего вычисления. Благодаря этому модель связывает слова на большом расстоянии и эффективно обучается на параллельном оборудовании.
Зачем понадобилась новая архитектура
Ранние языковые сети обрабатывали текст последовательно, передавая состояние от шага к шагу. Им было трудно удерживать далёкие связи, а вычисления нельзя было полностью распараллелить.
Трансформер рассматривает множество позиций одновременно. Это ускоряет обучение на больших корпусах и облегчает работу с длинными зависимостями, хотя длина контекста всё равно ограничена.
Как работает внимание
Для каждого токена модель строит три представления, условно называемые запросом, ключом и значением. Запрос одной позиции сравнивается с ключами других. Чем выше соответствие, тем больший вклад получает связанное значение.
Например, при обработке местоимения внимание может усилить существительное, к которому оно относится. Это не встроенное грамматическое правило: полезные способы сопоставления формируются во время обучения.
Многоголовое внимание выполняет несколько наборов сравнений параллельно. Разные головы способны улавливать разные типы связей, но нельзя считать каждую из них отдельным понятным модулем.
Как модель учитывает порядок
Сам механизм внимания не знает, какой токен был первым. Поэтому к представлениям добавляют информацию о позиции. Она помогает различать фразы с одинаковыми словами, расположенными в разном порядке.
После блока внимания данные проходят через нейронные преобразования. Остаточные связи и нормализация помогают обучать глубокую сеть. Такие блоки повторяются много раз.
Все ли трансформеры одинаковы
Нет. Кодировочные модели особенно удобны для понимания и классификации текста. Декодирующие генерируют продолжение, не заглядывая в будущие токены. Системы «кодировщик – декодировщик» преобразуют одну последовательность в другую, например при переводе.
Трансформеры применяют не только к словам. Элементами могут стать фрагменты изображения, участки аудио, кадры видео или сочетание разных модальностей.
Архитектура не гарантирует понимания в человеческом смысле. Модель вычисляет контекстные связи по обученным весам и может ошибиться. Но механизм внимания дал ей практический способ учитывать множество взаимосвязей сразу, что стало основой современных языковых и мультимодальных систем.
Зачем нужна позиционная информация
Механизм внимания сопоставляет элементы, но без дополнительного сигнала порядок слов был бы неочевиден. Позиционное кодирование сообщает, где находится токен. Современные варианты позволяют учитывать относительное расстояние и работать с длинными последовательностями.
Порядок принципиален: «собака укусила человека» и «человек укусил собаку» состоят из тех же слов, но описывают разные события. Представление должно сохранить эту разницу на многих слоях.
Что происходит в слое внимания
Для каждого элемента вычисляются запрос, ключ и значение. Сходство запроса с ключами определяет, какие значения сильнее повлияют на новое представление. Несколько голов внимания могут одновременно отслеживать разные связи, например согласование слов и упоминание объекта в предыдущем абзаце.
Это математический механизм, а не просмотр мыслей модели. Общая работа слоёв связана с тем, что такое глубокое обучение.
Почему трансформеры хорошо масштабируются
Во время обучения многие позиции можно обрабатывать параллельно, в отличие от строго последовательных рекуррентных сетей. Матричные операции эффективно выполняются на ускорителях. Увеличение данных и параметров дало заметный рост возможностей, хотя потребовало больших ресурсов.
При генерации текста токены всё равно появляются один за другим. Кэширование предыдущих вычислений ускоряет ответ, но длинный контекст требует памяти. Новые архитектурные приёмы пытаются уменьшить эту стоимость.
Трансформер работает только с текстом?
Нет. Изображение делят на участки, звук – на временные фрагменты, а затем обрабатывают как последовательность представлений. Это позволило создать мультимодальные системы. Особенности соединения форматов рассмотрены в статье о том, что такое модальность в ИИ.
Трансформер является архитектурой, а не готовым помощником. Его поведение определяется весами, данными, дополнительной настройкой и программой вокруг модели.
Почему обучение и генерация различаются
При обучении модель видит много токенов и сравнивает прогнозы с правильными продолжениями. При ответе правильного продолжения нет, поэтому выбранный токен становится частью следующего шага. Ранняя ошибка способна изменить весь последующий текст.
Параметры случайности управляют выбором среди вероятных вариантов, но не добавляют знания. Низкая случайность делает формулировку стабильнее, высокая расширяет разнообразие. Для извлечения нужна устойчивость, для идей – несколько вариантов и человеческий отбор.
Трансформеры имеют предел контекста. Внимание ко многим элементам требует вычислений и памяти, поэтому длинный документ обрабатывают частями либо соединяют модель с внешним поиском.
Что остаётся за пределами архитектуры
Два трансформера могут вести себя совершенно по-разному. Один обучен на коде, другой на изображениях, третий дополнительно настроен следовать инструкциям. Системные правила, фильтры и инструменты приложения тоже не являются свойствами базовой схемы.
Поэтому фраза «это трансформер» объясняет способ вычислений, но не подтверждает точность, безопасность или знания конкретной системы. Эти качества проверяют по данным и поведению готового продукта.
