Веса – это числовые коэффициенты, определяющие, насколько сильно один сигнал влияет на следующий слой нейросети. Во время обучения алгоритм корректирует веса так, чтобы уменьшить ошибку прогнозов. Способности модели заключены не в одном особом числе, а в совместной конфигурации множества параметров.
Как вес участвует в вычислении
Искусственный нейрон получает несколько входных значений. Каждое умножается на свой вес, после чего произведения складываются. Большой положительный вес усиливает влияние входа, отрицательный может направить сумму в противоположную сторону, а значение около нуля почти исключает признак из конкретного вычисления.
К сумме часто добавляют смещение. Оно позволяет сдвинуть порог реакции нейрона. Веса и смещения вместе называют параметрами модели.
В глубокой сети результат проходит через множество слоёв. Поэтому один вес редко имеет простое объяснение вроде «отвечает за кошку». Признак обычно представлен распределённо, а влияние отдельного параметра зависит от тысяч других.
Откуда берутся начальные значения
Если всем связям присвоить одинаковый вес, нейроны одного слоя будут учиться одинаково. Чтобы нарушить симметрию, параметры инициализируют небольшими случайными значениями по специально подобранным правилам.
Слишком крупные начальные числа могут сделать сигналы и градиенты нестабильными. Слишком маленькие – ослабить их прохождение. Метод инициализации учитывает число входов, выходов и тип функции активации.
Как вес получает поправку
После прогноза функция потерь измеряет ошибку. Обратное распространение вычисляет градиент – оценку того, как изменение конкретного веса изменит потери. Оптимизатор сдвигает параметр в сторону улучшения.
Поправка обычно мала. Один учебный пример не должен полностью перестраивать модель. Изменения накапливаются по партиям данных и эпохам. Скорость обучения управляет масштабом шагов, а современные оптимизаторы учитывают историю градиентов.
Почему параметров так много
Слой, соединяющий тысячу входов с тысячей выходов, уже содержит миллион весов. В больших моделях размеры внутренних представлений и число слоёв велики, поэтому общее количество параметров измеряется миллиардами.
Больше весов означает большую способность описывать сложные зависимости, но также увеличивает требования к данным и вычислениям. Без достаточного разнообразия примеров крупная сеть может переобучиться или выучить случайные особенности.
Можно ли увидеть знания в весах
Иногда исследователи находят нейроны или направления представлений, связанные с определёнными понятиями. Но полного словаря, который однозначно сопоставляет каждый факт конкретному весу, нет. Знание обычно распределено по сети.
При уменьшении точности хранения, удалении малозначимых связей или объединении моделей часть свойств может сохраниться, а часть ухудшиться. Это подтверждает, что важна общая структура параметров.
Веса можно представить как настройки огромного музыкального пульта: отдельный регулятор влияет на звук, но мелодия возникает только из их совместной работы. Обучение не записывает готовые ответы, а настраивает эту систему так, чтобы она воспроизводила полезные закономерности на новых входных данных.
Где хранятся веса
После обучения числа сохраняют в файлах контрольной точки. Крупная модель занимает много памяти, потому что параметров миллиарды, а каждый записан с определённой точностью. Формат также содержит сведения о структуре и разбиении по файлам.
Уменьшение точности называется квантованием. Оно позволяет разместить модель на доступной видеокарте или в оперативной памяти, но способно повлиять на редкие и сложные задачи. Подробнее практический запуск описан в статье о локальной нейросети.
Как один вес влияет на ответ
Отдельный параметр обычно не хранит самостоятельный факт или слово. Значение возникает из совместной работы множества весов. Попытка найти «нейрон Парижа» слишком упрощает распределённое представление, хотя отдельные элементы могут особенно сильно реагировать на определённые признаки.
Именно распределённость затрудняет точное объяснение. Изменение небольшого набора параметров иногда влияет на несколько разных способностей, а исправление одного ответа не гарантирует исчезновения похожей ошибки.
Что меняется при дообучении
Полное обучение обновляет много параметров. Методы вроде LoRA добавляют компактные матрицы и оставляют базовые веса прежними. Это дешевле и позволяет переключать адаптации. Принцип раскрыт в статье о том, что такое LoRA.
Слишком агрессивная настройка приводит к забыванию прежних навыков или повторению учебных примеров. Поэтому новую версию сравнивают и на целевой задаче, и на общем контрольном наборе.
Являются ли веса открытым исходным кодом
Публикация файлов не обязательно включает данные обучения, код подготовки и разрешение на любое использование. Лицензия может ограничивать коммерческие сценарии или распространение производных версий. Термины «открытые веса» и «открытый исходный код» следует различать.
Веса – результат обучения и основная численная память модели. Но для работы также нужны архитектура, токенизатор, шаблон диалога и программа вычислений. Один файл без совместимого окружения не превращается в готовый чат.
Контрольная сумма подтверждает, что файл скачан полностью и не был подменён. Для рабочей системы фиксируют также источник и лицензию.
Разные контрольные точки нельзя считать взаимозаменяемыми только из-за похожего имени семейства.
