Компьютер для локальной нейросети выбирают по конкретной модели и скорости, а главным ограничением часто становится память. Небольшая квантованная языковая модель работает на обычном современном ПК, генерация изображений и крупные модели выигрывают от видеокарты с большим объёмом памяти. Покупать оборудование до теста не стоит.
Сколько памяти нужно
Вес модели в выбранной точности задаёт нижнюю границу. Кроме него нужна память для контекста, кэша и программы. Файл на диске и объём при работе не всегда совпадают.
Если модель не помещается в видеопамять, часть можно перенести в оперативную, но ответ замедлится. Запас важнее работы на пределе.
Роль видеокарты и процессора
Графический ускоритель параллельно выполняет матричные операции. Но совместимость программ и драйверов важна не меньше теоретической мощности. Перед покупкой проверьте поддержку выбранной среды.
На процессоре тоже можно запускать многие квантованные модели. Скорость зависит от числа ядер, набора инструкций и пропускной способности памяти.
Диск и охлаждение
Модели занимают от сотен мегабайт до десятков гигабайт, а несколько вариантов быстро заполняют диск. SSD сокращает загрузку. Оставьте место для кэша и обновлений.
Длительная генерация создаёт постоянную нагрузку. Корпус, блок питания и охлаждение должны соответствовать компонентам. Но локальный чат не всегда нагружает систему непрерывно.
Как выбрать разумно
Сначала запустите маленькую модель на имеющемся ПК или протестируйте нужный размер в арендуемой среде. Измерьте токены в секунду, время генерации изображения и потребление памяти на своём сценарии.
Для текста важна скорость первого и последующих токенов, для изображений – время одного кадра, для обучения – совсем другие ресурсы. Не смешивайте требования запуска и полного обучения.
Хороший компьютер – тот, который выполняет нужную задачу с приемлемой задержкой и запасом памяти. Название модели, точность хранения, контекст и программа влияют сильнее общей фразы «для ИИ», поэтому конфигурацию выбирают после измеримого теста.
Отталкивайтесь от сценария, а не от слова «нейросеть»
Для расшифровки коротких записей, личного чата и генерации изображений нужны разные ресурсы. Сначала записывают название модели, формат весов, желаемую длину контекста и приемлемое время ответа. Практический порядок запуска описан в статье о том, как запустить нейросеть на компьютере.
Если задача выполняется несколько раз в неделю, ждать минуту может быть нормально. Для помощника, который используется весь день, та же задержка быстро становится неудобной. Требование к скорости должно отражать реальную работу.
Видеопамять определяет размер задачи
Для языковой модели в памяти находятся веса и служебный кэш, который растёт вместе с контекстом. Генератор изображений дополнительно зависит от разрешения, числа кадров в пакете и используемых модулей. Указанная на странице загрузки величина файла не является готовым расчётом потребления.
Если модель частично переносится в оперативную память, она может запуститься, но обмен данными замедлит ответ. Поэтому полезен запас, а не конфигурация, которая помещает тестовый запрос с точностью до последних мегабайт.
Оперативная память и диск тоже участвуют в работе
Оперативная память нужна программе, системе, кэшу и той части модели, которая не находится на ускорителе. Для спокойной работы закрывают тяжёлые приложения и измеряют пик потребления, а не только значение после загрузки.
На диске хранятся несколько вариантов весов, временные файлы и результаты. SSD ускоряет запуск, но почти не влияет на скорость уже загруженного вычисления. Инструкцию по размещению компонентов стоит сверить с материалом о том, как установить локальную нейросеть.
Настольный компьютер проще расширять
В системном блоке легче заменить видеокарту, добавить память и организовать охлаждение. Но нужно проверить мощность блока питания, физическую длину карты и свободные разъёмы. Покупка мощного ускорителя без этих проверок может потребовать переделки всей системы.
Ноутбук выигрывает мобильностью, зато его видеопамять обычно нельзя увеличить. Длительная нагрузка сильнее зависит от охлаждения и режима питания. Сравнивать устройства следует по продолжительному тесту, а не по короткому пиковому результату.
Проверка перед покупкой экономит больше всего
Нужную модель запускают на имеющемся компьютере, временном сервере или устройстве знакомого. Измеряют скорость первого ответа, дальнейшую генерацию, нагрев и качество на нескольких типичных запросах. Если уменьшенная версия решает задачу достаточно хорошо, более дорогая конфигурация может не понадобиться.
Готовый список комплектующих без названия модели быстро устаревает и создаёт ложную точность. Разумная конфигурация появляется из теста: конкретная задача, выбранная сборка, необходимый контекст, допустимое ожидание и небольшой запас памяти.
Для домашнего сервера учитывают простой и шум
Компьютер, который отвечает другим устройствам, может работать много часов. Здесь важны не только пиковая скорость, но и потребление энергии в ожидании, шум вентиляторов и автоматическое восстановление после перезагрузки. Интерфейс не открывают в интернет без авторизации и сетевых ограничений.
Если системой пользуются несколько человек, одновременные запросы увеличивают память и задержку. Нагрузочный тест проводят хотя бы с двумя параллельными задачами. Иногда отдельная небольшая модель для быстрых запросов полезнее одной большой, которая блокирует очередь.
