Обучение на собственных данных начинается с измеримой задачи и законного набора примеров, а не с запуска модели. Данные очищают, размечают и делят так, чтобы тест отражал будущие условия. Затем выбирают: обучить небольшую модель, донастроить готовую или вообще оставить документы в поисковой базе.
Определите ожидаемый результат
Для классификации нужен класс, для прогноза – число, для генерации – примеры правильного ответа и критерии. «Знать документы компании» чаще означает RAG, потому что факты обновляются и должны цитироваться.
Запишите базовый способ решения. Новая модель должна быть лучше измеримо.
Проверьте права и качество
Убедитесь, что можете использовать данные для обучения. Удалите лишние персональные сведения и ограничьте доступ. Зафиксируйте источник, период и правила разметки.
Несколько разметчиков помогают увидеть неоднозначность. Если люди не согласны, модель не получит однозначной цели.
Разделите без утечки
Похожие записи одного клиента, устройства или документа не должны одновременно попадать в обучение и тест. Для прогноза будущего разделяйте по времени. Дубликаты создают завышенную оценку.
Отдельно соберите трудные и редкие случаи. Средняя точность может скрыть провал именно на них.
Выберите технический путь
Небольшой табличный набор часто лучше решает дерево или линейная модель. Для текста и изображений используют готовую предобученную сеть и донастраивают её. Полное обучение крупной модели с нуля требует огромных ресурсов и редко оправдано.
Параметр-эффективные методы уменьшают стоимость, но не исправляют плохую разметку.
Внедрите с контролем
Сравните с базовой версией, оцените ошибки по группам и проведите пилот с подтверждением человеком. Отслеживайте изменение входных данных. Храните версии, чтобы откатиться.
«Свои данные» дают модели специализацию, но одновременно переносят в неё все ошибки и перекосы организации. Главная работа заключается не в нажатии кнопки обучения, а в создании честного набора и теста, который действительно отражает реальную задачу.
Сначала решите, нужно ли менять веса
Если системе не хватает актуальных документов, полезнее подключить поиск по базе. Если нужен строгий формат ответа, иногда достаточно примеров в инструкции и программной проверки. Обучение оправдано, когда желаемое поведение можно показать на множестве устойчивых примеров.
Разницу между поиском и настройкой объясняет статья о том, что такое RAG. Запоминать часто меняющийся прайс в весах неудобно: его трудно обновить и процитировать.
Данные должны описывать реальную задачу
Собирают типичные, сложные и отрицательные примеры. Если в наборе только удачные обращения, модель не научится корректно отказывать при нехватке сведений. Повторы удаляют, противоречащие метки разбирают с владельцем процесса.
Персональные и коммерческие данные минимизируют до передачи. Разрешение на использование в работе не всегда означает разрешение на обучение модели.
Разделение предотвращает самообман
Записи одного клиента, кадры одного ролика или версии одного документа помещают в одну часть выборки. Иначе почти одинаковый пример окажется и в обучении, и в тесте. Итоговая метрика будет высокой, хотя модель не научилась переносить правило.
Контрольный набор фиксируют до экспериментов. Основы подготовки подробнее раскрывает статья о том, какие данные нужны для машинного обучения.
Выбирайте минимальный способ настройки
Полное обновление модели требует больше вычислений и способно ухудшить прежние навыки. Адаптеры меняют небольшую часть параметров и удобнее отключаются. Практическая последовательность описана в статье о том, как дообучить нейросеть под задачу.
Начинают с небольшой репрезентативной выборки. Если измеримого улучшения нет, увеличение объёма не всегда поможет: возможно, задача сформулирована неверно или метки непоследовательны.
Метрика должна отражать последствия
Средняя точность скрывает разные виды ошибок. Для классификации обращений важно, какие категории путаются; для генерации ответа – сохранены ли обязательные поля и факты. Автоматическую метрику дополняют проверкой людьми по заранее определённой шкале.
Сравнивают с базовой моделью на одном тесте. Новый вариант должен не только улучшить целевой сценарий, но и не испортить безопасность, язык и смежные задачи.
Эксперимент оформляют как версию
Сохраняют происхождение данных, код очистки, базовую модель, параметры, случайное зерно и результаты. Без этого удачный запуск нельзя повторить. Доступ к обучающему набору и весам ограничивают, потому что они могут содержать чувствительные закономерности.
После запуска реальные запросы меняются. Ошибки, новые категории и сдвиг данных отслеживают, а возможность быстро вернуться к прежней модели планируют заранее.
Обучение на собственных данных даёт пользу, когда цель проверяема, набор законен и разнообразен, а выпуск контролируется как полноценный программный продукт. Сам факт использования «своих данных» не гарантирует ни точности, ни соответствия реальной работе.
Кто должен размечать примеры
Эксперт предметной области понимает различия классов, но может применять правило непоследовательно. Полезно создать инструкцию с пограничными случаями и дать часть записей двум независимым разметчикам. Их расхождения показывают, где сама постановка задачи неясна.
Нельзя заставлять модель уверенно различать категории, которые люди определяют только после дополнительного обследования. В таком случае выходом должна быть отметка «недостаточно данных» и маршрут к специалисту, а не искусственно полный набор ответов.
