Контекст – это информация, доступная языковой модели во время формирования текущего ответа. В него входят запрос, история разговора, скрытые инструкции сервиса, приложенный текст и уже созданные слова. Контекстное окно ограничено числом токенов, потому что хранение и сопоставление слишком длинной последовательности требует памяти и вычислений.
Контекст не равен памяти человека
Модель не обязана помнить все прошлые разговоры. Если старое сообщение не передано в текущем запросе и не сохранено отдельной системой памяти, оно для модели недоступно. Интерфейс может показывать длинную переписку, но сервис решает, какую её часть отправить снова.
Внутри одного окна модель строит связи между фрагментами. Она может понять, к какому существительному относится местоимение, сопоставить вопрос с абзацем документа или выдержать заданный формат ответа. Чем яснее расположены важные условия, тем надёжнее они учитываются.
Почему окно имеет предел
Трансформер сравнивает элементы последовательности с помощью механизма внимания. У классической схемы объём промежуточных вычислений быстро растёт с длиной текста. Новые архитектуры и инженерные приёмы уменьшают расходы, но предел не исчезает полностью.
Кроме памяти ускорителя важны скорость и стоимость. Обработка книги целиком занимает больше времени, чем одной страницы. Поэтому разработчики выбирают баланс между длиной окна, качеством и доступными ресурсами.
Заявленный предел также не означает одинаково точную работу на всей длине. Модель может хуже замечать факт, спрятанный в середине огромного документа, путать похожие фрагменты или терять раннее условие при сложной задаче.
Что происходит при переполнении
Поведение зависит от сервиса. Он может отказать, обрезать начало, сократить историю или предварительно разбить документ на части. Если удалено важное определение, модель начнёт отвечать без него, хотя пользователь по-прежнему видит сообщение на экране.
Поэтому полезно повторять ключевые требования в текущем запросе и не заполнять контекст ненужными черновиками. Для большого архива лучше сначала найти релевантные отрывки, а затем передать их модели вместе с вопросом.
Как работать с длинным материалом
Документ можно разделить по смысловым разделам, получить краткие конспекты и только после этого собрать общий вывод. Для поиска фактов применяют системы RAG: они выбирают несколько подходящих фрагментов из базы, а не помещают в окно всё хранилище.
При последовательной обработке важно сохранять общие критерии. Например, для каждой главы просить одинаковую структуру выписки, а финальный вывод строить по этим выпискам. Иначе частичные ответы трудно сравнить.
Контекст – это рабочий стол модели, а не её полное обучение и не бесконечная память. На стол можно положить инструкции и нужные материалы, но место ограничено. Хороший запрос не просто добавляет больше текста, а выбирает данные, без которых правильный ответ действительно невозможен.
Что именно занимает место в контексте
В окно входят не только видимые сообщения пользователя. Там находятся системные правила сервиса, описание доступных инструментов, ответы функций, прикреплённые документы и история разговора. Поэтому заявленный предел нельзя целиком заполнить собственным текстом. Часть объёма уже занята служебной информацией, а длинный ответ модели тоже требует места.
Единицей измерения обычно служит токен, а не слово или знак. Русское слово иногда разбивается на несколько частей, код и таблицы расходуют объём иначе, чем обычная проза. Подробный разбор дан в статье о том, что такое токены.
Почему модель забывает начало диалога
Когда переписка не помещается, приложение может удалить ранние сообщения, пересказать их кратко или выбрать только относящиеся к новому вопросу фрагменты. Пользователь не всегда видит этот процесс. В результате правило, сформулированное в начале, перестаёт действовать, хотя чат визуально остаётся одним.
Перед важным результатом полезно повторить цель, термины и запреты в компактном виде. Это не «уговор» модели, а восстановление рабочей информации. Если разные части беседы противоречат друг другу, нужно явно назвать актуальную версию, иначе система попытается совместить несовместимые требования.
Как помещают большой документ
Длинный файл часто режут на смысловые фрагменты. По запросу поиск выбирает несколько наиболее близких частей и добавляет их к вопросу. Такой подход экономит контекст, но способен пропустить таблицу, приложение или определение из далёкой главы. Принцип внешнего поиска по базе объясняет материал о том, что такое RAG.
Для проверки просят указать раздел и коротко пересказать соседний абзац. Если вывод зависит от нескольких глав, их лучше анализировать по отдельности, а затем сопоставлять. Простой запрос «прочитай всё и найди ошибки» скрывает, какие части действительно попали в работу.
Как составлять контекст без лишнего шума
Полезный контекст отвечает на четыре вопроса: что требуется, для кого, на каких данных и по каким ограничениям. Десять нерелевантных примеров не улучшают результат, а конкурируют с важными сведениями. Старые черновики, дубли и случайные логи перед загрузкой удаляют.
Контекст не делает модель экспертом и не гарантирует следование каждой строке. Он лишь предоставляет информацию, которой не было в общих параметрах. Качество зависит от отбора, ясности и возможности сверить ответ с переданным материалом.
