Разные нейросети отвечают на один запрос по-разному, потому что у них отличаются устройство, обучающие данные, дополнительные инструкции и способ выбора следующего слова. Более того, даже одна и та же модель при повторении запроса может сформулировать ответ иначе.
Нейросеть не достаёт готовый текст из ящика
Разговорная модель создаёт ответ последовательно. Она оценивает, какое продолжение наиболее подходит к уже написанному, выбирает один вариант и повторяет операцию для следующего фрагмента.
Это не обычная база данных с единственной карточкой для каждого вопроса. В модели хранится сложная система закономерностей, усвоенных во время обучения. Один смысл можно выразить множеством способов, поэтому возможных продолжений всегда несколько.
Основы работы таких систем кратко объяснены в статье «Искусственный интеллект».
Модели учились на разных данных
Разработчики собирают, очищают и отбирают обучающие материалы по собственным правилам. В одном наборе больше научных текстов, в другом – программного кода, диалогов или документов определённого периода.
Даже при пересечении источников модели могут видеть разные версии страниц и получать разные примеры качественных ответов. Это влияет на словарь, глубину объяснения, знание редких тем и привычный стиль.
Точный состав больших наборов обычно невозможно перечислить построчно. Поэтому по одному ответу нельзя надёжно установить, из какого конкретного текста модель получила информацию.
У систем разные скрытые инструкции
Перед пользовательским сообщением сервис может добавлять внутренние правила. Они определяют роль помощника, требования к безопасности, длину ответа, допустимые инструменты и порядок работы.
Пользователь этих инструкций не видит, но они влияют на результат. Одна система сначала задаст уточняющий вопрос, другая сделает разумное предположение, третья откажется обсуждать часть темы.
Поэтому честное сравнение ChatGPT и Claude для текстов должно использовать одинаковые задания и учитывать не только красоту одного удачного ответа, но и стабильность на серии примеров.
Формулировка запроса меняет задачу
Для человека фразы «объясни коротко», «объясни школьнику» и «дай техническое описание» относятся к одной теме. Для модели это три разных контекста, которые меняют лексику, примеры и подробность.
Влияют даже предыдущие сообщения в диалоге. Если раньше обсуждалась медицина, слово «культура» может быть понято как лабораторная культура. В разговоре об искусстве оно получит другое значение.
Чтобы сравнение было честным, запросы копируют без изменений, открывают новые диалоги и проверяют несколько тем.
Почему меняется ответ одной модели
Во время генерации система не всегда выбирает только самое вероятное продолжение. Небольшая доля случайности делает речь менее однообразной и позволяет находить разные формулировки.
Если случайность уменьшить, ответы станут стабильнее, но не обязательно полностью одинаковыми. На результат также влияют обновление модели, загруженные файлы, доступ к поиску и изменение внутренних настроек сервиса.
Поэтому повторный ответ через месяц нельзя считать точной проверкой старого эксперимента, если версия системы неизвестна.
Более уверенный ответ не всегда точнее
Модель строит правдоподобный текст и может уверенно соединить несовместимые факты. Красивый стиль не доказывает истинность. Особенно опасны точные даты, цитаты, ссылки и редкие термины, которые легко проверить, но трудно восстановить по памяти.
Современные системы умеют пользоваться поиском и инструментами, однако и тогда возможны неверный источник или ошибка интерпретации. Подходы к поиску объяснений разобраны в статье «Где найти ответы на интересные вопросы в интернете».
Как получить более полезный результат
Хороший запрос описывает цель, аудиторию, формат и ограничения. Вместо «расскажи о батареях» полезнее написать: «Объясни старшекласснику, почему литий-ионный аккумулятор теряет ёмкость, в пяти коротких пунктах, без советов по ремонту».
Для сложной работы стоит:
- дать исходные данные и нужный контекст;
- попросить отделить факты от предположений;
- указать желаемый объём;
- запросить проверяемые источники;
- отдельно перепроверить важные числа и выводы;
- сравнить несколько вариантов ответа.
Возможности систем быстро растут, но их сильные и слабые стороны остаются неодинаковыми. Общее представление о текущих задачах машинного помощника даёт материал «На что сегодня способен искусственный мозг».
Различие ответов не означает, что одна нейросеть всегда умная, а другая всегда ошибается. Они предлагают разные вероятные решения в заданных условиях. Поэтому выбирать инструмент разумнее не по одному эффектному примеру, а по повторяемой работе на задачах, которые действительно важны пользователю.