Нейросеть генерирует фотографию, постепенно превращая случайный шум в изображение, которое соответствует текстовому описанию и усвоенным визуальным закономерностям. Большинство современных систем использует диффузионный процесс: модель много раз предсказывает и удаляет шум, уточняя формы, свет и детали.
Чему модель учится
Во время обучения к изображениям добавляют шум разных уровней. Сеть учится предсказывать, какая часть входа является шумом, учитывая подпись или другое условие. Повторяя задачу на множестве пар, она связывает слова с визуальными признаками.
Модель не хранит обычный фотокаталог, из которого выбирает готовый кадр. Закономерности распределены по весам. Однако при недостаточно разнообразных данных она может воспроизводить стереотипы или слишком близкие детали редких примеров.
Как начинается генерация
Промпт кодируется в числовое представление. Генерация начинается со случайного массива. На каждом шаге модель оценивает, как изменить его, чтобы результат был менее шумным и лучше согласовывался с текстом.
Многие системы работают не с полными пикселями, а в сжатом скрытом пространстве. Это уменьшает вычисления. В конце отдельный декодировщик переводит скрытое представление в видимую картинку.
Разные случайные начальные значения дают разные кадры при одном промпте. Фиксация начального значения помогает повторить близкий результат, но обновление модели или настроек может его изменить.
Почему изображение выглядит фотографическим
Модель усваивает типичные отношения света, перспективы, фактуры и композиции из обучающих изображений. Слова «макросъёмка», «мягкий оконный свет» или «широкоугольный кадр» направляют эти закономерности.
При этом система не строит точную трёхмерную сцену как физический симулятор. Поэтому отражения, пальцы, надписи и повторяющиеся элементы могут быть противоречивыми.
Как управляют результатом
Кроме текста используют исходное изображение, маску для редактирования, карту глубины или контур. Сила условия определяет, насколько далеко результат отойдёт от референса. Повышение числа шагов после разумного предела не обязательно улучшает кадр.
Синтетическая фотография может выглядеть правдоподобно, но не является свидетельством события. При публикации важно не выдавать вымышленную сцену за документальный снимок и учитывать согласие людей, права и правила площадки. Генератор создаёт визуально вероятную картину, а её достоверность и допустимость оценивает человек.
От шума к изображению
Большинство современных генераторов начинает не с пустого белого холста, а с случайного шума в скрытом представлении. На каждом шаге модель немного меняет его в сторону изображения, соответствующего тексту. Она не достаёт готовую фотографию из базы и не рисует предмет по геометрическому чертежу. Поэтому два запуска одного описания обычно дают разные композиции.
Число случайности, которое часто называют seed, позволяет приблизительно повторить исходную раскладку при тех же настройках. После смены модели или размера кадра результат может заметно измениться даже с тем же числом.
Что задавать в описании кадра
Полезно разделить запрос на объект, окружение, свет, точку камеры и настроение. Фраза «чашка на столе» оставляет почти всё на усмотрение модели. Указание материала чашки, времени суток, крупности и направления света делает задачу определённее. Общие принципы формулировки раскрывает статья о том, что такое промпт.
Слишком длинный список требований тоже мешает. Модель может проигнорировать один из десяти предметов или смешать их свойства. Сначала добиваются правильной композиции, затем уточняют детали и редактируют отдельные области.
Почему сложны руки, надписи и отражения
Генератор воспроизводит вероятный внешний вид, но не строит полноценную трёхмерную сцену. Пальцы могут пересекаться, отражение – показывать другой предмет, а буквы – выглядеть правдоподобными знаками без смысла. Такие ошибки особенно заметны в мелких повторяющихся структурах.
Для фотографии с человеком проверяют кисти, зубы, очки, украшения и края волос в полном размере. Текст для упаковки или вывески надёжнее добавить обычным графическим редактором. Дополнительные приёмы собраны в материале о том, как обработать фото нейросетью.
Как выбирать удачный вариант
Сначала оценивают соответствие задаче, а не эффектность. У рекламного макета должно остаться место для верстки, у иллюстрации – понятный главный объект, у интерьерной идеи – правдоподобный масштаб. Затем сравнивают свет, анатомию и мелкие дефекты.
Один хороший вариант можно улучшать локальной перерисовкой. Маска ограничивает область, но изменение иногда затрагивает тени и соседние предметы. Исходник и промежуточные версии сохраняют отдельно, чтобы не потерять удачную композицию.
Когда изображение нельзя выдавать за снимок
Синтетическая фотография не подтверждает, что событие происходило, товар существует или человек давал согласие на изображение. В новостном, документальном и коммерческом контексте происхождение кадра должно быть понятно зрителю. Нельзя имитировать реального человека в компрометирующей ситуации или скрывать существенную подмену товара.
Генератор хорошо создаёт иллюстративный образ, когда автор контролирует задачу, проверяет детали и честно обозначает характер изображения. Он предлагает визуальные варианты, но ответственность за смысл и допустимость публикации остаётся у человека.
Сохраняйте параметры удачной версии
Для повторной работы записывают модель, размер кадра, seed, исходный запрос и применённые правки. Сам файл без этих сведений трудно развивать последовательно. При передаче дизайнеру полезно отметить, какие области считаются окончательными, а какие допускают новую генерацию.
