Как сохранить лицо героя одинаковым в AI-видео
Лицо героя в AI-видео сохраняют тремя способами: один и тот же набор референсов в каждой генерации, модель, дообученная на этом персонаже, или живая съёмка, поверх которой работают нейросеть и VFX. Если генерировать каждый кадр с нуля по текстовому описанию, лицо будет меняться от сцены к сцене.
Почему лицо «плывёт»
Нейросеть каждый раз собирает изображение заново. Описание «девушка с короткими тёмными волосами» подходит тысячам лиц, и модель выбирает новое. Чем длиннее ролик и чем больше ракурсов, тем заметнее разница.
Что помогает в генерации
- лист персонажа: лицо анфас, в профиль, в три четверти, при разном свете;
- одни и те же референсы в каждом запросе, без замены «на похожие»;
- дообучение модели на персонаже, если роликов будет много;
- меньше резких смен ракурса и крупных планов, где разница видна сильнее всего;
- отбор: из нескольких вариантов сцены берут тот, где лицо совпадает.
Когда лучше снимать живого человека
Если герой это артист или реальный человек, надёжнее снять его и обработать съёмку. Тогда лицо остаётся настоящим в каждом кадре, а нейросеть и эффекты меняют всё вокруг.
Пример: клип @every_day_rain
Артист пришёл с готовым клипом. Мы оставили живые съёмки и построили эффекты поверх: осколки и частицы, которые вылетают из кадра, вспышки света, смена цвета между сценами. Для преобразования картинки использовали AI-генерацию, сверху VFX-композитинг, кадры трекали и собирали в After Effects. Клип набрал больше 3 млн просмотров. Кейс @every_day_rain.
Подробнее об услуге: музыкальный клип с нейросетью для артиста.