Как сохранить лицо героя одинаковым в AI-видео

Влад Буданов, основатель CATS Digital Studio. Опубликовано , обновлено .

Лицо героя в AI-видео сохраняют тремя способами: один и тот же набор референсов в каждой генерации, модель, дообученная на этом персонаже, или живая съёмка, поверх которой работают нейросеть и VFX. Если генерировать каждый кадр с нуля по текстовому описанию, лицо будет меняться от сцены к сцене.

Почему лицо «плывёт»

Нейросеть каждый раз собирает изображение заново. Описание «девушка с короткими тёмными волосами» подходит тысячам лиц, и модель выбирает новое. Чем длиннее ролик и чем больше ракурсов, тем заметнее разница.

Что помогает в генерации

  • лист персонажа: лицо анфас, в профиль, в три четверти, при разном свете;
  • одни и те же референсы в каждом запросе, без замены «на похожие»;
  • дообучение модели на персонаже, если роликов будет много;
  • меньше резких смен ракурса и крупных планов, где разница видна сильнее всего;
  • отбор: из нескольких вариантов сцены берут тот, где лицо совпадает.

Когда лучше снимать живого человека

Если герой это артист или реальный человек, надёжнее снять его и обработать съёмку. Тогда лицо остаётся настоящим в каждом кадре, а нейросеть и эффекты меняют всё вокруг.

Пример: клип @every_day_rain

Артист пришёл с готовым клипом. Мы оставили живые съёмки и построили эффекты поверх: осколки и частицы, которые вылетают из кадра, вспышки света, смена цвета между сценами. Для преобразования картинки использовали AI-генерацию, сверху VFX-композитинг, кадры трекали и собирали в After Effects. Клип набрал больше 3 млн просмотров. Кейс @every_day_rain.

Подробнее об услуге: музыкальный клип с нейросетью для артиста.

Telegram@vladbudanov Обсудить проект