Как сделать клип нейросетью

Влад Буданов, основатель CATS Digital Studio. Опубликовано , обновлено .

Клип с нейросетью делают двумя способами: генерируют целиком по промптам или снимают живое видео и перерабатывают его нейросетью и VFX. Второй путь даёт более стабильную картинку: лицо и движения артиста остаются настоящими, эффекты ложатся поверх.

Как идёт работа

  1. Идея: какие эффекты, в каких местах трека, как меняется картинка от сцены к сцене.
  2. Материал: новая съёмка или готовый клип.
  3. AI-генерация для преобразования кадров.
  4. Трекинг и VFX-композитинг: эффекты привязывают к движению в кадре.
  5. Сдача клипа и, если нужно, короткого видео о том, как он сделан.

Как это было у нас

Артист @every_day_rain пришёл с готовым клипом. Мы оставили живые съёмки и построили эффекты поверх: осколки и частицы, которые вылетают из кадра, вспышки света, смену цвета между сценами. Кадры трекали и собирали в After Effects. Клип набрал больше 3 млн просмотров, к нему есть VFX-разбор по слоям. Кейс @every_day_rain.

Что подготовить

Трек, референсы клипов, которые нравятся, и исходники, если съёмка уже была. Если съёмки нет, начинаем с идеи и решаем, что снимать вживую, а что генерировать.

Подробнее: музыкальный клип с нейросетью для артиста.

Telegram@vladbudanov Обсудить проект