Клип на свою песню нейросетью: от трека до поющего героя

Клип на свою песню нейросетью вполне собирается за пару вечеров, если идти от трека, а не от картинок. Порядок такой: размечаете песню по секундам, в ChatGPT раскладываете её на сцены, в Nano Banana Pro рисуете одного героя, из него генерируете сцены в Kling 3.0, Seedance 2.5 или Wan 3.0 Video, поющие куски делаете через Липсинк Kling Avatar, а в конце режете всё под бит в любом монтажном редакторе. Ниже разбираю каждый шаг с промтами и отдельно показываю, где клип чаще всего разваливается.

Почему здесь всё наоборот

Обычно музыку подбирают под готовое видео: есть ролик, к нему ищут трек и подрезают его по длине. Этому посвящён отдельный разбор — как подогнать трек под ролик. С клипом задача обратная. Трек уже есть, и он главный: его длину, темп и структуру менять нельзя. Видео подстраивается под песню, а не песня под видео.

Отсюда первое правило: не начинайте с генерации красивых картинок. Сначала разберите трек. Иначе у вас окажется двадцать эффектных сцен по шесть секунд, которые не попадают ни в смену куплета, ни в сильную долю, и монтаж превратится в подгонку квадратного к круглому.

Неважно, откуда песня: вы сделали её в Suno, спели дома под гитару или это трек друга, который дал согласие на клип. Для процесса важен только готовый аудиофайл финальной версии. Если песня ещё в работе — доделайте её, прежде чем тратить генерации на видео. Любая правка аранжировки сдвигает таймкоды, и половину раскадровки придётся переделывать.

Шаг 1. Разметьте трек по секундам

Откройте песню в любом плеере или редакторе, где видно время, и выпишите структуру. Нужны три вещи.

Границы частей. Вступление, куплет, припев, бридж, финал — с точными секундами начала и конца.

Моменты, где поёт голос крупно. Это кандидаты на поющие фрагменты с липсинком. Обычно это первая строка куплета и весь припев.

Акценты. Удар барабана после паузы, вход баса, резкая остановка. На них потом ставятся склейки.

Получится простая таблица вида «0:00–0:12 вступление, 0:12–0:40 куплет 1, 0:40–1:05 припев». Этого достаточно. Точность до полсекунды здесь важнее, чем красивое оформление.

Шаг 2. Раскадровка в ChatGPT

Теперь отдайте разметку и текст песни в ChatGPT. В Most AI он доступен в чате бесплатно и без лимита по количеству запросов, так что раскадровку можно переписывать сколько угодно раз, пока она не устроит. Подробнее о самом подходе — в статье про раскадровку до генерации.

Вот структура моей песни с таймкодами и её текст.
[вставьте разметку и текст]

Сделай раскадровку клипа. Для каждой части песни предложи сцены длиной 4–8 секунд так, чтобы их сумма точно совпадала с длиной части.
Для каждой сцены укажи: таймкод, что происходит в кадре, план (общий, средний, крупный), движение камеры, и помечай «ПОЁТ», если это фрагмент, где герой поёт в кадр.
Герой один и тот же во всём клипе. Визуальный стиль: [например, тёплая плёночная картинка, осенний город, вечер].
Припев должен визуально отличаться от куплетов: другая локация или другой свет.

Посмотрите на результат глазами зрителя. В хорошей раскадровке куплет рассказывает маленькую историю, а припев узнаётся с первого кадра — той же локацией или тем же приёмом при каждом повторе. Если ChatGPT предложил в каждой сцене что-то новое, попросите его сократить набор локаций до двух-трёх. Меньше локаций — меньше шансов, что стиль поплывёт.

Шаг 3. Один герой на весь клип

Главная беда нейроклипов — герой, который в каждой сцене немного другой человек. Лечится это одной опорной картинкой. Сначала вы рисуете героя в картиночной модели, фиксируете удачный вариант и дальше подаёте его в каждую сцену как референс.

Для этого я беру Nano Banana Pro: ей можно дать готовый портрет как референс и попросить показать того же персонажа в другой позе или обстановке. Если какая-то деталь всё же съехала, например серьга перекочевала в другое ухо, не спорьте с моделью, а просто перегенерируйте кадр.

Портрет героя музыкального клипа: молодая женщина около 25 лет, короткие тёмные волосы с чёлкой, зелёная вельветовая куртка, серебряная серьга в одном ухе.
Средний план, нейтральный серый фон, мягкий дневной свет, смотрит в камеру.
Стиль: тёплая плёночная фотография, лёгкое зерно.

Когда портрет устроил, сделайте из него ещё два-три кадра того же героя: в полный рост, в профиль, в локации припева. Это ваш набор опорных кадров. Сохраните промт героя целиком и вставляйте описание внешности дословно в каждую следующую генерацию — не пересказывайте своими словами.

Если хотите в клипе себя, можно взять своё фото. С чужими фотографиями — только с согласия человека, который на них изображён. Сходства со знаменитостями не добивайтесь: герой клипа должен быть вашим, а не чужим лицом.

Шаг 4. Сцены под бит

Теперь каждую сцену из раскадровки превращаете в видео. Самый управляемый путь — из картинки: берёте опорный кадр героя в нужной локации и оживляете его. Так вы заранее видите, что именно поедет.

Три модели из каталога под эту задачу:

Логика простая: на ключевые кадры припева и крупные планы не жалейте попыток в основной модели, а проходы по улице, пейзажи и детали отдайте бюджетной Wan 3.0 Video. Зритель запоминает лицо героя в припеве, а не третий кадр с листьями.

Та же героиня (короткие тёмные волосы с чёлкой, зелёная вельветовая куртка) идёт по вечерней улице с фонарями, камера медленно едет рядом сбоку.
Тёплая плёночная картинка, лёгкое зерно, мокрый асфальт отражает свет.
Движение спокойное, в ритме медленной песни. Без текста в кадре.

Звук в сценах отключайте или просто глушите его на монтаже: у клипа одна звуковая дорожка — ваша песня.

Шаг 5. Поющие фрагменты

Поющий в кадр герой делает из набора сцен настоящий клип. Здесь нужна не видеомодель, а Липсинк Kling Avatar: вы даёте ему фото и аудио, он возвращает видео, где губы двигаются под голос.

Порядок такой. Вырежьте из трека нужную строку — именно тот кусок, где звучит вокал, с запасом в полсекунды по краям. Если в песне громкая аранжировка, лучше подать чистый вокал без музыки: артикуляция получится точнее. Если пели вы сами, вокальная дорожка у вас, скорее всего, уже лежит отдельным файлом — возьмите её. Фото берите крупное, фронтальное, с закрытым ртом и хорошим светом — ваш опорный портрет героя подходит лучше всего.

Не пытайтесь сделать липсинком весь клип. Два-три поющих фрагмента в припеве и один в куплете смотрятся живее, чем три минуты говорящей головы. Остальное время пусть работают сюжетные сцены.

Шаг 6. Склейка под бит

Собирать клип удобнее всего в обычном монтажном редакторе: хоть в мобильном, хоть на компьютере. Кладёте песню на дорожку, ставите метки на акценты из шага 1 и режете сцены так, чтобы смена кадра приходилась на удар.

Несколько приёмов, которые сильно поднимают результат:

• Склейка на сильную долю. Смена кадра точно на удар барабана выглядит намеренно, даже если сами сцены простые.
• Повтор в припеве. Одну и ту же локацию или приём в каждом припеве зритель считывает как структуру, а не как нехватку материала.
• Один цветовой фильтр на всё. Лёгкая общая цветокоррекция сверху склеивает сцены из разных моделей в одну картинку.
• Начало не с пустоты. Первый кадр — уже герой или сильная деталь, а не десять секунд фона.

Если какой-то кадр вышел в низком разрешении, прогоните его через инструмент «Увеличить размер видео»: он поднимает картинку до 4K и сохраняет длительность, так что таймкоды не съедут.

Как не потерять стиль между сценами

Стиль расползается по трём причинам: меняется описание героя, меняется описание картинки и меняется модель. Все три можно держать под контролем.

Описание героя — дословно. Одна и та же строка про внешность во всех промтах. Любое «ну примерно так же» — и у героини уже другая куртка.

Стилевой хвост — тоже дословно. Заведите фразу вроде «тёплая плёночная картинка, лёгкое зерно» и добавляйте её в конец каждого промта без изменений.

Опорный кадр вместо текста. Где можно, генерируйте из картинки, а не из описания. Картинка передаёт стиль точнее любых слов.

Одна модель на один тип сцен. Не надо делать куплет в трёх разных моделях. Выбрали Kling 3.0 для сцен с героем — держите его до конца.

Если одна сцена всё равно выбивается, проще перегенерировать её, чем чинить цветокоррекцией. Полчаса возни с неудачным кадром в редакторе обычно дают меньше, чем пара новых попыток с тем же промтом и тем же опорным кадром.

Сколько генераций уходит на минуту клипа

Посчитаем на условном сценарии. Минута клипа при сценах по 5–7 секунд — это около десяти сцен. Из них пусть две будут поющими через липсинк, остальные восемь — видеосцены.

Дальше добавьте запас на неудачные попытки. На практике не каждая генерация идёт в монтаж: где-то рука вышла странно, где-то камера поехала не туда. Если закладывать две-три попытки на сцену, получается от двадцати до тридцати видеогенераций на минуту, плюс пять-десять картинок для опорных кадров героя и локаций. Песня длиной три минуты — умножайте, но с поправкой: припев повторяется, и его сцены часто можно переиспользовать.

Стоимость зависит от выбранных моделей и длины каждой сцены: флагманская дороже бюджетной, а сцена в десять секунд дороже сцены в пять. Актуальные цены за генерацию каждой модели — на странице прайсинга. В Most AI нет месячной подписки: вы платите за конкретные генерации, поэтому удобно сначала сделать один припев, посмотреть на результат и только потом браться за весь клип.

Частые вопросы