Как доработать готовое видео нейросетью, не генерируя всё заново

Готовое видео нейросетью дорабатывают не «кнопкой исправить», а выбором одного из пяти приёмов: подать ролик на вход мультимодальной модели, перенести движение из него на новую картинку, продолжить сцену от последнего кадра, перерисовать стартовый кадр и сгенерировать заново только его, или просто поднять разрешение. Какой приём нужен, зависит от того, что именно сломано. А иногда правильный ответ — не дорабатывать вовсе, и ниже я покажу, как это понять до того, как вы потратите три попытки на спасение неудачного дубля.

Сразу оговорка: ни одна из доступных сейчас моделей не работает как видеоредактор с точечной правкой «замени кружку в руке на 3-й секунде». Любая доработка — это новая генерация, которая опирается на ваш материал. Поэтому часть исходника всегда перерисовывается, и к этому надо быть готовым.

Сначала диагноз: что именно не так

Прежде чем что-то запускать, посмотрите ролик покадрово и отнесите проблему к одной из четырёх категорий. Это экономит больше всего попыток.

Брак движения. Картинка хорошая, но персонаж двигается не так: рука проходит сквозь стол, походка деревянная, камера дёргается. Сюда же — когда вам нравится сцена, но нужна другая пластика.

Брак кадра. Движение нормальное, а внешний вид нет: не тот фон, лишний предмет, лицо «поплыло», текст на вывеске превратился в кашу. Проблема заложена ещё в первом кадре или появилась по ходу.

Не хватает длины. Всё хорошо, но сцена обрывается на полуслове, а монтажу нужно ещё несколько секунд.

Не хватает качества. Ролик целиком устраивает, но он мягкий, в низком разрешении и не выдерживает большой экран.

Если дефекты из разных категорий наложились друг на друга, чините их по одному, от самого грубого к самому тонкому. Апскейл всегда идёт последним: увеличивать ролик, который потом всё равно переделаете, бессмысленно. Типовые причины сбоев разобраны отдельно в статье почему видео выходит кривым, здесь же — что делать с уже полученным результатом.

Приём 1. Видео на входе в Gemini Omni

Gemini Omni — мультимодальная видеомодель Google, которая принимает на вход не только текст и картинки, но и видео, и выдаёт результат до 4K. В каталоге Most AI это единственная модель, которой можно отдать ролик как исходник и словами описать, что в нём поменять. Раздел видео из видео собран как раз под такие задачи.

Когда подходит: нужно сохранить общую композицию и ход сцены, но поменять стиль, свет, время суток, фон или добавить деталь. Сюда же — ваша собственная съёмка с телефона, которую хочется превратить в стилизованный кадр.

Когда не подходит: если нужна пиксельная точность. Модель пересобирает сцену целиком, и мелкие детали исходника (надписи, мимика, форма предметов) могут измениться. Проверяйте на коротком фрагменте, а не на всём ролике сразу.

Промт стоит строить по принципу «что сохранить + что изменить + чего не трогать»:

Исходное видео: человек идёт по набережной, камера сопровождает сбоку.
Сохрани траекторию движения, ракурс и темп камеры.
Измени: время суток на ранние сумерки, тёплые фонари вдоль набережной,
лёгкий туман над водой.
Не меняй одежду человека и его походку. Без текста и логотипов в кадре.

Чем конкретнее блок «сохрани», тем меньше модель импровизирует там, где вы этого не просили.

Приём 2. Перенос движения в Kling Motion Control

Kling Motion Control устроен наоборот: он берёт движение из референсного видео и переносит его на персонажа с одной фотографии. Исходно инструмент задуман под трендовые танцы, но работает и для любой выразительной пластики.

Когда подходит: у вас есть удачное движение, но неудачная картинка. Например, дубль с правильным жестом ведущего, где сам ведущий нарисован плохо. Или ваш собственный ролик, где вы сами показываете движение, а в кадре должен быть рисованный персонаж. Вы готовите хорошее фото героя, подаёте ролик как источник движения — и получаете новое видео с той же пластикой.

Ограничения стоит держать в голове. Референс должен быть читаемым: один человек в кадре, тело видно целиком или хотя бы до пояса, без резких перекрытий. Пропорции героя на фото и человека в референсе не должны отличаться радикально, иначе движение ляжет криво. И главное: если в референсе чужой человек или вы берёте чьё-то фото, нужно согласие этого человека. Лица знаменитостей и чужих блогеров в эту схему лучше не подставлять вовсе.

Приём 3. Продолжение от последнего кадра

Самый недооценённый способ удлинить сцену. Логика простая: берёте последний кадр удачного ролика, сохраняете его как картинку и запускаете генерацию из изображения в видео с этим кадром в роли стартового. Новый отрезок начинается ровно там, где закончился старый, и при склейке шов почти незаметен.

Практические детали, которые решают исход:

1. Берите не самый последний кадр, а тот, где нет смаза. Под конец ролика движение иногда размывается или картинка «замирает», и такой старт даст мутное начало второго отрезка.
2. В промте продолжения описывайте только следующее действие, а не всю сцену заново. Модель уже видит обстановку на картинке.
3. Используйте ту же модель, что и для первого отрезка. Разные модели по-разному передают цвет и зерно, и шов станет заметен.
4. Звук в двух отрезках, сгенерированный отдельно, почти наверняка не совпадёт. Если ролик озвучен, проще снять звук с обоих кусков и положить единую дорожку при монтаже.

Пример промта для второго отрезка:

Продолжение сцены. Девушка ставит чашку на подоконник, поворачивается
к камере и улыбается. Камера медленно отъезжает назад.
Свет, цвет и обстановка — как на исходном кадре. Движение плавное, без рывков.

Так можно наращивать сцену несколькими шагами, но каждый шаг немного сдвигает внешность героя. После двух-трёх продолжений сравните первый и последний кадр рядом: если лицо заметно ушло, вернитесь к исходному кадру и перезапустите цепочку от него.

Приём 4. Правка стартового кадра в Nano Banana 2

Если брак кадра заложен с самого начала, чинить видео бесполезно — нужно чинить картинку, из которой оно выросло. Берёте первый кадр (свой исходник или стоп-кадр из ролика), правите его в Nano Banana 2 и заново оживляете уже исправленную версию.

Nano Banana 2 хорошо справляется с точечными правками по тексту: убрать лишний предмет, поменять фон, исправить руки, переодеть героя, выровнять свет. Промт тут строится как задание ретушёру:

На изображении: мужчина за столом в кафе.
Убери бумажный стакан слева на столе и телефон у локтя.
Замени фон за окном на заснеженную улицу, сохранив мягкий дневной свет.
Лицо, позу и одежду мужчины не меняй.

Затем исправленный кадр идёт в ту же видеомодель с тем же промтом движения, что и в удачном дубле. Движение получится не идентичным — это новая генерация, — но характер сцены обычно сохраняется, если промт движения не меняли.

Этот же приём спасает, когда дефект появляется не в начале, а в середине: найдите последний «чистый» кадр перед поломкой, поправьте его при необходимости и продолжите сцену от него, как в приёме 3. Испорченный хвост просто отрежете при монтаже.

Приём 5. Апскейл готового ролика

Когда ролик устраивает целиком, но он в 720p или 768p, а нужно больше — подойдёт готовый инструмент «Увеличить размер видео». Он поднимает разрешение до 4K и сохраняет исходную длительность, без промта и без перегенерации сцены.

Важно понимать границы. Апскейл дорисовывает детализацию, но не исправляет содержание: кривая рука станет кривой рукой в высоком разрешении. Поэтому этот шаг — финальный, после всех остальных правок. Если ролик собран из нескольких отрезков, сначала смонтируйте их, а увеличивайте уже готовую склейку: так все куски получат одинаковую обработку и не будут отличаться по резкости.

Когда дешевле перегенерировать

Доработка — это тоже платные генерации, и иногда их сумма превышает стоимость пары новых попыток с нуля. Прикидывать удобно в запусках: сколько генераций уйдёт на спасение дубля и сколько — на новый с нуля. Как считать стоимость секунды и бюджет ролика целиком, разобрано в статье про стоимость секунды ИИ-видео, а актуальные цены по моделям — на странице тарифов.

Несколько признаков, что пора бросать доработку:

• Вы исправляете третий дефект подряд в одном и том же отрезке. Значит, проблема в исходном промте или картинке, а не в конкретном дубле.
• Модель стабильно ломает одно и то же место. Лучше попробовать другую модель, чем в пятый раз просить эту.
• Продолжение уже дважды увело внешность героя. Цепочка накопила ошибку, и её дешевле начать заново от эталонного кадра.
• Вы не можете сформулировать, что именно хотите изменить. Тогда любая доработка — это та же лотерея, что и новая генерация, только сложнее.

Условный сценарий для иллюстрации. Нужен восьмисекундный ролик для карточки товара. Первый дубль вышел с хорошим движением камеры, но на третьей секунде упаковка «перетекает» в другую форму. Доработать можно так: взять кадр до поломки, продолжить от него — это одна-две генерации. Но если форма упаковки «плывёт» с первой секунды, значит, модель не держит этот предмет, и честнее перегенерировать с более чётким стартовым кадром или сменить модель.

Частые вопросы