Как улучшить качество видео нейросетью: апскейл до 4K и его границы

Улучшить качество видео нейросетью можно, но с оговоркой, которую стоит принять заранее: апскейл делает картинку крупнее и чётче на вид, а не возвращает детали, которых камера не записала. В Most AI для этого есть готовый инструмент «Увеличить размер видео» — он поднимает разрешение до 4K и сохраняет длительность ролика. На сгенерированном клипе в 720p результат обычно выглядит убедительно. На мутной записи со старого телефона — заметно лучше исходника, но не как снятый заново кадр. На сильно смазанной или шумной кассете — местами хуже, чем хотелось бы, потому что модель начинает придумывать.

Ниже — как устроен апскейл, чего от него ждать на трёх типичных исходниках, где он ошибается и когда выгоднее не спасать старое видео, а сгенерировать новое сразу в высоком разрешении.

Что на самом деле делает апскейл

Обычное растягивание видео в монтажной программе просто размножает пиксели: картинка становится больше, но остаётся такой же мыльной. Нейросетевой апскейл работает иначе. Модель смотрит на размытый участок и предлагает, как он мог бы выглядеть в высоком разрешении: где у листвы края, где у кирпичной стены швы, где у ткани фактура.

Важное слово здесь — «мог бы». Модель не восстанавливает оригинал, она предсказывает правдоподобный вариант. Для травы, воды, неба, стен и дорог это почти всегда работает: никто не проверяет, тот ли это был листок. Для лиц, надписей и мелких узоров правдоподобность и точность расходятся, и тут начинаются вопросы. К ним вернёмся ниже.

Второе, что стоит понимать: видео — это не набор независимых картинок. Если дорисовывать каждый кадр по отдельности, детали начинают «кипеть» — текстура на стене чуть меняется от кадра к кадру и мерцает. Видеоапскейлеры для того и существуют, чтобы держать детали согласованными между соседними кадрами, поэтому ролик обычно смотрится ровнее, чем прогон каждого кадра через фоторедактор. Но на сложных сценах с быстрым движением лёгкое мерцание мелких деталей всё равно возможно, так что такие куски я всегда пересматриваю отдельно.

Три типичных исходника и чего от них ждать

Разберём три условных сценария — это не замеры, а типичное поведение, которое стоит держать в голове перед загрузкой.

Ролик со старого телефона

Типичная картина: низкое разрешение, сжатие с «квадратиками» на однотонных участках, немного шума в темноте. Апскейл здесь в своей стихии. Контуры становятся чище, квадратики сжатия сглаживаются, крупные объекты — люди в полный рост, машины, здания — выглядят заметно аккуратнее.

Где будет видно ограничение: лица на среднем и дальнем плане. Если в исходнике лицо занимает пару десятков пикселей, модели не на что опереться, и она нарисует «какое-то лицо» — гладкое, чуть кукольное, иногда не очень похожее на человека в кадре.

Оцифрованная кассета

Самый сложный случай. У записи с кассеты свой набор проблем: полосы и срывы строк, плывущий цвет, шум по всему кадру, чересстрочная развёртка, которая на резких движениях даёт «гребёнку». Апскейл воспримет всё это как часть картинки и старательно сделает шум и полосы чётче.

Поэтому с кассетой честный порядок такой: сначала убрать то, что можно убрать обычными средствами (обрезать испорченные куски, выровнять цвет, при необходимости устранить чересстрочность в монтажной программе), и только потом увеличивать. Ожидание тоже стоит скорректировать: получится более смотрибельная версия семейной записи для большого экрана, но не ремастер уровня киностудии.

Сгенерированный клип в 720p

Лучший кандидат. У ИИ-видео чистая картинка без шума и артефактов сжатия, поэтому апскейлер работает с аккуратными формами и добавляет детали уверенно. Если клип в 720p получился удачным и переделывать его не хочется — например, из Sora 2, где разрешение ограничено 720p, — увеличение до 4K почти всегда оправдано.

Одна оговорка: апскейл не исправит ошибки самой генерации. Если у персонажа шесть пальцев или предмет растворяется в руке, в 4K это будет те же шесть пальцев, только резче. Такие сбои лечатся перегенерацией, об этом подробно в разборе почему видеогенерация ломается.

Где апскейл дорисовывает лишнее

Есть четыре зоны, на которые стоит смотреть в первую очередь, когда результат готов.

Лица. Самое чувствительное место. Модель склонна делать кожу глаже, глаза выразительнее, черты правильнее. На семейном видео это может дать неприятный эффект: вроде бы бабушка, но не совсем она. Если лицо мелкое и размытое, лучше смириться с мягкостью, чем получить чужие черты.

Текст и цифры. Вывески, номера, надписи на футболках. Если буквы в исходнике не читались, апскейл нарисует что-то похожее на буквы — иногда осмысленное, иногда нет. Доказательством того, что было написано, результат служить не может.

Мелкие регулярные узоры. Клетка на рубашке, жалюзи, сетка забора. На них бывает муар или «плывущий» рисунок между кадрами.

Волосы и мех. Модель рисует пряди, но на движении они иногда живут отдельной жизнью.

Практическое правило: оценивать результат на полном размере и на паузе в нескольких местах ролика, а не в маленьком превью. В превью почти любой апскейл выглядит отлично.

Чего инструмент не сделает

Сюда приходит большая часть разочарований, поэтому сведу в одну таблицу.

Звук стоит выделить отдельно. Инструмент работает с картинкой, дорожку он не чистит и не усиливает. После апскейла проверьте, на месте ли звук вообще: если его нет или он разошёлся с изображением, проще вернуть исходную дорожку в монтажной программе, благо длительность ролика не меняется. Если голос на старой записи тонет в шуме, его можно заменить закадровым текстом через синтез речи, а под семейное видео подложить фоновую музыку — это отдельный шаг в монтаже, а не часть апскейла.

Порядок работы, чтобы не платить дважды

Апскейл — это платная генерация, как и любая другая в кабинете. Поэтому логика «сначала всё увеличу, потом разберусь» проигрывает. Разумный порядок такой:

1. Обрезать лишнее. Увеличивать стоит только то, что войдёт в итоговый ролик. Пять минут сырой записи ради тридцати секунд — лишние траты.
2. Стабилизировать и выровнять цвет в любой монтажной программе. Эти правки лучше делать на исходнике: апскейл потом подчеркнёт уже исправленную картинку, а не дефекты.
3. Сделать пробу на коротком фрагменте с лицами или мелкими деталями — самом рискованном куске. Если он выглядит приемлемо, остальное почти наверняка тоже.
4. Запустить апскейл целиком через инструмент «Увеличить размер видео».
5. Проверить на полном размере начало, середину и конец, отдельно — крупные планы.
6. Собрать звук уже поверх готовой картинки.

Если хочется заранее прикинуть, какие куски ролика стоит увеличивать, можно описать запись бесплатному ChatGPT в чате Most AI и попросить помочь с отбором.

У меня оцифрованная семейная запись с кассеты, примерно 20 минут.
Я хочу сделать из неё ролик на 3 минуты и увеличить до 4K.
Вот список эпизодов с таймкодами и кратким описанием: [вставь список].
Предложи, какие эпизоды взять, в каком порядке их склеить
и какие куски лучше не увеличивать, потому что там мелкие лица или сильный смаз.

Когда проще сразу генерировать в 4K

Если исходник — не память, которую нельзя переснять, а сгенерированный клип, стоит посчитать другой вариант: не увеличивать старое, а сгенерировать новое сразу в высоком разрешении. В каталоге Most AI до 4K умеют Veo 3.1 Fast и Gemini Omni — мультимодальная модель Google, которая принимает на вход текст, картинки и видео.

Когда это выгоднее:

• клип ещё на стадии поиска, и вы всё равно будете перегенерировать сцену несколько раз;
• в клипе есть ошибки генерации, которые апскейл не уберёт;
• нужна крупная детализация лиц или текста, и дорисовка апскейлера вас не устраивает.

Когда выгоднее апскейл:

• удачный дубль уже есть, и повторить его один в один не получится;
• исходная модель физически не отдаёт высокое разрешение;
• ролик короткий, и увеличить его выходит дешевле, чем перегенерировать сцену в 4K несколько раз подряд — это стоит сверить в прайсинге для конкретной модели.

Разумная стратегия для ИИ-видео: искать сцену в недорогом разрешении или в бюджетной модели, а когда формулировка найдена — либо сгенерировать финальный дубль в 4K, либо увеличить удачный вариант. Пример промта для финального дубля:

Вечерняя набережная после дождя, мокрый асфальт отражает фонари,
по кадру медленно проходит велосипедист в жёлтом дождевике.
Камера плавно едет вдоль парапета слева направо, съёмка на уровне глаз.
Тёплый свет фонарей, холодное синее небо, лёгкий туман над водой.
Реалистичная съёмка, чёткие детали фактуры асфальта и воды, без текста в кадре.

Обратите внимание на последнюю строку: если в сцене не нужна надпись, лучше сразу её исключить. Надписи — слабое место и генерации, и апскейла.

Бонус: стоп-кадр через «Улучшить фото»

Частый сценарий с семейными записями: нужно не всё видео, а один кадр — лицо на празднике, момент на выпускном — чтобы распечатать или поставить на аватарку. Прогонять ради этого весь ролик через видеоапскейл незачем.

Проще сделать так: поставить видео на паузу в самом резком месте, сохранить кадр и отправить его в инструмент «Улучшить фото». Здесь не нужно думать о согласованности соседних кадров и мерцании: есть одна картинка, и её можно проверить до последней ресницы, а если не понравилось — взять соседний кадр и попробовать снова. Выбирайте кадр, где человек неподвижен: даже небольшой смаз от движения фотоинструмент не превратит в чёткое лицо. Подробнее о работе со старыми снимками — в статье как отреставрировать старое фото, там те же принципы про лица и дорисовку.

Частые вопросы