Танец с фото: как человек или питомец повторяет движение из видео

Чтобы человек или питомец с фотографии станцевал «как в том ролике», движение не нужно описывать словами — его берут из готового видео. Вы загружаете снимок и короткое видео с танцем, а модель Kling Motion Control переносит движения из видео на того, кто изображён на фото. Получается ролик, где ваш герой повторяет хореографию, но остаётся собой: лицо, одежда, фон со снимка. Главное, от чего зависит результат, — насколько фото и видео подходят друг к другу. Об этом и поговорим.

Чем это отличается от обычного оживления фото

Если вы уже пробовали делать видео из фотографии, то помните, как это устроено: вы даёте картинку и пишете промт вроде «девушка поворачивается к камере и улыбается». Модель сама решает, как именно будет выглядеть движение. Для спокойных сцен этого хватает.

С танцем так не получится. Попробуйте описать словами восемь тактов трендовой хореографии: шаг вправо, волна рукой, поворот, прыжок, хлопок. Даже подробный текст модель поймёт по-своему, и вместо узнаваемого танца выйдет что-то общее и размытое.

Motion Control решает это иначе. Движение задаёт не текст, а видео-образец. Модель смотрит, как двигается человек в ролике, и повторяет эти движения с героем вашего фото. Текстовая подсказка тут вспомогательная: ей можно уточнить детали, но основную работу делает видео.

Коротко разница выглядит так:

Какое фото подходит

Фото — это внешность героя. Всё, чего на снимке нет, модель будет додумывать, и именно там чаще всего появляются странности.

Человек виден целиком в той части, которая будет двигаться. Если в танце работают ноги, нужен снимок в полный рост. Если танец только руками и корпусом, хватит фото по пояс. Обрезанные кадром кисти или ступни модель дорисует сама, и не всегда удачно.

Руки не спрятаны. Руки в карманах, за спиной или скрещённые на груди — частая причина кривых пальцев в итоговом ролике. Модели приходится выдумывать, как выглядят кисти, которых она не видела. Лучше всего, когда руки опущены вдоль тела или слегка разведены.

Лицо смотрит в камеру и хорошо освещено. Резкая тень на половине лица, солнечные очки, волосы на глазах — всё это модель будет пытаться сохранить и «прокрутить» вместе с движением. Чем проще и ровнее свет, тем стабильнее лицо.

Фон спокойный. Толпа людей за спиной или сложный узор на стене начинают «плыть», когда герой двигается. Однотонная стена, парк, небо — хорошие варианты.

Один человек в кадре. Если на фото двое, модель может перепутать, кого оживлять, или смешать их черты.

Если герой — питомец

С котами и собаками эффект тоже работает, но с поправкой: у животного другое строение тела. Хореографию, где много работы руками, модель будет переносить на лапы, и результат, скорее всего, выйдет смешным, а не точным. Иногда это даже плюс: кот, который неуклюже машет лапой под трендовый трек, смотрится милее идеального танцора. Для питомцев лучше брать простые движения — покачивание, подпрыгивание, повороты корпуса. Фото подойдёт такое, где животное стоит или сидит ровно, видно лапы и мордочку, а шерсть не сливается с фоном.

Какое видео с движением взять

Видео-образец — это «скелет» будущего танца. Модель берёт из него позы и ритм, а внешность танцора отбрасывает.

Один человек, хорошо видимый целиком. Если в ролике танцуют трое, модель может запутаться, чьё движение повторять.

Камера стоит на месте. Когда оператор бегает вокруг танцора, модели сложно отделить движение человека от движения камеры. Лучше всего работают ролики, снятые со штатива или с телефона, прислонённого к чему-то.

Движения читаются. Резкие быстрые взмахи, при которых руки размываются в кадре, переносятся хуже, чем чёткие. Если танец очень быстрый, выберите фрагмент поспокойнее.

Танцор не уходит из кадра и не отворачивается надолго. Поворот спиной на секунду модель переживёт, а вот длинный кусок со спины часто ломает лицо при возвращении.

Короткий фрагмент. Для трендового ролика нужны несколько секунд самого узнаваемого момента, а не вся песня. Ограничения по длине образца видно прямо в кабинете, когда вы загружаете файл.

Где взять видео? Самый честный вариант — снять себя: встаньте перед телефоном и повторите танец. Дорогая камера не нужна: ваша внешность в ролике не попадёт в результат, модель возьмёт только движения. Если используете чужой ролик как образец, помните, что в итоге там будет ваше лицо, а не лицо автора, но сама хореография и музыка всё равно чужие. Для личного поздравления это обычно не проблема, для публикации — стоит подумать.

Кадрирование: самое важное правило

Из всей статьи это правило самое главное: фото и видео должны совпадать по кадру.

Представьте, что на фото человек снят по пояс, а в видео-образце танцор виден в полный рост и активно работает ногами. Модели нужно откуда-то взять ноги, которых на снимке нет. Она их придумает, и часто они получаются неестественными: слишком короткими, в чужой обуви или меняются от кадра к кадру.

И наоборот: фото в полный рост, а видео — крупный план по плечи. Тогда модель вынуждена «приблизить» героя, и лицо, которое на снимке было маленьким, растягивается, теряя чёткость.

Что делать:

• полный рост на фото — полный рост в видео;
• по пояс на фото — по пояс в видео;
• герой на фото занимает примерно ту же часть кадра, что и танцор в ролике;
• ориентация совпадает: вертикальное фото к вертикальному видео.

Если подходящего снимка нет, лучше сделать новый, чем мучить старый. Встаньте у стены, попросите кого-то сфотографировать вас целиком — это займёт минуту и сэкономит несколько неудачных попыток.

Почему ломаются руки и лицо

Даже при хорошей подготовке что-то может пойти не так. Вот самые частые сбои и их причины.

Лишние или слипшиеся пальцы. Обычно руки на фото были спрятаны или обрезаны, а в видео они активно двигаются. Помогает снимок с открытыми кистями и видео с более медленными жестами.

Лицо «плывёт» и меняется. Чаще всего на поворотах: танцор в образце отворачивается, а когда возвращается, модель восстанавливает лицо уже неточно. Выбирайте фрагменты, где герой в основном смотрит в камеру.

Одежда меняется посреди танца. Длинные юбки, широкие рукава и шарфы модель додумывает в движении. На фото в облегающей одежде результат стабильнее.

Фон дрожит или искажается. Это следствие сложного фона на фото или движущейся камеры в видео.

Ноги скользят по полу. Бывает, когда танцор в образце много перемещается по сцене. Выберите фрагмент, где он танцует на месте.

Если сбой повторяется, меняйте что-то одно: сначала фото, потом фрагмент видео. Так понятнее, что именно мешало. Подробнее про общие причины кривых генераций — в разборе о том, почему видео выходит кривым.

Текстовая подсказка как страховка

Хотя движение задаёт видео, короткий промт помогает удержать детали. Не описывайте танец — описывайте то, что должно остаться неизменным:

Сохранить лицо, причёску и одежду человека с фото без изменений.
Фон остаётся тем же, камера неподвижна. Естественные пропорции рук и пальцев.

Для питомца:

Рыжий кот с фото повторяет покачивания и повороты из видео.
Сохранить окрас, форму мордочки и пушистый хвост. Фон без изменений, мягкий дневной свет.

Бонус: мультяшный двойник, который танцует рядом

Популярная вариация тренда — человек танцует, а рядом повторяет те же движения его мультяшная копия. Делается это в несколько шагов.

Шаг 1. Рисуем двойника. Загружаете своё фото в Nano Banana 2 и просите сделать стилизованную версию: мультяшную, пластилиновую, в стиле объёмной анимации. Важно сохранить позу и кадр такими же, как на исходном фото, — тогда двойник подойдёт к тому же видео-образцу.

Преврати человека с фото в мультяшного персонажа в стиле объёмной анимации.
Сохрани позу, одежду, цвет волос и кадрирование в полный рост.
Однотонный светлый фон, мягкий свет, дружелюбное выражение лица.

Шаг 2. Оживляем обоих. Отдельно прогоняете через Kling Motion Control реальное фото и мультяшного двойника с одним и тем же видео-образцом. Получаются два ролика с одинаковым танцем.

Шаг 3. Ставим рядом. В любом видеоредакторе на телефоне или компьютере кладёте два ролика рядом — разделённый экран или двойник поменьше в углу. Поскольку движение взято из одного образца, танцуют они синхронно, и зритель сразу понимает шутку.

Соединять двух героев в одном кадре проще на монтаже, чем пытаться получить это одной генерацией: так каждый ролик можно переделать отдельно, если что-то не вышло.

Чужие фото — только с согласия

Эта технология берёт лицо человека и заставляет его делать то, чего он не делал. Для своего снимка это весёлая игрушка. Для чужого — уже вопрос уважения.

Несколько простых правил:

• оживляйте фото друзей и родных, только если они согласны; сюрприз к празднику — хорошая идея, если вы уверены, что человек будет рад;
• не берите снимки незнакомых людей из соцсетей;
• фото детей — только своих и с осторожностью в публикации;
• не делайте роликов, которые могут выставить человека в неловком или ложном свете, даже в шутку;
• не выдавайте такой ролик за настоящую съёмку.

С питомцами всё проще: кот вряд ли обидится, что станцевал в интернете.

Частые вопросы