Урок 22. Как нейросеть создаёт видео?

Говорим ученикам

Для заставки школьной игры нужен кадр, в котором фишка делает шаг с одной клетки на другую. В первом кадре у неё треугольная шапка, а в последнем шапка вдруг круглая. По отдельности обе картинки аккуратные. Почему при просмотре всё равно кажется, что фишку подменили?

Сегодня разберём, как устроена генерация видео нейросетью. После этого попробуем спланировать ролик так, чтобы зритель замечал задуманное движение и узнавал один и тот же предмет в разных кадрах.

Говорим ученикам

В заставке должна меняться позиция фишки, а форма шапки помогает узнать её. Если шапка меняется сама по себе, зритель может решить, что в кадре уже другой предмет. Поэтому модель должна согласовать кадры между собой. При обучении на видеозаписях она встречает примеры того, как предмет выглядит до движения, во время него и после. Когда модель создаёт ролик, она строит кадры с учётом соседних моментов.

Можно начать с текста: «Камера плавно приближается к витрине, свет гаснет в конце». Тогда модель сама предлагает начальную композицию. Если расположение предметов и их вид уже придуманы, лучше взять первый кадр. Это исходное изображение, на которое модель опирается, когда строит начало ролика. Запрос задаёт, что движется и как. Эффект, например приближение камеры, меняет то, как зритель видит сцену. При движении самого предмета меняется его положение относительно других предметов. Разницу легко заметить, если следить за тем, что находится на заднем плане.

У диффузионных моделей один из способов создать ролик начинается с шума. Модель постепенно убирает шум из кадров, опираясь на запрос. Каскадом называют несколько моделей, которые улучшают результат по очереди. Сначала получается черновой ролик, где уже понятно, что и куда движется. Дальше одни ступени добавляют детали внутри каждого кадра, другие строят промежуточные кадры, чтобы движение выглядело плавнее. Ступени могут чередоваться. Если предмет исчез уже в черновике, повышение чёткости само по себе его не вернёт.

Говорим ученикам

Короткие сгенерированные планы пригодятся, чтобы быстро показать идею для трейлера или проверить, с какого ракурса понятнее выглядит сцена. В длинном ролике труднее следить, чтобы предметы и их детали не менялись сами собой. Поэтому мы начнём с одного движения и проверим, как оно выглядит по ходу сцены.

Говорим ученикам

Первый кадр помогает задать вид сцены, но проверить совпадение нужно и в середине, и в конце ролика. Если объект меняет цвет каждый раз, когда проходит за другим предметом, проблема в согласованности сцены. Если он движется верно, но скачками, сначала проверьте плавность. Отдельно проверьте детали: при размытом исходнике более чёткая версия может показать правдоподобный рисунок, которого в исходной сцене не было видно.

Говорим ученикам

Когда видео выглядит странно, назовите, что именно нарушилось. Тогда вы сможете решить, стоит ли уточнить сцену в запросе, проверить промежуточные кадры или заняться чёткостью.