Когда начинаешь заниматься оживлением фото с помощью нейросетей, действительно идеальный результат получить сложно. Объясняю, как увеличить вероятность удачной генерации, и показываю примеры.

Вот фото девушки на мосту, кстати, довольно удачное. Разберу по пунктам почему нейросети легче с ним работать. Во-первых, оно цветное что уже дает нейросети больший простор для работы. Во-вторых, на фото очень хорошо видны руки девушки, поэтому возможность того, что нейросеть дорисует шестой палец или, наоборот, превратит ее в инопланетянина с недобором значительно сокращается. Дело осталось за удачным промтом , то есть текстовым запросом действий которые совершит девушка.

В боте которым пользовался я, промт формируется с помощью ответов на короткие вопросы. Например:

Как можно заметить, выбирал не все действия, потому что после можно добавить свой собственный запрос, и мне хотелось добавить, чтобы девушка помахала рукой в камеру. Чтобы это провернуть, нейросеть не стоит перегружать лишними действиями, иначе она банально не успеет внести в ролик то, что хочется получить на выходе. Итак, первый результат генерации:

Кажется, что всё в порядке, результат хороший. Но нужен отличный, а на видео движения девушки напоминают робота. В чем соль, ведь запрос был предельно прост? И тут-то мы доходим до главного — заключительного промта. Я написал: «Пусть она помашет». Всё. Никаких пояснений, вот и нейросеть и выполнила в меру сил и возможностей. Плюс действий оказалось всё же маловато, и видео вышло не совсем естественным. Далее я решил сменить запрос.

Добавил наклон головы, естественную улыбку и в конце от себя уже написал такой промт: пусть помашет в камеру правой рукой. Отличия от первого запроса практически минимальные, но здесь важна конкретика. И вот результат:

Совсем другое дело. Действительно похоже на реальное видео. Вывод простой: нейросеть любит точность и конкретику. Чтобы получить ожидаемый результат, нужно объяснить несчастной машине, чего от нее, собственно, хотят. Иначе микросхемы греются и начинают чудить.

Оживлял в телеграме Оживи фото (@PhotoPulse_bot). Делал это не бесплатно, 5-секундный ролик обходится в 150 рублей.