Немного липсинка (lip — «губа» и sync — «синхронный») — синхронизация движения губ и звукового ряда.
The Whole-Being Dead-Thing Pt. 2
T-Pain - Church
Meghan Trainor - Me Too
The Prophet - Wanna Play
Noel's lament — Ride the cyclone
Shaggy - Angel ft. Rayvon
Insane Clown Posse - Hokus Pokus
SadTalker - нейросеть от китайских разработчиков, изначально предназначенная для анимации лиц на различных изображениях - от артов до фотографий. Ознакомиться с проектом подробнее можно на их GitHub
SadTalker VideoLip - это форк SadTalker, предназначенный для синхронизации движения губ на видео с аудиодорожкой. Исходный код проекта: GitHub
Обе программы работают на видеокартах от Nvidia и CPU. Но на CPU обработка может занять несколько часов.
Сегодня поговорим о портативных версиях обеих программ, которые я подготовил для вас.
Видеообзор и примеры готовых видео можно посмотреть на YouTube.
Интерфейс простой (представлен выше) и содержит следующие элементы:
Поле загрузки изображения
Поле загрузки аудио
Настройки:
Стиль позы: вариации анимации лица
Разрешение лица - чем больше, тем лучше итоговое качество. Увеличивает потребление видеопамяти
Предобработка влияет на то, в каком формате будет итоговое видео. Кроп - обрезает лицо до квадрата. Full оставляет видео таким каким вы его загрузили. При использовании Full крайне рекомендуется использовать "Режим неподвижного изображения"
Размер пакета (Batch Size) влияет на скорость обработки: выше - лучше - больше видеопамяти потребляется
GFPGAN улучшает качество лица на выходе.
Итоговые файлы сохраняются в папке results.
Интерфейс тоже достаточно прост. Он состоит из следующих элементов:
Поле загрузки видео
Поле загрузки аудио
Выбор режима улучшения (опционально). Можно улучшить качество губ или качество лица, но влияет на потребление видеопамяти и скорость обработки.
Batch Size. В теории - чем выше значение тем лучше, надо выбирать целые числа. Но по факту, чем больше - тем сильнее потребление памяти, а прироста скорости я особо не заметил.
DAIN - экспериментальная и нестабильная функция. Призван улучшить качество липсинка, путем дорисовки кадров.
После конца обработки, результат будет сохранен в папку results внутри папки с программой. Вам нужен будет файл, который заканчивается на full.
Как обычно, я подготовил портативные версии с запуском в 1 клик. Вам надо лишь скачать архив, распаковать и запустить bat файл с названием start.
Скачать их можно тут:
Яндекс Диск
Будущие обновления, а также другие портативные сборки различных нейронок можно найти в моем Телеграм канале.
Ну, а задать вопросы можно в нашем чате.
