Этот нейрофильм – эксперимент. Изначально я нацеливался вложить как можно меньше человеческого труда, и как можно больше нейросетевого. Пока нейросети не умеют справляться со всем, поэтому сшивать кусочки анимации, музыки, голоса и титров пришлось вручную.
При создании нейрофильма использовано 9 нейросетей. Это не мультипликация и не кинематограф в привычном понимании, сам ChatGPT определил название для жанра – нейросинематограф.
#ChatGPT для написания сценария. За основу взят сюжет «SCP-012. Скверная мелодия» из вселенной вымышленной организации SCP Foundation, которая собирает и хранит артефакты и существа со сверхъестественными способностями. С помощью ChatGPT текст расширен в несколько раз, добавлены детали.
#StableDiffusion и #Midjourney для генерации изображений. Преимущественно использован SD, с чекпоинтом ClassicNegative (SD2.1), он даёт атмосферные картинки, но очень плохо справляется с лицами. Использование разных нейросеток, SD и MJ, усложняет работу – проблемно синхронизировать визуальный стиль.
#PikaLabs и #GEN2 для создания анимации из текстовой затравки. Кроме генерации видео из текста эти нейросети умеют анимировать фотографии: добавлять развивающиеся волосы, подмигивания, движения руками т. п.
Большая часть анимаций создана на основе изображений при помощи плагина для стейбла Depthmap script. У меня есть обучающее видео с инструкцией по использованию этого скрипта.
#Refacer – дипфейк программа для изменения лиц на видео.
#TopazVideoAI – мощная нейросеть для увеличения разрешения видеороликов.
#MusicGen – для создания саундтреков. Об этой нейросети у меня тоже есть обучающее видео с установкой и использованием.
#Steosvoice – платный сайт для синтеза голоса, с ним возникло много проблем, а служба поддержки просто не отвечает на письма. Не рекомендую использовать этот сайт. Лучше используйте бесплатные синтезаторы голоса Bark или Tortoise.
В создании фильма участвовали:
Интересуетесь возможностями нейросетей – подписывайтесь на мой телеграм Дневник алхимика.
Хотите узнать, как использовать нейросеть Stable Diffusion – записывайтесь на мой курс. Научу вас работать в SD Automatic. С программой курса можно ознакомиться в боте курса.
