Видеомонтаж

Вся магия начинается с аудиодорожек. На схеме их легко распознать: красная стрелка это голос мужчины, оранжевая - женщины. Жёлтая стрелка указывает на звук с камеры, который помогает мне слышать собственные вопросы, чтобы не потерять нить разговора.

Дальше — нейросети. Я загружаю аудио в сервис Speech2Text (https://speech2text.ru/) (нет, это не реклама) и получаю текстовую расшифровку. Это уже серьёзный прорыв: из непонятного потока звуков передо мной разворачивается осмысленный текст. Более того, он снабжён таймкодами, благодаря которым можно наложить субтитры на видео и чётко видеть, кто, когда и что сказал.

А дальше нужно перевести текст. Однако просто перевести текст недостаточно, важно сохранить таймкоды, чтобы всё совпадало. А загонять два часа интервью в переводчик тот еще квест! Но шаг за шагом я разбираю каждую фразу, превращая испанские субтитры (голубая стрелка) в русские (синяя стрелка).

Фиолетовая стрелка указывает на маркеры - мой главный инструмент ориентации в интервью. С их помощью я быстро нахожу нужные темы, но чтобы расставить их, приходится как минимум раз посмотреть интервью полностью. На деле же я пересматриваю его десятки раз, выискивая лучшие моменты.

Так выглядит закулисье моей работы. Хотел поделиться процессом - тем, что остаётся за кадром, но требует огромного количества времени и сил.

Достаточно загрузить видео любого качества и длины — даже многочасовое. Далее нужно просто написать в чате, какое видео нужно получить, выбрать длительность всего видео и фрагментов. Искусственный интеллект сам анализирует видео, выбирает нужные фрагменты и собирает их в единый контент.

Например, создает грустное видео или собирает самые яркие моменты — такие как голы или красные карточки в футбольном матче. Возможности ограничены только вашей фантазией. Процесс обработки займет от 2 до 10 минут, в зависимости от длины видео, и на выходе — готовый контент, который можно использовать как шортс или для удаления скучных моментов.

Если человек полностью не доверяет нейросети при монтаже, существует еще один способ. На основе запроса нейросеть найдет длинные фрагменты видео, которые можно использовать для дальнейшего ручного монтажа. Больше не нужно просматривать часы видео, чтобы найти моменты.

Еще можно выбрать нужный фрагмент или все видео и задавать вопросы, например: «Что происходило на этом отрезке?», «Во что одеты люди?», «Как падает свет?» или «На какую камеру можно снять подобный отрывок?». Хотя не все вопросы могут получить ответ, но всегда можно попробовать спросить!

В будущем появится функция монтажа видео на основе звука — для создания шортсов из интервью, новостей и других звуковых материалов, если текущий функционал зайдет. Сейчас программа на стадии теста в Patreon и Boosty, а общий релиз будет в апреле.

А пост создан для того, чтобы узнать из комментариев: при монтаже видео, чего еще не хватает и надо ли в этом направлении проект развивать?

Песня для видео сгенерирована нейросетью - и текст и музыка и пение - под ключ)

Нейросеть musick.ai

Заставки - в начале и в конце на основе шаблонов на renderforest.

Видео - фрагменты на основе кадров и описания на Runway, склеены онлайн, потом реалистичность видео улучшена с помощью Runway и добавлена песня, сгенерированная с помощью musick.ai.