Серия «Видео»

Переведено в Elevenlabs

Давайте разберем, что из себя представляет этот AI монтажер, и чем он лучше бесплатного CapCut.

Что крутого:

• Автоматизация - AI Video Editor автоматически добавляет субтитры, улучшает звук и даже корректирует взгляд в камеру - Функция AI Eye Contact, которая корректирует взгляд персонажей в камеру в пост-продакшене. 

• Еще сам добавит нужные переходы в видео, зум и графику, B-roll, при необходимости заменит фон и добавит субтитры. 

• Есть инструменты для создания рекламных видео, улучшения речи и изменения фонового изображения.

Есть бесплатный пробный период для подписки Pro за $9.99 в месяц. То есть пользователи могут зарегистрироваться через приложение на iOS и использовать все функции в течение пробного периода. После окончания пробного периода приложение требует оформления платной подписки, это нужно учитывать.

Да, видеоредактор доступен пока только для устройств на iOS. В этом плане CapCut удобнее, он поддерживает множество платформ, включая iOS и Android. Но инструменты немного разные.

Чем AI Video Editor от Captions отличается от CapCut

CapCut (перед переходом включите VPN) — это бесплатное приложение для редактирования видео, которое включает множество мощных функций, таких как автоматическая нарезка видео, добавление субтитров, фильтры, эффекты, и стабилизация.

Давайте подробнее рассмотрим отличия между AI Video Editor от Captions.ai и CapCut, чтобы понять, чем они действительно отличаются и какой инструмент лучше подходит для разных задач.

AI Video Editor от Captions:

1. Автоматическая генерация субтитров: Приложение автоматически распознает речь и добавляет субтитры, что делает его удобным для создания видео с субтитрами для разных аудиторий.

2. AI-дублирование: Возможность дублировать видео на другие языки с сохранением голоса оригинального спикера.

3. Коррекция взгляда: Функция AI Eye Contact, которая корректирует взгляд персонажей в камеру в пост-продакшене.

4. Удобный интерфейс для новичков: Приложение разработано так, чтобы пользователи могли легко и быстро создавать профессиональные видео без глубоких знаний в редактировании.

5. Простота использования: Многие функции автоматизированы, что позволяет быстро редактировать видео, добавлять эффекты и улучшать звук без необходимости ручного вмешательства.

CapCut:

1. Автоматическая генерация субтитров: Автоматические субтитры тоже есть, их можно добавить нажав на "Text" и выбрав "Auto Captions" - субтитры можно отредактировать.

2. Широкие возможности ручного редактирования: CapCut предоставляет множество инструментов для ручного редактирования, таких как тонкая настройка переходов, фильтров и эффектов.

3. Автоматическое нарезание видео: Приложение использует AI для автоматического создания коротких клипов из длинных видео, что очень удобно для создания контента для социальных сетей.

4. Поддержка различных платформ: CapCut доступен как на iOS, так и на Android, а также имеет веб-версию, это делает его доступным для большего числа пользователей.

5. Расширенные функции редактирования: Включает инструменты для цветокоррекции, стабилизации видео, и более продвинутую работу со звуком.

6. CapCut интегрирован с TikTok, что облегчает создание и публикацию контента для этой платформы.

Хотя большинство функций CapCut доступны бесплатно, у приложения есть платная версия под названием CapCut Pro. Подписка на CapCut Pro включает доступ к дополнительным функциям, таким как улучшение качества старых фотографий, повышение разрешения видео, удаление мерцания и шумов, а также большее количество переходов. Стоимость подписки составляет $7.99 в месяц

Основные отличия CapCut от AI Video Editor от Captions:

• Автоматизация vs. Ручное управление: AI Video Editor от Captions.ai больше ориентирован на автоматизацию и упрощение процесса редактирования. Это больше подходит для тех, кто хочет быстро получить готовый результат. CapCut предоставляет более широкий набор инструментов для ручного редактирования, это лучше для пользователей, которым нужно больше контроля над процессом.

• Платформы: CapCut доступен на большем количестве платформ (iOS, Android, Web), тогда как Captions.ai в основном фокусируется на iOS, хотя планирует расширение.

• Специфические функции AI: Captions.ai имеет уникальные AI-функции, такие как коррекция взгляда и AI-дублирование, что может быть полезно для создания более сложного контента.

Выбор между этими приложениями зависит от ваших потребностей: CapCut подходит для пользователей, которым нужно больше контроля и ручных настроек и редактирования, тогда как AI Video Editor от Captions.ai больше для тех, кто ценит автоматизацию и простоту использования. Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Я уже упоминала о подобных сервисах для поиска фрагментов из фильмов и тв по фразе или слову в своих статьях.

Есть для этих целей крутой сервис Playphrase.me. Подойдет контентщиков, чтобы найти нужный фрагмент для видеовставки, и для тех, кто изучает английский и другие языки - вбиваете фразу, получаете произношение и фильм, где фраза была использована - отличная возможность для учителей иностранного разнообразить свои уроки интерактивчком. 

Кстати, не только для английского языка сервис хорош, там представлены еще французский, японский, испанский, итальянский, немецкий.

Как использовать

Заходим на сайт Playphrase.me и вводим в поиск любую фразу. Сервис выдаст список фильмов, где она звучала, и покажет фрагменты. Бесплатно будет показывать 5-6 видео по каждой фразе, и затем намекать о спонсорстве. 

Что крутого

Вбивать можно что угодно. Так же как и в Yarn здесь нет цензуры, поэтому пикантные фразочки сервис выдает. Смотрите, что он мне выдал:

- Сайт работает отлично, но фразы надо писать без ошибок. 

- Нужный момент из фильма можно сразу скачать, что очень удобно. 

Хотите узнавать о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Я поигралась, мне понравилось, получается реалистичней чем в D-ID, но с крупными планами такая же лажа - немного пиксельный рот.

Вышла новая нейросеть Hedra, которая составит конкуренцию HeyGen, Pika и D-ID, про который вообще в последнее время ничего не слышно.

Я сгенерировала в Midjourney всех персонажей, чтобы их оживить:

Кроме Дарт Вейдера оживила всех) Понравились изображения? Хотите научиться так же? Вступайте в Закрытый клуб Midjourney - доступ навсегда к видеоурокам, чату с участниками и обновлениям материалов.

Как работает

Принцип прост: вы загружаете изображение с персонажем, (либо описываете его текстом), загружаете свое аудио, (либо пишете текстом и выбираете из представленных голосов), и нейросеть анимирует ваше изображение.

Что может и не может:

По поводу мемов - загружала изображение Гомера Симпсона, Дарт Вейдера - упорно не видит лица, поэтому скорее всего мемы с мультяшками сделать будет проблематично.

Но главное, что бесплатная и поддерживает русский язык. Потому бегите тестить, пока еще сервера не упали

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

На рынке видеогенерации происходит интенсивная движуха, сравнимая с февралем этого года, когда Open AI показали Sora и ее возможности. Так как было раньше, уже не будет.

Китай активно допилил свои нейросети, похожие по уровню качества на Sora, типа Open-sora или Kling. Последний, кстати, очень похож на Sora, но рассчитан на внутренний рынок, во всех смыслах - все на китайском, требуется китайская сим-карта и местное приложение, к тому же ходит слух, что европейцев она сгенерировать не сможет.

Как все-таки попробовать Kling бесплатно:

Энтузиаст из X (бывший Twitter) выложил гайд.

1. Устанавливаем приложение KwaiCut - для IOS , для Android;

2. Нажимаем кнопку "AI creation" и "apply for experience", чтобы подать заявку;

3. Далее понадобится китайский номер телефона, можно взять здесь бесплатно;

4. Также нужен Kuaishou ID, чтобы его получить регистрируемся в приложении - для IOS, для Android - приложения нет в playmarket, отсюда качаем на свой страх и риск;

5. Далее вы получите смс или push-уведомление, если вам дадут доступ.

На всё уходит около часа. Если у вас есть WeChat и вы в нем зарегистрированы, тогда вы через него можете авторизоваться. Но все на китайском.

Больше полезного в моем телеграм канале, присоединяйтесь)

Dream Machine от Luma

Это то, что у меня получилось

Luma выпустила Dream Machine, свой обзор, видео, которые получились у меня и советы по генерации я изложила в этой статье.

Пока мой топ. Вот официальное видео:

Как сгенерировать видео лучшего качества в Luma Dream Machine

Для получения лучших генераций от Dream Machine есть специальный гайд, который учит:

• Генерация видео с текста: как описывать сцены, действия персов и камеры, изменение текстур и других объектов.

• Оживление изображений: движение камеры, раскадровка.

• Правильное использование Enhance prompt — улучшатель запроса.

Там описано даже как можно следить за героем с помощью Tracking shot.

Для удобства, есть GPTs бот для Dream Machine. Суть - загружаете изображение и бот генерирует промт, который Dream Machine использует для оживления картинки.

Нейросеть уже обновилась и генерирует непрерывные видео до 60 секунд.

А скоро можно будет редактировать каждую генерацию — менять задний фон, главного героя и анимации. Появится библиотека генераций для вдохновения, а у платных подписчиков не будет вотермарок.

Записаться в ранний доступ тут.

Runway GEN-3 Alfa

Непонятно, кто кого опередил - либо Dream Machine первым выкатил обновление, либо Runway захотел нанести ответный удар и представил Gen-3 Alpha, а Luma в ответ обновила Dream Machine. В интернете завирусилось сравнение двух нейросетей:

Факт, что прошлая и эта - прям недели видеогенераторов. Было логично, что Runway срочно что-то придумают. В прошлом они были лучшие в своем деле очень долго.

Заявлено, что модель GEN-3 генерирует ультра-реалистичные видео в два раза дольше до 10 секунд, чем его предшественник GEN-2. К тому же, в видео будет высокая детализация, более плавные и креативные переходы, и фотореалистичная генерация людей. К тому же, обещают, что появится обучение на своих стилях. Больше видео примеров работ GEN-3 на их сайте - посмотрите, не разочаруетесь.

Доступ обещают дать в скором времени

Видео можно будет генерировать по тексту, так и используя изображения, а в будущем добавят инструменты для точечного контроля кадра - более сложные смены сцен.

Что сейчас годного из видеогенераторов, которые можно пощупать. Мой личный топ:

Dream Machine - пока мой топ, подробнее про него в этой статье

Haiper - на втором месте, если загрузить изображение хорошего качества, получается очень реалистично. Подробнее про него и примеры моих генераций в этой статье

Stable Video - на третьем месте из-за того, что бесплатный, в этой статье видео - пример того, что я сгенерировала. Подробнее про него в этой статье

Kaiber - хорошо подходит для мультяшных видео в стиле аниме, генерирует всегда годноту, хорошо переделывает видео в разные стили, но платный, без бесплатного периода. Подробнее про него здесь, про обновления здесь.

Pika - раньше был бесплатный, сейчас платный, в нем много фишек - можно загрузить аудио и нейросеть подстроит липсинк так, что персонаж будет разговаривать как настоящий. Еще можно "растягивать" видео в разные стороны, и сервис сам дополнит пустые места - подробнее в этой статье и заменит объекты на видео в реальном времени - подробнее в этой статье. Но по уровню генерации далеко до Sora и Dream Machine, ждем серьезного обновления от Pika, ведь еще недавно они перегнали Runway GEN-2 и были лучшим видеогенератором, а Runway уже выкатил GEN-3. Так что счет идет на дни.

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Годная реклама какого-нибудь ресторана, не правда ли? А ведь я полностью сгенерировала ролик в новой нейросети Dream Machine от Luma AI, которую уже окрестили убийцей Sora. Я протестировала новую нейросеть и ниже поделюсь своими выводами.

Кстати, кто не знает, что такое Sora, в своей статье я по полочкам разложила, что это и почему наделало столько шума.

Что такое Luma AI Dream Machine

Luma AI представила свою модель text2video Dream Machine - нейросеть для генерации видео, которая составит конкуренцию популярной нейросети Sora в реалистичности своих видеотворений.

Можно прописать текстом, что вы хотите видеть в конечном видео, а можно к этому еще и приложить изображение, для наглядности, что должно быть на видео

Предупрежу, что сервер иногда бывает перегружен, но, по крайней мере у меня, запросы обрабатывались, но видео не грузилось, просто черный экран, а сегодня все мои видео сохранились, и я смогла посмотреть результат, и он того стоил, скажу я вам, сами потестите. В месяц дается 30 бесплатных генераций.

В моем канале НейроProfit больше полезных нейросетей, о которых я рассказываю.

Как получить более реалистичное изображение в Luma AI Dream Machine

По моим наблюдениям, лучше всего получаются генерации с предоставлением изображения, а если это еще и крупный план-так вообще. Сами посудите, я взяла изображение крупного плана еды, который я сгенерировала в Midjourney:

Приложила это изображение в качестве референса и использовала структуру, как в Midjourney. Кстати, кто хочет научиться использовать Midjourney, вступайте в Закрытый клуб с видеоуроками и единомышленниками. Первый вариант того, что получилось, вы видели на превью, вот вам второй вариант того, что получилось:

Смотрите какое реалистичное качество, чтобы доказать, что лучше всего и реалистичнее получаются кадры именно из готовых изображений, ниже я сравню разные варианты.

Менее реалистичные варианты:

Вот например самый простой и беспроигрышный вариант - близкий кадр девушки, все генераторы видео справляются с этой задачей лучше, и результаты получаются реалистичными. Тут изображение я не прикладывала, а использовала вот такой промпт:

Extreme closeup footage of a young sailor woman with a concerned expression during a rainstorm. (Экстремальные кадры крупным планом молодой женщины-моряка с озабоченным выражением лица во время дождя.) - ну как вариант для какого-нибудь отрывка из фильма

Вот первый вариант:

В принципе неплохо, но мне какой-то резкости и четкости линий не хватает

Вот второй вариант:

Не идеал, но честно, на мой взгляд гораздо лучше Pika и Runway GEN-2.

Дальние планы

С дальними планами и несколькими людьми в кадре посложнее - появляются артефакты.

Я опять решила просто написать запрос:

three people conferring in an office, a girl on the left is touching her hair with her hand, a man in the center is tapping a pen on a desk (Три человека беседуют в офисе, девушка слева трогает рукой свои волосы, мужчина в центре постукивает ручкой по столу)

Тут я обозначила, что девушка должна быть изображена слева, и она должна трогать волосы, соответственно мужчина должен быть по центру, постукивать ручкой по столу, а выбор третьего персонажа я оставила за Dream Machine, вот что получилось.

Первый вариант:

Надо отдать должное, нейросеть наполовину выполнила мое задание, качество правда не очень, но будем реалистами- это уже что-то, ну и артефакты видно. Женщина действительно теребит волосы, а вот руки мужчины - это отдельный вид искусства )

Второй вариант:

Ну здесь тоже все верно расположены, руки мужчины-более менее, но никто не выполняет заданных в промпте действий.

А теперь давайте сделаем тоже самое, но приложим в качестве референса изображение:

И используем тот же промпт, вот, что получилось на выходе:

Благодаря тому, что я прикрепила реалистичное изображение, которое сгенерировала в Midjourney по своему запросу - с ручкой и поправлянием волос, получилась реалистичная генерация.

По моим наблюдениям, лучше всего получаются генерации, когда вы прикладываете еще и изображение референс, и чем оно реалистичнее и четче, тем лучше результат получится. Пока самая реалистичная нейросеть для генерации изображений - это Midjourney, сколько бы пока не выкатывали “убийц”, а воз и ныне там. Кто хочет научится пользоваться Midjourney, генерировать предсказуемо качественные результаты, использовать в дизайне и реалистичных фотосъемках - вступайте в Закрытый клуб Midjourney - с видеоуроками и чат с обратной связью. Кстати, скоро ребрендинг и изменение цен - а то руки не доходят 🙆🏻‍♀️ Кстати, как вариант и себя в качестве персонажа легко сгенерируете, чтобы самим в видео и фотосессиях не участвовать, экономит время нормально )

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Наткнулась на годный инструмент для дипфейков с локальной установкой.

Репозиторий Rope на GitHub — это проект, направленный на создание реалистичных замен лиц в видео с использованием модели inswapper_128 из проекта InsightFace.

Главная особенность Rope — это удобный графический интерфейс (GUI), который упрощает процесс работы с заменой лиц для пользователей, не имеющих глубоких технических знаний.

Основные функции Rope:

1. Замена лиц: Основная задача Rope — это замена лиц на видео. В основном для киноиндустрии полезно, при создании визуальных эффектов, в виртуальной реальности и других творческих проектах.

2. Поддержка различных разрешений: Программа позволяет выбирать разрешение для вывода — 128, 256, 512 пикселей, так что можно настроить качество конечного видео в зависимости от ваших потребностей.

3. Улучшение качества изображений: В Rope интегрированы инструменты для повышения качества изображений, такие как GFPGAN и Codeformer, которые улучшают реалистичность замененных лиц.

4. Графический интерфейс: Удобный GUI позволяет легко загружать видео, выбирать и заменять лица, а также настраивать различные параметры без необходимости писать код.

5. Этика и законность: Разработчики подчеркивают, что программа должна использоваться ответственно и законно, с уважением к приватности и с получением согласия от людей, чьи лица используются. Ну типа если что, они не при чем ))

Для чего и кого нужен Rope:

• Киноиндустрия и VFX: Создание реалистичных эффектов для фильмов и видеороликов.

• Виртуальная реальность: Разработка контента для VR с реалистичной заменой лиц.

• Творческие проекты: Использование в искусстве, рекламе и других областях, где важен визуальный контент. Про остальные сферы применения даже как-то писать не хочется, разве что про невинный пранк над знакомыми или детьми )

Пример использования:

1. Загрузка видео: Пользователь загружает видео, в котором нужно заменить лицо.

2. Выбор лиц: Программа автоматически находит лица в кадре, и пользователь выбирает, какое лицо заменить и на какое.

3. Настройка параметров: Можно настроить разрешение, включить улучшение качества и другие параметры.

4. Превью и рендеринг: В реальном времени можно увидеть результат и при необходимости скорректировать.

Как начать работу:

1. Установка: Скачать репозиторий, установить необходимые зависимости и модели, настроить виртуальную среду Python.

2. Запуск: Запустить GUI, выбрать видео и начать процесс замены лиц.

Подробная инструкция в YouTube на английском языке, но пусть вас это не смущает в 21 веке. Скачайте Яндекс Браузер, и будет вам счастье. Он автоматически переведет видео с Ютуб на русский язык.

Если кто-то знает еще годные способы перевода-дубляжа, поделитесь в комментах, вам плюсик в карму за вклад в общее дело) Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпиcывайтесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

В общем, Rope это мощный инструмент для работы с заменой лиц, который может быть полезен в самых разных творческих и профессиональных проектах, где требуется высокая реалистичность и качество визуального контента.

Помните я писала про, что HeyGen обновился до версии 5.0, а заодно и рассказала про его возможности?

Теперь в HeyGen можно еще и генерировать видео со своим аватаром в движении благодаря новой функции функция Avatar in Motion.

Например, ваш цифровой клон теперь может не просто стоять и максимум жестикулировать, а полноценно пройтись по парку или оживленной улице, как нормальный ведущий. Синхронизация губ тоже будет на уровне. Это уже совсем другой уровень продакшна.

Самая поразительная часть этого демо: в оригинале аватар говорит по-немецки! Таким образом, английский и испанский языки, которые вы слышите в этом видео, являются переводом его немецкого языка (с оригинальным голосом и интонациями), сгенерированным искусственным интеллектом. Подробнее в бывшем Твиттере - кстати там же люди в комментах накидывали фразы, которые должен произнести цифровой Ник, и команда HeyGen постила видео с ними

Двигайте руками, делайте жесты, используйте уникальные тона голоса, и HeyGen безупречно отследит, переведет и синхронизирует ваше видео с любым вводимым текстом.

Хотите узнавать первыми о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подпишитесь на мой телеграм канал НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.