T-Pain - Church

Meghan Trainor - Me Too

The Prophet - Wanna Play

Noel's lament — Ride the cyclone

Shaggy - Angel ft. Rayvon

Insane Clown Posse - Hokus Pokus

🎵 Друзья, вы готовы к настоящей революции в мире аудио? В этом видео я покажу вам три невероятные нейросети, которые перевернут ваше представление о работе со звуком! MM-Audio создаст потрясающие звуковые эффекты для ваших видео и игр всего за пару кликов, Fish Speech поразит вас качеством клонирования голоса по минутному образцу, а LatentSync идеально синхронизирует сгенерированную речь с любым видео.

Я покажу все хитрости настройки, поделюсь личным опытом и научу пользоваться каждым инструментом. А самое крутое - все они доступны в удобных портативных версиях! 🚀

Альтернативный плеер YouTube:

Ссылки из видео:

🎨 MM-Audio - генерация звуков

• Скачать портативную версию: https://t.me/neuroport/119

• Исходный код: https://github.com/hkchengrex/MMAudio

• Онлайн демо: https://huggingface.co/spaces/hkchengrex/MMAudio

🗣️ Fish Speech - клонирование голоса

• Скачать портативную версию: https://t.me/neuroport/134

• Исходный код: https://github.com/fishaudio/fish-speech

• Онлайн демо: https://huggingface.co/spaces/fishaudio/fish-speech-1

🎬 LatentSync - синхронизация губ

• Скачать портативную версию: https://t.me/neuroport/129

• Исходный код: https://github.com/bytedance/LatentSync

• Онлайн демо: https://huggingface.co/spaces/fffiloni/LatentSync

🛠️ Полезные инструменты:

• Whisper для транскрибации: http://github.com/Const-me/Whisper

• Ultimate Vocal Remover: https://github.com/Anjok07/ultimatevocalremovergui

• Audacity для редактирования: https://www.audacityteam.org

• База голосов для TTS: https://t.me/neuroportchat/6633

📱 Мои ссылки:

• Поддержать донатом: https://www.donationalerts.com/r/nerual_dreming

• Основной Telegram: https://t.me/neuro_art0

• Эксклюзивы на Boosty: https://boosty.to/neuro_art

• Курс по нейросетям: https://fooocus.ru

• Клуб "Нейро-музыка": https://neuromusic.club

• Все Telegram каналы: https://t.me/addlist/LQ-fUTyhVjEzYjIy

Буду рад вашей подписке и поддержке. Всех обнял и удачных генераций.

Начнем с обновления Hedra. Что касается обновленной Hedra - это прям разочарование! Жестко зацензурили, в Kling можно загрузить клонированный голос звезды, например, а в Hedra нет.

При том, что нельзя использовать сгенерированный голос, генерированное изображение звезды использовать можно. UPD - Во-второй раз так же напечатала текст, и выбрала голос из имеющихся в Hedra, и сервис опять закапризничал, так и не дав мне проверить его на минутном видео:

А ведь  длина видео - это основное конкурентное преимущество перед Kling, так как ни качеством, ни свободой творчества они похвастаться пока не могут.

Качество на выходе - нереально сжимает, хотя входное изображение высокого качества. Буквы тоже не искажает. Можно там же сгенерировать текст в аудио, но до 300 символов.

А теперь про сами обновления Hedra:

• Добавлены соотношения сторон кроме 1:1, а именно 9:16 и 16:9

• Максимальная длина видео — до 1 минуты в базовом тарифе за 10$, и до 4-х минут в тарифе Professional за 50$. Бесплатно доступно до 30 секунд видео.

• Бесплатно можно создать 5 видео в день.

• Улучшена четкость и выразительность персонажей - ну тут я особо не заметила разницы, если честно, видео на выходе более размытого качества, чем в Kling. Однако, не могу не отметить, что улучшена поддержка угла взгляда на камеру, раньше хорошо сервис хорошо работал только где прямой взгляд на камеру. Сейчас, даже если входное изображение имеет лицо под углом, видео само будет стремиться переместить лицо обратно к взгляду на камеру.

Сравнение Hedra и Kling

В Kling можно сделать липсинк на видео, уже сделанное в Kling - это основной камень преткновения, ибо генерирует само видео пару суток из-за длинной очереди бесплатных пользователей. Так они видимо стимулируют пользователей перейти на платный тариф. Тем не менее, даже на бесплатном тарифе видео будет хорошего качества. Например, на свитере моего персонажа даже надпись не исказилась.

При том, что само видео для дальнейшего липсинка бесплатно надо очень долго ждать, сама синхронизация губ со звуком на готовый ролик происходит за 1-2 минуты. Длина ролика ограничена: 5 или 10 секунд в бесплатном тарифе.

Помимо очевидных отличий Hedra и Kling, есть самое важное - оживляется видео, а не фото. То есть можно сгенерировать видео по заданным параметрам, как я, например, чтобы Кристиану Рональду улыбался и показывал палец вверх:

и из этого сделать говорящее видео:

Вывод, кто лучше Hedra или Kling:

На данном этапе, Kling мне ближе - выдает хорошее четкое качество и не “капризничает” с известными персонажами.Тем не менее, сейчас появилось несколько новых любопытных видеогенераторов, достойных внимания и затеста. Так что спешить с выводами я тоже не буду)

Хотите узнавать о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подписывайтесь на НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

Kling - китайский аналог Sora. Однако сейчас заметна тенденция перещеголять Runway. Сами посудите:

• Как и Runway GEN-2 встроили инструмент Motion Brush для движения отдельных объектов в свою модель KLING 1.0. В KLING 1.5. пока такой функции нет, как и в новом GEN-3.

• KLING так же как и Runway сделали доступным API.

• Скоро в KLING добавят ИИ редактор видео, и будет вообще китайский конкурент Runway. Итак, остановимся на обновлениях.

Новые обновления Kling:

Новая функция синхронизации губ

Встроенная функция синхронизации губ создает невероятно естественный эффект при загрузке закадрового голоса, даже немного отдаленного персонажа:

или песен, создавая впечатление, что персонаж действительно говорит или поет:

Как работает липсинк:

• Генерируете видео в Kling или модно использовать ранее сгенерированный (а то я до сих пор жду когда мое видео обработается) 

• Выбираете видео и под ним нажимаете кнопку «Match Mouth Type»

• Загружаете аудио - можно песню и Kling AI подгонит движение губ.

Советы по взаимодействию и ограничения:

• Работает в версиях Kling 1.0 и с Kling 1.5

• Подходит для говорящих персонажей и для песен

• Не работает липсинк понятное дело там, где нет лица, например Дарт Вейдер, или на животных. Еще если отсутствует постоянно видимое лицо, или лицо часто уходит с экрана.

• Однозначно классно, что теперь на одной платформе можно сгенерить видео хорошего качества и там же озвучить его

Больше полезного в моем телеграм канале с проверенными инструментами для бизнеса, учебы и работы.

Новый раздел «Сообщество

На официальном сайте появился новый раздел «Сообщество». Там можно делиться своими творениями, и одна работа может принести до 666 бесплатных кредитов! 

API сервисы доступны всем пользователям

Вслед за Luma и Runway, API KLING теперь доступен без списка ожидания! Через API теперь можно получить доступ к генерации видео, изображений, и виртуальной примерочной Virtual Try-on.

Я решила сгенерировать видео в бесплатной версии KLING 1.0, но, к сожалению, мой ролик до сих пор обрабатывается (видно на скрине), а видео, что у меня были, не подходят для липсинка - лицо постоянно двигается:

UPD: прошел час, изменений никаких:

Поэтому любителям бесплатных тарифов, как я, придется запастись терпением. Или посмотреть примеры и подробнее ознакомиться с обновлениями можете здесь. А свой результат, я надеюсь, дождусь и поделюсь им позже.

Хотите узнавать о полезных сервисах с искусственным интеллектом для работы, учебы и облегчения жизни? Подписывайтесь на НейроProfit, там я рассказываю, как можно использовать нейросети для бизнеса.

А здесь я использовала тоже самое фото и аудиожорожку, и "оживила" свое фото в Hedra, которая так же является пока бесплатной.

Вам какое качество больше нравится? Спрашиваю не просто так, у всех вкусы разные и понимание качества, поэтому, как подсказывает мне мой опыт, однозначного ответа, думаю не будет. Хотите быть в курсе полезных сервисов, которые могут быть полезны для вашего бизнеса, станут помощниками в работе и значительно облегчат вашу жизнь? Подписывайтесь на НейроProfit, в последнем посте собрала способы быстрого и легкого заработка.

Нейросеть Rask.AI  способна перевести ваше видео на любой язык с сохранением оригинального голоса, добавить субтитры и сделать липсинк.

Опции:

• Поддерживает 130 языков, включая русский.

• Бесплатно доступно перевод и добавление субтитров, однако чтобы синхронизировать новое аудио  с движением губ потребуется подписка

• Переводит одновременно нескольких человек в видео

• VoiceClone

• Автоматические субтитры

• Интеграция API в свои продукты

Доступны 3 пробных перевода, затем уже платный тариф

Хорошее решение для устранения языкового барьера на пути к успеху в маркетинге, бизнесе, блогерстве и наверняка в чем-то еще.

Источник 🍳 - больше о технологиях и полезных сервисах