Deep learning

Может возникнуть вопрос, к примеру, чем такая сеть отличается от той же DLSS созданной компанией NVidia и похожих сетей? Которые тоже повышают частоту кадров, делают изображение чётче и так далее. Почему бы не скормить таким нейросетям точно так же набор фотографий? Разница как раз в том, что существующие нейросети именно повышают качество изображения в реальном времени. Берут видео низкого разрешения и достраивают его до высокого. И прирост частоты происходит именно за счёт того, что видео низкого разрешения проще отобразить. Но эти сети не дорисовывают недостающие кадры.

Данная разработка была представлена учёными из Германии и её цель именно в полноценном создании промежуточных кадров. Данная сеть с нуля дорисовывает недостающие кадры, с учётом сдвига камеры и теней, с учётом изменения освещения и прочих нюансов. Она полностью "додумывает" как должны выглядеть эти кадры. На этом видео я более подробно рассказал о том, как подобная сеть работает.

Может возникнуть вопрос - а зачем вообще эта сеть нужна? Самый простой вариант - для повышения качества и плавности старых фильмов, за счёт дорисовывания недостающих кадров. Но если говорить о чуть более интересных вещах - что бы нейросеть смогла дорисовывать эти кадры, она на фотографиях прежде всего должна определить границы объектов. Трёхмерные границы. И высчитывается это всё исключительно на основание фотографий. Так что подобные нейросети на сегодняшний день разрабатывают в том числе для того, что бы строить 3д модели по фотографиям. Сейчас они ещё довольно громоздки и требуют больших вычислительных ресурсов. Но данное направление развивается очень быстро и, вполне возможно, скоро их можно будет спокойно использовать вместо лидаров. И вам будет достаточно иметь на руках простой смартфон, что бы построить 3д модель своей комнаты, к примеру. А там уже недалеко и до полноценных дешёвых систем жестового управления и дополненной реальности.

А также, как и в прошлый раз, прикладываю своё собственное видео, с разбором того, а чём именно идёт речь в их презентации.

Итак, краткая выжимка того, о чём именно их работа. Конкретно эта группа учёных не ставила перед собой задачу разработать концептуально новую нейронную сеть, которая бы хорошо распознавала подделку на видео. Они провели комплексную сравнительную работу. Взяли набор видео, часть из которых была отредактированная нейронными сетями, а часть нет. И, с одной стороны, попросили группу людей угадать, какие именно видео являются подделками, а с другой стороны точно такую же задачу поставили перед распространёнными свёрточными нейронными сетями, основная задача которых как раз заключается в распознавании на видео и фотографиях тех или иных объектов. То есть, они брали не специализированные нейросети, а самые обычные. Те, которыми можно распознавать на видео котиков, к примеру.

И итог их исследования оказался следующим - нейросети уже сейчас способны настолько качественно подделывать видео, что люди их практически не распознают. Обычный человек уже сегодня не отличит качественный дипфейк от оригинального видео. С другой стороны, самые обычные свёрточные нейронные сети эти же самые дипфейки распознают вполне уверенно. Не всегда со стопроцентной точностью, но самые новые архитектуры вполне достигают точности более 80%.

По сути, самая очевидная идея в данном случае оказывается самой эффективной. Зачем придумывать сложные схемы борьбы с нейросетями, если можно просто заставить бороться с ними другие нейросети. Безусловно, данный метод не является самым надёжным. Но уже сегодня он является наиболее оправданным с позиции точности распознавания и ресурсов, которые требуются на создание такой системы. По факту, использовав созданный учёными в данной работе массив видео для обучения нейросетей, вы сможете у себя дома создать свою собственную систему распознавания дипфейков. Единственным ограничением правда будет время обучения такой сети... Если не использовать видеокарты NVidia старше 20хх серии и разработанную ими же библиотеку для машинного обучения, создание такой сети может затянуться на месяцы... Но тем не менее, такая возможность у вас всё ещё остаётся.

Ну и подводя итог, если углубиться в эту область (а я полагаю многие спецслужбы многих стран мира занимаются этим уже не первый год) и создать специализированную нейросеть, которая была бы эффективна конкретно в распознавание дипфейков, то в принципе можно и не бояться коллапса судебной системы от вала поддельных видео и фотографий. Правда всё это в конечном итоге придёт к войне щита и меча - когда с одной стороны будут создаваться всё более совершенные нейросети для подделки видео, а с другой те же самые нейросети для распознавания этих подделок. Но специалистов способных на подобное сейчас итак с руками отрывают крупнейшие мировые корпорации, поэтому вряд ли их сможет нанять какая то местечковая мафия. Если подобная война и развернётся, то начнётся она в высоких груг И опять же, поскольку это буквально практически одни и те же архитектуры нейросетей, существенного и долговременного перевеса в данной войне ни одна из сторон получить не сможет.

Никаких резких скачков в этой области долгое время не было, поэтому разговоры понемногу сошли на нет. Но данное направление никто не забрасывал и различные группы исследователей и инженеров продолжали работу в этом направлении. И вот в этом году группа исследователей из Оксфорда, Института Вейцмана и Google Research представили систему ансамбля нейронных сетей, способных определять на видео не просто контуры отдельных объектов, но и последствия любых контактов этих объектов с окружающим миром. Поднятую пыль, тени, задетые объекты, даже поднятую рябь на воде. И этот ансамбль нейросетей способен не только всё это определять, но и удалять с видео. Ниже прикрепляю оригинальное видео, представленное авторами разработки.

Поскольку оригинальное видео полностью на английском и в нём описываются лишь базовые особенности работы нейросетей, я также записал видео на русском. В нём я подробнее и простым языком постарался разобрать как саму разработку, так и те принципы, по которым работают нейросети, входящие в ансамбль.

При этом стоит заметить, что данная нейросеть работает абсолютно автономно. И обрабатывать различные видео она способна в "промышленных" масштабах. Есть у неё конечно и ряд ограничений, так что не стоит бояться, что уже завтра можно будет удалить кого угодно с любого видео.

С другой стороны, от появления сетей, которые могли очень криво заменять лица людей, до появления систем, способных практически бесследно удалить любой движущийся объект с видео прошло всего пару лет. И кто знает, чему научатся сети ещё лет через 5-10.

Всем привет! Работаю в области машинного обучения. Захотелось поделиться наработкой исследователей в этой области, которая очень поразила меня в свое время.

На видео представлена 3D реконструкция лица в режиме реального времени. Без опорных маркеров или специальных приборов. Т.е. 3D модель строится исключительно на базе входящей картинки. И это сделано целых 3 года назад! Страшно подумать, на каком этапе Disney находятся сейчас.

Как видим, у меня два входа: слева результат работы предыдущего (первому "клону" обычно дают нули) и снизу номер слова. Квадратик посередине - обычно это как раз приведение и обработка входных данных.

Вывод: при обработке текстов/звуков и т. д. я копирую сама себя и учитывая порядок слов возвращаю результат обработки (тоже тензор).

Чуть-чуть математики. (Сразу листай вниз, тут уже будет посложнее понять)

Вообще, DS - это наука, полностью основанная на математике (теории алгоритмов здесь вообще не место, холиварщики, поднимайтесь). Так что все же нужно чуток понять.

Что такое скаляр? Число. Вектор? Набор скаляров. Матрица? Вектор из векторов одной длины. Тензор? Вектор матриц.

Это вспомнили. Теперь что такое "результат" в нашем частном случае? Это вектор. "Номер" слова - это тоже вектор, в котором закодировано слово (вовсе не по буквам! Самый простой пример - one-hot encoding - это когда мы создаем вектор, заполненный нулями, чья длина равна количеству слов. А конкретное слово - это этот же вектор, но с единичкой в скаляре, чей номер совпадает с номером слова). То есть у нас на входе нейросети есть вектор длиной пусть RESULT, и вектор длиной, равной кол-ву слов пусть WORDS. Теперь мы их "склеиваем" (конкатенируем) и получаем вектор V длиной WORDS+RESULT. Пропустить через полносвязный слой - это умножить на матрицу весов W, причем у которой кол-во строк - кол-во входных нейронов, столбцов - выходных (мог перепутать, это не критично). Выходных - будет столько же, сколько у результата, то есть RESULT => размер матрицы весов будет WORDS+RESULT x RESULT. Умножаем V * W = H, где H - вектор длиной RESULT, который... подается на вход следующей ячейке нейросети.

Вот прям щас сделаю пост о том, как я пытался сделать Джарвиса из Iron man :).

P. S. А потом о генерации текста.