StyleGAN2: улучшенная нейросеть для генерации лиц людей

Встречаем StyleGAN2 — вторую версию нейронной сети, которая создает реалистичные изображения людей и предметов. Пока мы стебались над тем, кто она не умеет воспроизводить человеческие уши и волосы, нейросеть качалась.

После просмотра результатов обучения как-то уже несмешно.

Протестировать работу нейронной сети - thispersondoesnotexist.com

В StyleGAN2 обновили архитектуру модели и методы обучения, чтобы минимизировать количество артефактов на генерируемых изображениях. Артефакты — это части изображения, которые снижают его реалистичность. Примером артефакта является размытость части изображения.

В частности, исследователи добавили измененные нормализацию генератора, регуляризацию генератора и прогрессивное повышение (progressive growing). Добавление регуляризатора в генератор решает проблему качества изображений и позволяет распознать изображения, которые были сгенерированы определенной нейросетью.

StyleGAN

Предыдущей state-of-the-art архитектурой для генерации изображений являлась StyleGAN модель. Отличительной чертой модели является архитектура генератора. Генератор принимает на вход промежуточное представление входного объекта. Слои генератора проходят через адаптивную instance нормализацию (AdaIN). Несмотря на высокие результаты по сравнению с конкурирующими подходами, оригинальная StyleGAN генерирует изображения с заметными артефактами.

StyleGAN2

В генераторе StyleGAN2 были убраны излишние операции в начале, вынесли суммирование bias термов за пределы блока стиля. Обновленная архитектура позволяет заменить instance нормализацию (AdaIN) на “демодуляцию”. Операция демодуляции применяется к весам каждого сверточного слоя.

Сравнение составных частей StyleGAN (a-b) и StyleGAN2 (c-d)

Оценка работы модели

Для сравнения качества сгенерированных изображений исследователи использовали стандартные метрики: Frechet inception distance (FID) и Precision and Recall (P&R). Ниже видно, что внесенные в архитектуру StyleGAN изменения (B-F) улучшают качество изображений.

Сравнение результатов базовой StyleGAN и ее модификаций на датасетах FFHQ и LSUN Car

Источник

Научная работа

Github

Разработчик Uber Филипп Ванг запустил сайт thispersondoesnotexist, на котором раз в несколько секунд генерируется человеческое лицо с помощью алгоритма генеративных нейронных сетей StyleGAN, разработанного Nvidia.

Каждый раз, когда вы обновляете сайт, он генерирует случайное лицо человека, неотличимое от реальной фотографии.

Разработчику удалось преодолеть эффект "зловещей долины" благодаря генеративной нейронной сети — это комбинация из двух нейросетей. Первая генерирует изображение, а вторая пытается определить, насколько оно реалистично. Обучение GAN продолжится до тех пор, пока нейросеть-генератор не обманет нейросеть-судью.

Теперь, когда на пикабу вас попросят скинуть фотку, просто кидайте ссылку на сайт, а там как повезёт. :)

VC.ru