Гигант программного обеспечения Adobe представил новую функцию искусственного интеллекта, известную как VideoGigaGAN, которая обещает повысить качество видео в восемь раз по сравнению с исходным разрешением, минимизируя при этом распространенные визуальные артефакты. Это означает, что вы можете преобразовать видео с разрешением HD 720p в 4K с минимальной потерей качества.

Рост использования искусственного интеллекта в редактировании видео

Adobe впечатляющими темпами интегрирует искусственный интеллект в свои продукты. Некоторые особенно впечатляющие функции включают добавление и удаление объектов с помощью искусственного интеллекта в Premiere Pro и создание текстовых изображений в Photoshop.

VideoGigaGAN представляет новейшую версию набора инструментов искусственного интеллекта Adobe. Новый инструмент повышает четкость и детализацию видео без таких обычных недостатков, как мерцание или искажение.

Технология использует достижения General Adversarial Networks (GAN), архитектуры глубокого обучения, состоящей из двух разных нейронных сетей — генератора и дискриминатора. Роль генератора состоит в том, чтобы создавать данные, настолько убедительные, что их можно было бы принять за реальные данные из целевого распределения, в то время как работа дискриминатора состоит в том, чтобы отличить поддельные данные генератора от реальных реальных данных (или обучающих данных). Две нейронные сети противостоят друг другу. Благодаря их конкуренции генератор учится генерировать все более реалистичные данные, чтобы превзойти дискриминатор, а дискриминатор становится лучше обнаруживать тонкости, которые отличают настоящее от подделки.

GAN раздвинули границы создания изображений, видео и голоса с помощью искусственного интеллекта. VideoGigaGAN — это следующая итерация в этой захватывающей области, использующая свою усовершенствованную модель глубокого обучения для «заполнения пробелов» путем добавления множества новых пикселей для повышения качества видео. Он превосходно справляется как с повышением резкости, так и с сохранением деталей, чего предыдущие модели не могли достичь одновременно.

Понимание VideoGigaGAN

Секретный соус VideoGigaGAN — это смесь нейронных сетей, в том числе «временного внимания» — системы, которая уменьшает количество артефактов, которые могут накапливаться с течением времени, и распространения признаков, которое отвечает за добавление деталей там, где их раньше не было. Сверху добавлено сглаживание и функция под названием «HF Shuttle» для улучшения высокочастотных характеристик.

Результат впечатляет. Видео с низким разрешением выглядят намного четче после обработки с помощью VideoGigaGAN. Он хорошо справляется даже с такими сложными вещами, как текстура волос и кожи.

Это довольно круто, но, в конце концов, это всего лишь генеративный ИИ. Это означает, что добавленные детали не существуют в действительности. Это недавно добавленные пиксели, которые были предсказаны ИИ с высокой степенью уверенности. Возможно, ИИ добавит на ваше лицо небольшой прыщик несуществующего цвета. Это, безусловно, возможно. Принимая это во внимание, такого рода технологии никогда не будут выступать в суде в качестве судебно-медицинских доказательств — на тот случай, если вы почувствовали атмосферу CSI (я, конечно, так и сделал).

Несмотря на свои ограничения, эта технология представляет собой впечатляющий шаг вперед. У производителей видео вскоре появится возможность преобразовывать старые кадры низкого качества в произведения высокого разрешения и с улучшенной детализацией. Adobe тоже не одинока. Среди разработчиков программного обеспечения существует конкуренция, подобная GAN: NVIDIA и Microsoft усердно работают над собственными технологиями масштабирования искусственного интеллекта.

Ясно одно: будущее редактирования видео выглядит более четким, чем когда-либо, благодаря ИИ.

VideoGigaGAN был описан в недавнем исследовании, опубликованном на сервере препринтов. arXiv .