Компания NVIDIA предоставила открытый доступ к своей инновационной технологии Audio2Face, разработанной для создания 3D-анимации лица в реальном времени с использованием искусственного интеллекта. Теперь инструмент доступен разработчикам игр по открытой лицензии MIT, что значительно расширяет возможности его применения в различных сферах.
Об этом сообщает ProIT
Возможности Audio2Face: синхронизация и эмоции
Audio2Face работает на основе нейросетей, которые анализируют аудиосигналы, определяя фонемы, интонацию и эмоциональный тон речи. Это позволяет автоматически создавать реалистичную мимику персонажей, включая точное движение губ в синхронизации с голосом. Технология уже получила поддержку популярных платформ для разработчиков — Autodesk Maya и Unreal Engine 5. Кроме того, NVIDIA представила SDK, учебные материалы и примеры наборов данных для разработчиков, что позволяет детально настраивать модели под нужды конкретных проектов.
В наборе доступны как регрессионные, так и диффузионные модели для синхронизации движений губ, а также отдельная нейросеть Audio2Emotion, предназначенная для воспроизведения эмоций по интонации голоса.
«Модель уже имеет поддержку плагинов Autodesk Maya и Unreal Engine 5. NVIDIA также выпускает SDK, учебную платформу и примеры наборов данных. Разработчики смогут точно настраивать существующие модели или адаптировать их для собственных проектов. Доступные модели включают как регрессионные, так и диффузионные варианты для синхронизации губ, а также сеть Audio2Emotion, которая изучает воспроизведение эмоций по голосу».
Практическое применение и партнерства
Технология уже нашла применение среди ведущих студий разработки игр. Среди партнеров NVIDIA — Codemasters, GSC Game World, NetEase, Perfect World, Convai, Inworld AI, Reallusion, Streamlabs и UneeQ. Audio2Face позволяет значительно ускорить процесс создания анимации, обходя длительный этап традиционного захвата движения, что делает её особенно привлекательной для студий с высокими требованиями к скорости производства.
Audio2Face входит в состав более широкого пакета инструментов NVIDIA RTX Kit, ориентированного на разработчиков. Кроме генерации мимики на основе аудио, этот набор содержит SDK для нейронного сжатия текстур и глобального освещения. NVIDIA призывает к сотрудничеству не только игровых разработчиков, но и исследователей и студентов, ведь открытый код позволяет адаптировать технологию для различных сфер, выходящих за пределы гейминга.
