Компанія NVIDIA надала відкритий доступ до своєї інноваційної технології Audio2Face, яка розроблена для створення 3D-анімації обличчя у реальному часі за допомогою штучного інтелекту. Відтепер інструмент доступний розробникам ігор за відкритою ліцензією MIT, що значно розширює можливості його використання у різних галузях.
Про це розповідає ProIT
Можливості Audio2Face: синхронізація та емоції
Audio2Face працює на основі нейромереж, які аналізують аудіосигнали, визначаючи фонеми, інтонацію та емоційний тон мовлення. Це дозволяє автоматично створювати реалістичну міміку персонажів, включно з точним рухом губ у синхронізації з голосом. Технологія вже отримала підтримку популярних платформ для розробників — Autodesk Maya та Unreal Engine 5. Окрім цього, NVIDIA представила SDK, навчальні матеріали та приклади наборів даних для розробників, що дозволяє детально налаштовувати моделі під потреби конкретних проєктів.
У наборі доступні як регресійні, так і дифузійні моделі для синхронізації рухів губ, а також окрема нейромережа Audio2Emotion, призначена для відтворення емоцій за інтонацією голосу.
“Модель вже має підтримку плагінів Autodesk Maya та Unreal Engine 5. NVIDIA також випускає SDK, навчальну платформу та приклади наборів даних. Розробники зможуть точно налаштовувати наявні моделі або адаптувати їх для власних проєктів. Доступні моделі включають як регресійні, так і дифузійні варіанти для синхронізації губ, а також мережу Audio2Emotion, яка вивчає відтворення емоцій за голосом”.
Практичне застосування та партнерства
Технологія вже знайшла застосування серед провідних студій розробки ігор. Серед партнерів NVIDIA — Codemasters, GSC Game World, NetEase, Perfect World, Convai, Inworld AI, Reallusion, Streamlabs та UneeQ. Audio2Face дозволяє значно прискорити процес створення анімації, оминаючи тривалий етап традиційного захоплення руху, що робить її особливо привабливою для студій із високими вимогами до швидкості виробництва.
Audio2Face входить до складу більш широкого пакета інструментів NVIDIA RTX Kit, орієнтованого на розробників. Крім генерації міміки на основі аудіо, цей набір містить SDK для нейронного стиснення текстур і глобального освітлення. NVIDIA закликає до співпраці не лише ігрових розробників, а й дослідників та студентів, адже відкритий код дозволяє адаптувати технологію для різноманітних сфер, що виходять за межі геймінгу.
