NVIDIA 近期宣布，將旗下的 Audio2Face 模型與 SDK 開源，讓遊戲與 3D 應用開發者能更輕鬆打造逼真的數位角色與臉部動畫。這次開源不只包含現成的模型，也包括完整的訓練框架，開發者甚至能依需求自行微調，客製化出符合特定場景的效果。
Audio2Face 最大的賣點，就是能透過生成式 AI，把語音即時轉換成自然的嘴型動作與臉部表情。不論是遊戲角色、虛擬主播，還是智慧客服，都能做到「說什麼就動什麼」，嘴型和語調對得上，情感表現也更到位。這些數據可以用來做預渲染動畫，或直接即時串流，讓角色看起來更真實。
目前這項技術已經被不少遊戲與軟體公司採用，包括 Codemasters、GSC Game World、網易、完美世界，以及獨立軟體供應商像 Convai、Inworld AI、Reallusion、Streamlabs、UneeQ 等，都已經在產品中整合 Audio2Face。
以下內容及本篇部落格文章中能夠看到完整的開源工具清單，並可進一步於 NVIDIA ACE for Games 平台了解更多資訊。
除了 SDK，NVIDIA 也提供一系列工具：
Audio2Face 最大的賣點，就是能透過生成式 AI，把語音即時轉換成自然的嘴型動作與臉部表情。不論是遊戲角色、虛擬主播，還是智慧客服，都能做到「說什麼就動什麼」，嘴型和語調對得上，情感表現也更到位。這些數據可以用來做預渲染動畫，或直接即時串流，讓角色看起來更真實。
目前這項技術已經被不少遊戲與軟體公司採用，包括 Codemasters、GSC Game World、網易、完美世界，以及獨立軟體供應商像 Convai、Inworld AI、Reallusion、Streamlabs、UneeQ 等，都已經在產品中整合 Audio2Face。
以下內容及本篇部落格文章中能夠看到完整的開源工具清單，並可進一步於 NVIDIA ACE for Games 平台了解更多資訊。
除了 SDK，NVIDIA 也提供一系列工具：
- Audio2Face SDK：在裝置端或雲端生成臉部動畫的核心函式庫
- Autodesk Maya 外掛：輸入音訊後直接在 Maya 顯示角色臉部動畫
- Unreal Engine 5 外掛：支援 UE 5.5 與 5.6，用來在 UE5 中接收臉部動畫
- 訓練框架與範例資料：方便開發者用自己的數據訓練模型
- Audio2Face 模型：回歸（v2.2）與擴散（v3.0）兩種生成對嘴效果的模型
- Audio2Emotion 模型：從語音推斷情緒狀態，提供正式版與實驗版