香港科技大学（广州）开发了一项名为DEGAS（Detailed Expressions on Full-Body Gaussian Avatars）的AI驱动3D数字人技术。该系统利用3D高斯点绘（3D Gaussian Splatting，3DGS）技术，创建能够呈现丰富面部表情和身体动作的全身数字人。

混合3D表示

DEGAS采用将高斯点绘与三角网格相结合的混合3D表示方法。这种方法能够将运动和外观分离，利用显式网格几何捕捉低频运动和表面变形，而高斯点绘则用于建模高频几何和细节外观。最终生成的数字人能够在现代GPU上以每秒超过300帧（FPS）的速度渲染，在移动设备上也能达到30 FPS。

实时面部和身体动画

通过整合实时面部和身体动画技术，DEGAS使全身3D数字人能够展现逼真的表情和动作。该系统通过网格直接控制高斯的旋转和平移，确保与各种动画方法（包括骨骼动画和混合变形）兼容。这种设计便于在交互式应用中无缝集成，为用户提供沉浸式体验。

大语言模型与声音克隆

我们的数字人通过使用定制的大语言模型和语音克隆模型，达到对人物的真实刻画。通过将语音信号转化成动作驱动信号，我们为传统语言模型的使用增添了新的生动的模式。

应用与影响

DEGAS的开发为虚拟现实、游戏和数字通信等领域开辟了新途径，在这些领域中，高质量、实时的数字人能够提升用户参与度。该技术的高效性和与现有动画技术的兼容性，使其成为创建动态数字人的多功能工具。

欲了解更多信息并获取项目资源，请访问 [DEGAS].