项目页面

接收于3DV 2025。更多细节，请查看 [DEGAS]

简介

我们提出了 DEGAS （《全身高斯虚拟人的精细表情建模研究》），这是首个基于3D高斯泼溅技术构建的、具备丰富面部表情的全身虚拟人建模方案。

方法

尽管神经渲染技术在创建逼真、可动画的全身及头部虚拟人方面已取得显著进展，但如何将精细表情融入全身虚拟人模型仍属探索盲区。我们提出DEGAS——首个基于3D高斯泼溅技术、具备丰富面部表情的全身虚拟人建模方法。通过多视角视频数据训练，本方法构建的条件变分自编码器可将身体运动与面部表情作为驱动信号，在UV布局中生成高斯映射场。针对面部表情驱动，我们摒弃了3D头部虚拟人常用的3D形变模型，创新性地采用仅通过二维肖像图像训练的表情潜空间，成功弥合了2D说话人脸与3D虚拟人之间的技术鸿沟。借助3DGS的渲染优势与表情潜空间的丰富表现力，所得虚拟人能够复现具有细腻精准微表情的逼真渲染图像。在现有数据集及我们新构建的全身说话虚拟人数据集上的实验验证了本方法的有效性。此外，我们通过结合2D说话人脸技术进一步实现了音频驱动的功能扩展，为交互式智能代理的开发开辟了新路径。

引用

@inproceedings{shao2025degas,
  title = {{DEGAS: Detailed Expressions on Full-Body Gaussian Avatars}},
  author = {Zhijing Shao and Duotun Wang and Qing-Yao Tian and Yao-Dong Yang and Hengyu Meng and Zeyu Cai and Bo Dong and Yu Zhang and Kang Zhang and Zeyu Wang},
  booktitle = {Proceedings of the International Conference on 3D Vision (3DV)},
  year = {2025}
}