项目页面

接收于CVPR 2024。更多细节，请查看 [SplattingAvatar]

简介

我们提出SplattingAvatar——一种融合三角形网格与高斯泼溅技术的超写实人体虚拟化身混合三维表征方案，该方案可在现代GPU上实现超过300 FPS、移动设备上达到30 FPS的渲染性能。通过显式网格几何与基于高斯泼溅的隐式外观建模，我们实现了虚拟人体运动与外观的解耦。该方法将高斯元素通过重心坐标与位移映射定义为三角形网格上的Phong曲面。我们采用提升优化策略，在网格表面行进的同时同步优化高斯参数。SplattingAvatar构建的混合表征中，网格负责低频运动与表面形变，而高斯元素则承载高频几何细节与外观特征。与现有依赖基于MLP的线性混合蒙皮场进行运动控制的方法不同，我们直接通过网格控制高斯元素的旋转和平移，使其兼容骨骼动画、混合变形及网格编辑等多种动画技术。该方案支持通过单目视频数据同时训练全身及头部虚拟人，在多个数据集上均展现出最先进的渲染质量。

方法

我们方法的流程架构。SplattingAvatar通过在规范网格上搭载可训练嵌入来学习三维高斯表征。网格的运动与形变过程将高斯元素显式映射至位姿空间，以进行可微分光栅化处理。高斯参数与嵌入参数在训练过程中同步优化。其中位置µ由重心坐标点P与沿插值法向量n的位移d共同构成，位姿相关的四元数与缩放参数(δq, δs) 和位姿无关的四元数、缩放、透明度及颜色参数(q, s, o, c)共同定义高斯元素的完整属性。

引用

@inproceedings{SplattingAvatar:CVPR2024,
    title = {{SplattingAvatar: Realistic Real-Time Human Avatars with Mesh-Embedded Gaussian Splatting}},
    author = {Shao, Zhijing and Wang, Zhaolong and Li, Zhuang and Wang, Duotun and Lin, Xiangru and Zhang, Yu and Fan, Mingming and Wang, Zeyu},
    booktitle = {Computer Vision and Pattern Recognition (CVPR)},
    year = {2024}
}