从1小时到3.5分钟！Meta数据采集新算法：告别VR头显手机一扫就行

 

近日，据天眼查App显示，北京字跳网络技术有限公司申请的“数字人生成方法、装置、存储介质和电子设备”专利公布。摘要显示，本公开能根据单张目标人脸图像，自动生成与图像中人脸的脸部特征相似的数字人。

而搞定这样的人脸 3D 建模需要几步？

根据扎克伯格元宇宙计划里的核心部门——Meta Reality Labs研究，一部手机+3.5分钟就可以搞定，在这3.5内收集数据就足以生成高保真、可驱动的真实3D人脸头像，该研究的论文已经被SIGGRAPH 2022接收。

这个研究表明，采集人脸只需要用到一部带有深度摄像头的智能手机。在实验中，研究人员采用的是iPhone 12。整个过程为：

获取每一帧人脸图像中的几何形状和纹理；

对输入的 RGB 图像进行人脸标志检测和人像分割；

对模板网格进行拟合和变形，以匹配检测到的人脸标志物、分割轮廓和深度图；

对每一帧图像的纹理进行解包，而后汇总得到完整的人脸纹理。

在进一步完善模型的过程中，还需要采集65种特定的表情：

最后，该方法输出的 3D 人脸头像不仅能与用户外观高度匹配，通过全局表情空间，还能对其进行进一步的驱动、控制。

研究人员表示，整个采集过程大概要花费3.5分钟。

需要说明的是，建模的过程不是实时的，数据处理还要花费数小时的时间。当然如果这个技术用在产品上，这些计算会交给云端GPU，无需用户自己的算力资源。

不过相较于2019年Meta用132个摄像头的专用捕获装置生成3D人脸的巨型装置，采集时间就得花费1个小时左右，时间上得到了大幅度地提升。

与Pinscreen提出的“一张照片构建 3D 数字化身”（CVPR 2021）的方法相比，该方法能生成更具真实感的人脸模型。

“我想说的是，未来十年的一个重大挑战是，我们是否可以实现与面对面互动无法区分的远程Avatar互动。”该项目负责人之一的Sheikh说。

不过，作者也指出了该方法的局限性：hold 不太住长发和眼镜，容易产生伪影。另外，该方法对于光照条件也有一定要求。

作者提到，这一方法适用于VR应用。也就是说，在 VR 的世界里，以后你可能就不必顶着一张卡通脸登场了。

扎克伯格是这么描述未来的：你可能会用一个充满表现主义的人像玩儿平常的游戏，而用一个更逼真的人像来参加工作会议什么的。

当然，Meta在达到保真度之前，还有很长的路要走，但看看演示中的形象，这个目标实现的希望还是不小的。

“如果说之前离实现还差十个奇迹那么远，如今可能只差五个奇迹了。”

(7961851)