本文经AI新媒体量子位(微信官方账号)ID:QbitAI）授权转载，转载请联系出处。
做这样的人脸3D建模需要多少步？
在数据采集阶段，答案是：手机 3.5分钟。
是的，仅凭这3.5分钟的数据足以生成高保真、可驱动的真实3D人脸头像。
这项研究来自Meta Reality Labs——它是扎克伯格元宇宙计划的核心部门。这篇论文已经被发表了SIGGRAPH 2022接收。
作者提到，该方法适用于VR应用。
也就是说，在VR在世界的世界里，你可能不必带着卡通脸出现。
但是和胖朋友在一起很方便“真身”相见。
方法原理
如下图所示：
具体来说，分为三部分。
首先，用大型多视角人脸数据训练一个超网络，可以通过神经网络解码器生成个人化身参数。
多视角捕捉系统采集数据集中的人脸，包括255名不同年龄、性别和种族参与者的面部图像数据。
△左边是图像捕获设备；右边是收集到的人脸
这个捕获3D巨大的人脸装置是Meta2019年开发的171台高分辨率摄像头，每秒可记录180台GB数据。收集时间约为1小时。
值得一提的是，在这个超网络中，解码器的基本组成模块是带有的bias map的卷积上采样层。
这些bias map它将于生成体积单元，然后通过射线跟踪渲染头像。
此外，解码器结构可以将视线与其他面部活动区分开来VR应用意味着眼动跟踪系统可以更直接地使用。
二是轻量级人脸表情捕捉。
在这项研究中，采集人脸只需要一部带有深度摄像头的智能手机。
在实验中，研究人员使用它iPhone 12。
采集过程如下：
收集到的数据应处理如下：
在每一帧人脸图像中获得几何形状和纹理；输入RGB图像用于人脸标志检测和人像分割；模板网格拟合变形，匹配检测到的人脸标志、分割轮廓和深度图；解包每帧图像的纹理，然后总结得到完整的人脸纹理。
在进一步完善模型的过程中，还需要收集65种特定的表情：
最后，该方法输出3D人脸头像不仅能与用户的外观高度匹配，还能通过整体表情空间进一步驱动和控制。
研究人员说，整个收集过程大约需要3美元.5分钟。
但需要注意的是，建模过程不是实时的，数据处理需要几个小时。
实验结果
说了这么多，我们来看看实验结果。
与Pinscreen提出的“一张照片构建3D数字化身”（CVPR 与2021相比，这种方法可以产生更真实的人脸模型。
海德堡大学、慕尼黑工业大学、马普所等研究机构Neural Head Avatars from Monocular RGB Videos与本文提出的方法相比，该方法具有更高的保真性。
但作者也指出了该方法的局限性：hold不要住长发和眼镜，容易产生伪影。此外，该方法对光照条件也有一定的要求。
