摘要: 基于二维人脸图像的三维重建技术，能够从人脸平面图像中生成三维关键点坐标，进一步在三维空间中重构人脸立体图像。现有的研究中，一般基于单帧人脸图像进行三维重建，应用于图像序列时，主要存在两个问题:(1)由于未考虑图像序列间的相关性，定位的... 展开 基于二维人脸图像的三维重建技术，能够从人脸平面图像中生成三维关键点坐标，进一步在三维空间中重构人脸立体图像。现有的研究中，一般基于单帧人脸图像进行三维重建，应用于图像序列时，主要存在两个问题:(1)由于未考虑图像序列间的相关性，定位的人脸关键点容易出现抖动和漂移;(2)重建的三维人脸表情不自然，尤其是嘴型难以和实际人脸匹配。因此，本文围绕这两点展开研究，主要包括以下内容: (1)针对时间一致性问题导致的关键点抖动，提出基于序列图像的三维人脸对齐和重建算法。首先，使用有别于单帧图像数据集的视频数据集来解决视频训练集不足的问题，提升模型处理序列图像的能力;其次，在轻量级主干网络中添加混合注意力机制,在网络的每个阶段后串联通道注意力模块和空间注意力模块，通过对这两个维度的注意力权重推断进行自适应调整，从而获得更加准确的模型参数;最后，利用人脸固有的结构和三维可变形人脸模型参数与三维关键点的关系，添加三维滤波器来修正人脸关键点，使人脸关键点变得更加平滑，降低视频中人脸关键点的抖动。在人脸数据集上进行实验并通过与当前已有的模型做对比，表明了本文模型在处理序列图像时拥有更好的性能。 (2)针对重建人脸模型与原图像相似度不高且表情失真的问题，提出基于分组约束和记忆增强GAN的三维人脸重建算法。首先，使用两个编码器分别回归人脸不同部位的Flame参数，同时添加几何约束，针对人脸不同部位使用不同的范数损失来约束训练过程;其次，加入记忆增强GAN模块，存储成对的空间特征和身份特征，为各种身份生成细腻的目标人物相关纹理，使重建的人脸模型与视频中原始人脸图像相似度更高，表情更自然;最后，加入唇型损失和表情损失来指导颌骨输出和捕捉嘴部运动的复杂性，解决重建人脸模型嘴型与视频图像嘴型不契合的问题。实验结果表明，所重构的三维人脸图像与原图像的相似度高，尤其是表情和嘴型能够与原图高度契合。 收起