摘要: 人脸关键点定位旨在从人脸图像中精准地识别出关键点位置。人脸关键点指的是具有语义的人脸五官和脸部轮廓上的关键部位点，它是许多计算机视觉和计算机图形学任务的基础，如人脸识别、人脸编辑和3D人脸重建等。人脸关键点定位极易受光照、模糊、遮挡... 展开 人脸关键点定位旨在从人脸图像中精准地识别出关键点位置。人脸关键点指的是具有语义的人脸五官和脸部轮廓上的关键部位点，它是许多计算机视觉和计算机图形学任务的基础，如人脸识别、人脸编辑和3D人脸重建等。人脸关键点定位极易受光照、模糊、遮挡和姿态等因素的影响。近年来，随着深度学习的快速发展，凭借其强大的非线性表达能力，有效缓解了上述的影响，大幅度地提升了人脸关键点定位的精确度。尽管如此，目前多数深度学习模型依然遭受人工标注引入的数据偏差的影响。基于深度学习的人脸关键点定位现在的主要挑战可归纳为:(1)需要大量的人工标注数据;(2)训练数据集存在分布不均衡;(3)人工注释存在二义性。为此，本文分析和归纳现有方法的优缺点，提出了基于不变性学习的人脸关键点定位方法和基于多视图RGB-D图像的三维人脸重建方案。本文主要创新点如下: (1)提出基于人脸关键点结构全局不变性的自监督方法，从其本质属性出发，挖掘人脸关键点的本质影响因素，进而增强模型的泛化能力。利用条件变分自编码器，分别构建了同关键点分布的样本和同身份不同关键点分布的样本，这些生成样本可以用于协同训练模型，改善传统方法过度关注人脸高层语义特征带来的不稳定性，进而有效提升人脸关键点定位模型的训练效率; (2)针对模型应用，设计基于多视图RGB-D的3D人脸重建方案。有效引入人脸关键点位置信息，实现完整的3D人脸重建。为验证本文所提出方法的有效性和方便用户将本研究迁移到其他应用，基于PyQt实现人脸关键点定位与3D人脸重建系统，该系统能在Windows，MacOS，Linux等操作系统运行。 收起