摘要: 随着计算机视觉技术的发展，人脸图像相关研究在人脸识别、表情识别、3D人脸重建等任务中有着广泛的应用。人脸检测与人脸关键点定位是人脸图像分析的重要步骤，只有准确快速的检测并定位出人脸和人脸关键点坐标，才能更好的处理人脸图像。现有的人脸... 展开 随着计算机视觉技术的发展，人脸图像相关研究在人脸识别、表情识别、3D人脸重建等任务中有着广泛的应用。人脸检测与人脸关键点定位是人脸图像分析的重要步骤，只有准确快速的检测并定位出人脸和人脸关键点坐标，才能更好的处理人脸图像。现有的人脸检测算法能实现准确的人脸检测，但一张图像中存在多尺寸人脸时，如何在不降低算法精度的同时保障检测速度依旧是当前研究难点。而人脸关键点定位算法能否实现实时准确的定位也是研究重点。本文采用卷积神经网络实现实时的人脸检测和人脸关键点定位算法。 首先针对人脸尺度多样性对人脸检测算法的影响，提出基于单一神经网络的实时人脸检测算法。在网络初始卷积层中设置大的卷积核尺寸和移动步长，快速缩小输入图像尺寸，提升算法检测速度；融合多层深度图像特征，增强多尺度图像信息；利用Inception多尺度网络，提升多尺度图像的特征提取效率；在不同尺寸的卷积层上预测人脸位置，实现多尺度的人脸检测，提升小尺寸人脸的检测精度。 然后对检测算法给出的人脸图像进行人脸关键点定位，本文提出一种实时高效的人脸关键点定位算法。利用MobileNetV2用作骨干网络，将传统的卷积层替换为深度可分离的卷积，减少模型参数，实现模型轻量级；合并浅层特征图和深层特征图，增强上下文信息，丰富图像特征信息；在输出层中融合多尺度特征，提高小尺寸人脸的检测效率；在平均3D人脸模型中选取14个面部关键点，利用欧拉角公式计算出预测关键点和真实关键点的之间旋转角度来判断人脸姿态，在损失函数中增加大姿态人脸权重，增强模型泛化性。 最后为提升视频动态环境中人脸检测和关键点定位算法的速度，引入Deep-sort目标跟踪算法。利用人脸检测算法获取人脸框坐标和面部特征信息，将信息传递给跟踪算法，在跟踪框的人脸图像上定位人脸关键点。利用跟踪框替代检测框，减少人脸检测次数，提升视频动态环境的检测效率。在Qt平台实现视频流的人脸检测和人脸关键点定位算法。 收起