摘要: 近年来，人机交互技术受到了许多人的青睐，在所有的交互方式中，基于手势识别的人机交互方式最为简单、便捷，被应用到了非常多的领域，如智慧座舱、智能家居等。由于手势识别对准确率及实时性的要求较高，为了能够实现一个基于汽车驾驶舱场景的手势... 展开 近年来，人机交互技术受到了许多人的青睐，在所有的交互方式中，基于手势识别的人机交互方式最为简单、便捷，被应用到了非常多的领域，如智慧座舱、智能家居等。由于手势识别对准确率及实时性的要求较高，为了能够实现一个基于汽车驾驶舱场景的手势识别系统，本文采用深度学习算法，从网络轻量化方面进行研究，其具体研究工作如下: (1)针对The Nus hand posture数据集数量过少，背景混乱，不适用于车载环境的问题，首先通过对称、旋转等方式对原数据集进行了扩充，然后使用手机摄像头拍摄了车内手势图像，并与原数据集进行融合，建立了一个适用于车内场景的手势数据集。 (2)针对YOLOv3的特征提取网络较大、检测速度慢的问题，本文使用MobileNetV3轻量化网络替换YOLOv3的特征提取网络，提出了一种轻量级算法YOLOv3-MobileNetV3算法，该算法基于深度可分离卷积、SE模块，使得网络的参数量大大减少;通过对锚框机制的分析，采用k-means聚类方法对本文的静态手势数据集进行聚类分析,重新设定了网络的先验框大小;由于IOU在计算时无法准确反应两个框的位置关系，存在一些缺陷，因此采用CIOU来优化模型参数。改进后的算法识别精确率达到了 94.3％,召回率达到了 94.4％。 (3)针对动态手势具有时序性的特点，设计了一个Mediapipe-3DCNN-LSTM网络模型。该模型采用Mediapipe进行关键帧提取，3D卷积提取手势序列图像的空间信息，在3D卷积神经网络后面引入了双层LSTM结构，用来增强网络处理时序信息的能力，通过这种结构可以充分利用手势图像序列之间的关系，准确、快速的进行动态手势识别，其平均识别率达到了 96.4％。 (4)完成手势识别系统界面的设计，在一个界面内对整个系统进行控制，由于条件的限制，采用手势与PPT文档交互的方式进行验证，最终的结果表明该系统能够较为精准地识别指令并达到人机交互的控制效果。 收起