摘要: 近几年来，很多城市宣布自动驾驶汽车必须遵守交通警察的指挥手势。因此，对识别交警手势方法的需求十分急迫。传统的交警手势识别方法依靠于深度传感器或者可穿戴传感器，这会使这些方法在自动驾驶汽车上的应用受到限制。基于视觉传感器的识别方法对... 展开 近几年来，很多城市宣布自动驾驶汽车必须遵守交通警察的指挥手势。因此，对识别交警手势方法的需求十分急迫。传统的交警手势识别方法依靠于深度传感器或者可穿戴传感器，这会使这些方法在自动驾驶汽车上的应用受到限制。基于视觉传感器的识别方法对距离、光线等因素没有苛刻的要求，但是，由于视觉信息的复杂性，对其进行建模和解析的过程十分困难，纯手工设计的特征解析器难以达到人类对图片的识别准确度。通过视觉传感器识别交警手势主要面临两个挑战，第一个挑战在于，从包含交警的图片中提取交警的骨骼特征十分困难，因为实际场景包含复杂多变，难以预测的因素，例如光线和交警穿着的变化。第二个挑战在于如何减少或消除分类过程中的干扰，例如人物绝对位置和相机距离的变化。 随着深度学习技术给视觉信息处理带来的巨大的突破，基于视频和深度学习的卷积姿势机在铰链式人体关键点检测领域取得了很大的进展。得益于此，本文提出了一种新的方法，可以基于视觉信息识别八种中国交警指挥手势，并且能够工作于实时环境中。本方法整合了卷积姿势机(CPM)网络和手工设计的“骨骼长度”和“骨骼角度”作为空间域的特征，应用了长短期记忆网络(LSTM)提取时间域上的特征。方法的设计在准确率和速度之间平衡，使得模型可以在线实时识别手势。同时，本文提供了总共约两小时的交警手势视频和标注数据，用于训练和验证本文中的方法。该数据集包含了不同人物在不同环境下，穿交警服装录制的交警手势，其中光线、距离和背景复杂度均有变化，使得方法验证过程比较可靠。 针对自动驾驶汽车提供了一种识别中国交通警察指挥手势的方法和一个交警手势数据集，对自动驾驶汽车在实际道路中如何遵守交警指挥的问题提出了一种解决方案。 收起