摘要: 装配动作识别是手动装配监控、人机协作和装配操作人体工程学分析的基础。当前大规模定制已成为制造业的趋势，在大规模定制产品的装配过程中，产品结构复杂且组装步骤多，装配过程中一旦出现漏装、错装甚至工人的不规范操作都会对产品质量产生不利影... 展开 装配动作识别是手动装配监控、人机协作和装配操作人体工程学分析的基础。当前大规模定制已成为制造业的趋势，在大规模定制产品的装配过程中，产品结构复杂且组装步骤多，装配过程中一旦出现漏装、错装甚至工人的不规范操作都会对产品质量产生不利影响。因此，有必要在装配线上开展装配动作监测的研究。为此本文开展了以下研究： （1）构建了基于注意力时空特征的网络新架构，实现了基于表面肌电信号和惯性信号的装配动作识别方法。该网络模型由数据输入层、时空特征提取层、注意力模块和全连接分类层组成。时空特征提取层是一种融合了因果卷积和扩张卷积的残差模块堆叠序列建模结构，具有提取装配动作的时间序列特征。应用可穿戴传感器MYO臂环，建立了包含六类装配动作的肌电信号和惯性信号数据集。基于装配动作数据集，分析了不同信号预处理方法和不同归一化方式对模型的影响；分析了网络模型与CNN卷积神经网络、长短时记忆网络和双流卷积网络的性能表现。 （2）提出了基于注意力机制和多尺度特征融合的图卷积网络模型的车间人员装配动作识别模型，该模型创新性的将图卷积网络应用于装配动作识别任务中，能够提取装配动作与装配工具之间的潜在关系特征进而提高装配识别准确率。注意力机制模块增强了网络对装配行为图像中关键信息的提取能力，多尺度的特征融合模块使网络能够更好地提取不同尺度下的图像特征。为测试提出的车间人员装配行为识别模型的有效性，应用Kinect视觉传感器构建了包含15种车间生产行为的数据集，在此数据集上进行实验，结果表明提出的动态图卷积网络模型在该数据集上平均装配行为识别精度达到93.1%。 （3）提出了基于视频帧运动激励聚合和时序差分的装配动作识别网络模型，该网络模型主要由运动激励与聚合模块和时序差分模块两部分组成，其中网络模型主干是在残差网络Resnet101网络的基础上，通过添加运动激励模块、时间聚合模块和时序差分模块三个模块构成，用于捕获连续视频帧的短期和长期时间特征，增强了模型的感受野，提高了对于装配任务的识别精度。 本文提出了基于深度学习的装配动作识别方法，在装配动作识别模型中添加注意力机制、图卷积模块等不同网络模块提高了装配动作识别准确率。对实现装配人员行为管控，实现生产车间的智能监测有一定的意义。 收起