摘要: 人体动作识别和预测是计算机视觉领域的重要研究课题。近年来，随着人工智能技术在竞技体育运动的训练和比赛中逐步普及、应用，人体动作识别和预测又产生了更多的新问题。其中最具挑战性的问题是长序列的动作识别和预测。已有的工作大多针对日常生活... 展开 人体动作识别和预测是计算机视觉领域的重要研究课题。近年来，随着人工智能技术在竞技体育运动的训练和比赛中逐步普及、应用，人体动作识别和预测又产生了更多的新问题。其中最具挑战性的问题是长序列的动作识别和预测。已有的工作大多针对日常生活中的简单动作，长序列复杂动作少有涉及。可是，另一方面，如太极拳、体操等体育运动的训练和比赛又急需人工智能技术的融合产生新的活力。鉴于此，本文将研究长序列动作的识别和预测中的问题，并尝试将其应用于太极拳的训练和比赛中。 长序列动作主要指需要较长时间完整完成的动作。长序列动作带来的技术挑战主要在两个方面：1.高层特征提取困难。基于深度学习的方案虽然可以自动地提取动作特征。但是由于长序列动作持续时间较长，具有明显区别性的动作特征往往随着时间产生变化。2.预测能力需求高。长序列动作的肢体运动频繁，不同时间段内人体姿态不同，需要神经网络具有强大的数据学习能力，才能预测更真实的未来人体动作。 本文主要工作如下： 1.针对长序列高层特征提取问题，研究融合因果关系和时空图卷积网络的人体动作识别。考虑人体运动中存在的因果性关系，本文提出了一种融合因果关系和时空图卷积网络的动作识别方法。将人体骨骼结构建模为复杂系统，将关节的坐标序列视为复杂系统中的时间序列变量，从而推导关节因果关系。根据关节之间因果关系为骨骼图分配边权重，并将权重作为辅助信息增强图卷积网络，来提高驱动力较强的关节在神经网络中的权重，使神经网络更好地聚集动作特征，从而增强网络的动作识别性能。 2.针对长序列动作中人体姿态变化多样问题，研究基于GAN和自适应图卷积的动作预测。本文提出一种基于GAN和自适应图卷积的动作预测方法，该方法以当前人体姿态和动作类别为输入，通过生成器预测后续一系列人体姿态骨架。为了减少长序列中差异较大动作的干扰，使用自注意力机制计算帧与帧之间的关联程度，挑选最关联程度高的帧聚合信息，增强对帧间时间特征的利用。为了更好地利用人体结构信息，为图卷积增加自适应边权重、关节注意力以及通道注意力，使得网络能自行学习人体拓扑结构，对重要性高的关节和通道进行特征增强，以更好地学习骨骼数据的隐藏分布，从而对人体动作做出更准确的预测。 收起