摘要: 随着网络视频的繁荣和智能监控的兴起，对视频分析的呼声愈发强烈。其中，对视频的时序行为检测也受到了更多的关注。本文重点研究行为检测网络框架的构建和行为在时序上定位的优化。主要从如下两个不同的角度，进行了时序行为检测方法的研究。 (1... 展开 随着网络视频的繁荣和智能监控的兴起，对视频分析的呼声愈发强烈。其中，对视频的时序行为检测也受到了更多的关注。本文重点研究行为检测网络框架的构建和行为在时序上定位的优化。主要从如下两个不同的角度，进行了时序行为检测方法的研究。 (1)基于三维卷积和时序候选的行为检测方法。该方法利用了三维卷积处理视频能生成包含时间维度信息特征的特性，以两阶段目标检测方法FasterR-CNN先进行区域推荐然后进行图片目标检测的操作流程为启发，将二维空间上的图片目标检测推广到三维空间中的视频时序行为检测。首先使用C3D构建三维特征提取子网络，提取视频的三维特征，并输入到时序候选子网络提取时序候选段，最后联合三维特征和时序候选段，共同对候选段内的行为进行分类。为了提升行为检测网络性能，后续使用了3D-resnet重构特征提取子网络，与C3D构建特征提取子网络的实验结果相比，使用3D-resnet34时得到了相近的精度，并使模型每轮训练耗时减少了1.17h，模型所占内存减少了324MB。 (2)基于时域反卷积和逐层空间卷积的行为检测方法。该方法从提高行为的时序定位角度出发，改进了R-C3D的时序候选子网。针对空间域上动作的分类，提出逐层空间卷积方法。该方法在R-C3D网络的时序候选子网中增加特定结构的卷积层来改善网络对视频中动作的分类能力。随后，针对时间域上动作的定位，借助CDC网络中反卷积操作的思想，采用反卷积操作增加特征图在时间轴上的长度。结合逐层空间卷积方法，提出在时空域上同时改进的时域反卷积-逐层空间卷积算法。为验证CDC网络中反卷积增大特征图长度的思想适用于R-C3D网络，做了对比实验一：输入不同时长的视频，发现最大时长的视频对应着最高的检测精度，验证了反卷积操作增大特征图长度能改善时序行为检测网络的精度。为验证增大特征图长度能精确动作的定位，做了对比实验二：将时域反卷积-逐层空间卷积算法引入到边界敏感网络(BSN)。此环节中，将算法中的逐层空间卷积、时域反卷积按照不同组合方式引入BSN的时序评估模块，做消融实验。实验验证了该算法是通过精确动作的定位的方式提高了网络的检测精度。 收起