摘要: 随着车辆的普及以及行车记录仪的广泛使用，基于车载视频的行车碰撞风险预测具有重要的研究意义，是汽车辅助驾驶行业的重要研究目标。本文从计算机视觉的角度出发，利用视频中感兴趣目标的运动轨迹、目标之间的空间位置关系以及目标运动的时序特征等... 展开 随着车辆的普及以及行车记录仪的广泛使用，基于车载视频的行车碰撞风险预测具有重要的研究意义，是汽车辅助驾驶行业的重要研究目标。本文从计算机视觉的角度出发，利用视频中感兴趣目标的运动轨迹、目标之间的空间位置关系以及目标运动的时序特征等信息，提出了两种基于车载视频的行车碰撞风险预测方法。论文的研究工作分为三个部分： （1）提出了一种基于车载视频的行车场景多目标联合检测与追踪方法。首先针对多目标检测任务，将视频帧分为关键帧和非关键帧；再建立一个基于光流场的目标检测网络，该网络根据视频帧的清晰度和运动位移大小判断当前帧是否作为关键帧，并根据当前帧类型采用不同的方式提取视频帧的特征；基于特征图用区域候选网络（RPN）生成目标候选框，用Light-HeadRCNN网络对候选框进行分类和回归得到目标包围框。然后针对多目标追踪任务，建立了一个联合单目标追踪和数据关联的多目标追踪网络，通过训练时的交互使得单目标追踪网络和数据关联网络学到互补的信息，在网络的一次前向传播过程中得到所有待追踪目标的追踪包围框。接着将多目标检测网络与多目标追踪网络整合到一个统一的深度学习网络模型中，通过多任务学习的方式对网络模型进行联合训练，优化联合损失函数。最后使用训练好的多目标联合检测与追踪网络模型，完成车载视频场景中多目标的联合检测与追踪。实验结果表明，该方法实现了视频中多目标的实时检测与追踪，而且通过联合训练检测分支和追踪分支，检测准确率达到了89.4%，多目标追踪准确率达到了82.3%。 （2）提出了一种基于目标轨迹预测的行车碰撞预测方法。方法首先根据编码-解码框架对过去帧中的目标包围框序列和目标光流序列进行编码得到一个融合矢量，结合本车运动信息对上述融合矢量解码，输出目标在未来帧的预测包围框序列；基于视频帧最优消失点，将预测出的目标包围框进行坐标系转换，根据包围框之间是否产生交集来预测未来时刻预测目标之间是否会发生碰撞；在本车前进方向的视频帧底部划设一个区域，根据预测出的目标包围框中心坐标是否落入该区域来预测未来时刻本车是否与前进方向上的其他目标发生碰撞。实验结果表明，方法在两种碰撞情况发生之前能有效的预测，其中本车前进方向上目标与本车碰撞的预测准确率为82%。 （3）提出了一种基于图结构的行车碰撞空间风险预测方法。方法首先将视频帧中检测出的目标用图结构表示；再利用图卷积神经网络提取图结构的关系特征；然后根据循环神经网络对连续视频帧的图结构进行时序建模，得到不同时刻视频帧的图结构的时间关系特征；最后将该时间关系特征变换维度，通过softmax层得到刻预测出的行车碰撞风险概率值，并与设定的阈值比较，判断是否有行车碰撞风险。实验在当前时结果表明，该方法在视频帧率为20FPS下，平均能够提前3.88s预测出行车碰撞风险，预测准确率为74.4%。 收起