摘要: 多目标跟踪是计算机视觉领域中重要的研究方向，主要目标是在视频或者图像序列中，检测并定位多个目标，分配给它们不重复的身份标识，并且尽可能保证同一目标的身份标识不发生突变，最终得到各个目标的轨迹。多目标跟踪在实际应用中常被用于智能交通... 展开 多目标跟踪是计算机视觉领域中重要的研究方向，主要目标是在视频或者图像序列中，检测并定位多个目标，分配给它们不重复的身份标识，并且尽可能保证同一目标的身份标识不发生突变，最终得到各个目标的轨迹。多目标跟踪在实际应用中常被用于智能交通领域、智能安防领域、医学处理领域和自动驾驶领域。基于检测的跟踪范例由于其分离了检测和跟踪任务，使得研究者们可以专注于跟踪任务从而受到学术界的关注。得益于深度学习的发展，多目标跟踪的精度越来越高。但是，依然存在目标特征没有被充分提取导致跟踪错误、目标被遮挡导致目标特征难以提取和轨迹碎片化等问题。 本文在深度学习的基础上，对基于检测的多目标跟踪展开研究。本文的主要工作和创新如下： （1）针对现有自动驾驶多目标跟踪算法融合多传感器信息的方式不能充分发挥协同作用的问题，提出了一种基于多模态特征融合与可学习式目标相似度估计的三维多目标跟踪算法。其中，多模态特征融合模块对图像以及点云特征进行基于通道注意力机制的特征融合，提升了多模态特征的表达能力。目标相似度估计模块通过网络直接生成相似度矩阵，以可学习方式实现多目标之间的跨模态联合推理，避免了大量的人工参数设定。 在KITTI数据集上进行验证和消融实验，结果表明该算法在精度上优于其他算法，具有较好的鲁棒性。消融实验表明两个模块均是必要的，特征融合模块能让不同模态的特征同时发挥作用，提高跟踪性能；目标相似度估计模块不需要手工实验确定阈值，节省大量时间。 （2）针对目标二维特征和三维特征等高维语义特征不适合直接融合目标位置信息等低维特征的问题，并且为了降低假阳性检测对跟踪性能的影响，提出基于距离融合和误检过滤器的多目标跟踪算法。其中，误检过滤器联合检测置信度和误检判别网络输出的目标得分共同判别检测性质，保证正确检测尽量保留的情况下，过滤了大量误检。距离融合模块根据目标融合特征计算特征距离权重，根据此权重融合由不同特征计算而来的距离，使得不同模态特征对于目标是否匹配的判断信息都能够被利用。 在KITTI数据集上进行验证和消融实验，结果表明该算法提升了最终跟踪效果。误检过滤器减少了误检，使得跟踪器不会收到错误的输入，从根源上提高了跟踪器训练的效果，并且能方便地嵌入到其他跟踪框架中。距离融合模块中的特征距离权重估计模块计算特征距离权重，使得不同模态特征能最大限度在决策层上发挥自己的作用，进而提高跟踪性能。 收起