摘要: 近年来，目标检测成为了计算机视觉领域中的一项基础任务，性能不断提升。随之而来的就是模型计算和存储开销呈几何式增长，此类模型在硬件能力较弱的移动终端及各种物联网端上缺乏适用性。在这种背景下，如何保持模型的性能指标和耗费硬件资源的平衡... 展开 近年来，目标检测成为了计算机视觉领域中的一项基础任务，性能不断提升。随之而来的就是模型计算和存储开销呈几何式增长，此类模型在硬件能力较弱的移动终端及各种物联网端上缺乏适用性。在这种背景下，如何保持模型的性能指标和耗费硬件资源的平衡就成为了一个研究热点。 知识蒸馏是近些年新出现的模型压缩技术，不同于其他压缩方法，它可以在不改变模型结构且几乎不引入额外参数的情况下提高小规模模型的性能。根据蒸馏位置的不同，主要可以划分为基于中间层的feature-base蒸馏和基于输出层的logit-base蒸馏。目标检测任务分为类别预测和边框定位两个部分。依据这种任务特性，本文采用feature-base蒸馏提高边框定位任务的检测性能，logit-base蒸馏提高类别预测任务的检测性能。通过结合两种蒸馏的方式来提高模型最终的检测能力。文章的研究内容划分如下： 首先，对于feature-base蒸馏，本文提出特征重采样蒸馏的方式避免学生模型简单模仿教师模型，不仅提高了学生模型的特征表征能力，而且避免了教师模型和学生模型特征层之间冗余的蒸馏损失计算。同时，本文在学生网络的特征层重采样过程中引入了空间注意力机制，突出了对目标检测更加重要的前景特征，提升了检测性能。最后，为了更加充分利用教师网络特征层的知识，将传统的一对一特征层蒸馏修改为一对多匹配蒸馏，即允许学生网络的一层特征层学习教师网络的多层特征层，进一步提升了模型性能。 其次，对于logit-base蒸馏，本文将常规logit蒸馏对象解耦成目标类别对象和非目标类别对象。通过实验研究两者对蒸馏性能影响的重要程度，并使用超参数加权的方式改变两者的权重，以此提高整体蒸馏性能。 最后，本文在公共数据集COCO2017上进行了不同检测模型的蒸馏实验。通过对比mAP评价指标，发现本文算法比传统算法要高2到3个百分点；通过对比参数量和FPS指标，发现与其他精确度相似的未蒸馏模型相比，模型的推理速度更快，参数也更少，有效提升了只能部署在资源短缺设备上的检测模型的性能。 收起