摘要: 随着深度学习的不断发展，卷积神经网络的特征提取能力不断增强。因此被逐渐应用于智能监控、自动驾驶和医学影像等场景。但是随着卷积神经网络性能提高而来的是网络深度的增加和参数的增多，这造成了高额的计算开销和存储成本。这些问题使得基于卷积... 展开 随着深度学习的不断发展，卷积神经网络的特征提取能力不断增强。因此被逐渐应用于智能监控、自动驾驶和医学影像等场景。但是随着卷积神经网络性能提高而来的是网络深度的增加和参数的增多，这造成了高额的计算开销和存储成本。这些问题使得基于卷积神经网络的模型难以在资源受限的移动设备和智能终端上部署。因此，深度卷积神经网络的模型压缩具有重要的研究意义和工业价值。 知识蒸馏因无需调整网络结构、无需硬件支持等优点，是当前主流的模型压缩技术之一。但是该方法目前面临以下两个问题:一是当前知识蒸馏需要来自多层教师特征的指导来获得丰富的语义信息，但不同层次之间的语义差距过大，不合理的指导方式会造成语义不匹配，进而损害学生模型的性能。二是计算机视觉领域将图像分为前景和背景，二者对于模型预测结果的贡献程度不同，在蒸馏过程中不加以区分会导致学生模型无法捕获教师的关键信息。本文的主要贡献包括: (1)针对不合理的指导方式造成语义信息不匹配的问题，提出了基于语义分阶段学习的知识蒸馏算法。该方法将卷积神经网络的学习划分为深、浅两个阶段，只有位于同一阶段的教师特征可以用于指导该阶段的学生层，避免了深浅层语义信息的混淆。实验结果表明，该方法能有效解决知识蒸馏过程中语义信息不匹配问题，提升了学生模型的学习能力。 (2)针对不区分前景和背景导致学生无法捕获教师关键信息的问题，提出了基于关键特征增强的知识蒸馏算法。该方法强调了对类别判定起重要作用的像素块，提升其在蒸馏过程中的重要性，从而让学生模型更加关注这些关键特征。具体地，本文使用KL散度的非对称性以及衡量分布相似度的特性来建模上述方法。实验结果表明，该方法能够提升教师特征中关键像素的权重，使得学生模型更加注重这些特征，进而提升其性能。并且该方法可以和本文的研究点一进行结合，进一步提升其效果。 (3)本文设计实现了基于知识蒸馏的模型压缩系统，在图像分类任务以及目标检测任务上验证了本文提出方法的有效性。该系统支持对主流的图像分类和目标检测模型进行蒸馏，并提供了 8种主流蒸馏方法，且这些方法可以进一步扩展。此外，系统还提供了多种评估指标，包括参数数量、存储空间和推理速度等，以便选择最适合的学生模型。同时，系统还设计了可视化分析界面，用于对该模型压缩系统的成果进行可视化分析。 收起