摘要: 近年来，深度神经网络在视觉识别任务中取得了巨大成功，但也带来了一些应用和部署问题。通常，这些庞大的深度模型不仅在训练阶段，而且在推理阶段都需要消耗大量的计算和内存资源，这使得在资源有限的移动设备或嵌入式系统上部署深度学习模型变得非... 展开 近年来，深度神经网络在视觉识别任务中取得了巨大成功，但也带来了一些应用和部署问题。通常，这些庞大的深度模型不仅在训练阶段，而且在推理阶段都需要消耗大量的计算和内存资源，这使得在资源有限的移动设备或嵌入式系统上部署深度学习模型变得非常困难。因此，知识蒸馏（KnowledgeDistillation，KD）作为一种模型压缩技术，受到了深度学习界越来越多的关注。它不仅能够从大型教师神经网络中提取知识并迁移给小型学生网络，还能够使得学生网络拥有较好的性能。然而，现有的知识蒸馏方法中也存在一些忽视迁移通道知识的问题，本文围绕着神经网络通道特征知识和模型蒸馏方法进行了展开研究，设计和实现了基于模型蒸馏的人脸识别原型系统。本文做了以下三个方面的研究工作： （1）为了充分利用样本实例间的通道特征知识，并减少教师网络输出的错误预测知识对学生学习的影响，本文提出了基于通道关系的选择性知识蒸馏（ChannelCorrelation-BasedSelectiveKnowledgeDistillation，CCSKD）方法。在CCSKD中，特征知识是从样本实例间的通道关系中得到的，以及为了获取正确的基于响应的知识，CCSKD方法逐渐减少教师网络错误的logits输出知识对训练学生网络的影响。CCSKD方法与其他现有的KD方法相比，能够在知识蒸馏的过程中同时使用基于通道关系的特征知识和基于选择性的响应知识。本文在多个图像分类数据集上进行了充足的实验。实验结果证明了CCSKD方法在图像分类任务上能够获取更好的精度。 （2）为了充分利用教师网络输出的多种知识以及提高学生网络学习知识的能力，本文提出了融合多阶段学习和自我学习的模型蒸馏（Multi-StageKnowledgeDistillationviaStudentSelf-Reflection，MSKD-SSR）方法。现有的KD方法主要关注在从教师的角度提高知识蒸馏效率，而忽略了从学生的角度提高蒸馏效率。MSKD-SSR方法在考虑教师传递知识给学生网络的同时，也考虑了如何有效地让学生网络提高学习效率。MSKD-SSR方法将教师和学生网络分成几个学习阶段，教师网络在每个阶段将自己的通道特征知识和响应知识迁移给学生网络，学生网络通过回顾的方式学习前一个阶段已学到的知识，从而增强学生网络的性能。本文在多个图像数据集上进行了对比实验以及消融实验，实验结果验证了MSKD-SSR方法具有优异的性能。 （3）根据本文所提的CCSKD方法和MSKD-SSR方法设计并实现了基于模型蒸馏的人脸识别原型系统，系统主要包括系统管理和人脸识别两个模块。系统开发采用C++和Python语言，并选择了MySQL数据库进行数据读写操作。系统人机交互界面简单易操作，经过多次运行与测试，验证了本文所提的两个蒸馏方法的有效性。 收起