摘要: 模型压缩技术是深度学习中一种实用且广泛应用的技术，可通过对神经网络模型结构和其数据精度进行压缩实现模型的轻量化，因此网络剪枝和网络量化成为最为常见的模型压缩技术。正确的使用模型压缩技术可缩短模型的前向推理时间、减小后端硬件压力，促... 展开 模型压缩技术是深度学习中一种实用且广泛应用的技术，可通过对神经网络模型结构和其数据精度进行压缩实现模型的轻量化，因此网络剪枝和网络量化成为最为常见的模型压缩技术。正确的使用模型压缩技术可缩短模型的前向推理时间、减小后端硬件压力，促进AI项目落地。因此，本文以通用神经网络模型为对象，在网络剪枝和网络量化技术上开展如下研究： （1）基于频率响应的卷积神经网络剪枝方法。其中研究了神经网络输入数据中不同频率的信息对网络精度的影响和对物体之间相似性的影响，并基于输入数据中的低频信息相对更重要的实验结论，提出了基于频率响应的卷积神经网络剪枝方法，最后通过对比实验和消融实验验证了从频域角度出发进行模型剪枝的可行性。 （2）基于低频信息量的神经网络剪枝方法。在研究（1）的基础上，进一步研究频率信息在网络剪枝工作中的作用。通过实验发现，在神经网络的众多通道中，低频信息占比更高的特征图对应的通道对于神经网络更重要。基于此结论，本文提出了使用低频信息量和通道平均秩作为依据对神经网络进行精简的网络剪枝方法。 （3）知识蒸馏辅助的神经网络量化方法。其中分析了现有的训练后量化和量化感知训练各自的优势和不足，通过结合知识蒸馏这种具有知识迁移特性的模型压缩方法，提出了一种神经网络量化方法。并通过实验验证了该方法对于现有的训练后量化方法的优势。最后，综合本文中提出的网络剪枝和网络量化方法，对神经网络进行了全面的模型压缩，实现了完整流程的神经网络部署。 简而言之，本文首先从频域角度出发，从输入数据和特征图中有关频率的特性入手，提出了两种网络剪枝方法。为了进一步的模型压缩，本文还借鉴知识蒸馏思想提出了一种网络量化方法。通过网络剪枝与网络量化，并使用深度学习编译器，完成了全面的模型压缩，并实现了真正意义上的神经网络部署。 收起