摘要: 随着硬件水平的急速提升以及数据获取的便利性，深度卷积神经网络在各个领域都得到了广泛的应用。然而优秀的网络模型往往伴随着更多的参数量和计算量，目前的普通设备已经无法满足此类网络模型对算力的要求，这使得优秀模型的普及和部署陷入了困境。... 展开 随着硬件水平的急速提升以及数据获取的便利性，深度卷积神经网络在各个领域都得到了广泛的应用。然而优秀的网络模型往往伴随着更多的参数量和计算量，目前的普通设备已经无法满足此类网络模型对算力的要求，这使得优秀模型的普及和部署陷入了困境。为解决上述问题，本文在以往的网络剪枝方法基础上，引入了注意力机制、知识蒸馏和强化学习等手段，实现了在对模型进行更大程度压缩的同时，保证模型精度不受影响。主要研究工作如下： (1)通过对各类模型压缩方法的详细分析，提出了基于注意力机制和知识蒸馏的融合剪枝算法。该方法首次将三种模型压缩方法(网络剪枝、参数量化、知识蒸馏)进行结合，并对其中的知识蒸馏方法进行了改进。具体为在教师网络中引入了注意力机制，提升教师网络的性能，以此提高蒸馏效果；并对知识蒸馏过程中的权重分配提出了一种可解释性的方法，能够有效的指导网络进行训练。实验结果表明，经过该方法压缩后的模型，在参数量更少的同时，精度最高能比以往的方法高4%以上。 (2)传统模型压缩方法需要相关领域的专家来根据不同情况采取不同策略，导致整个压缩过程非常耗时且最终效果并不理想。本文在原始的自动化模型压缩方法的基础上，在强化学习的状态空间中引入一个能够代表第??层网络的重要性的新的状态量????，以此控制获得奖励(reward)的大小。从而实现对不重要的网络层进行更大幅度的剪枝。并在模型压缩过程中融入前面改进过的知识蒸馏方法，最终经过整个自动化模型压缩过程得到的模型精度更高，压缩后模型的参数量、计算量也更少。以ResNet50为例，在CIFAR100数据集上，经过该方法压缩后的模型比原始的自动化模型压缩方法的参数量少了五分之一，精度却提升了近3%。 (3)借助ONNX，NCNN等开源框架，对压缩前后的模型进行了移动端的部署，并比较两者的性能。实验结果显示，对同一张图片进行处理时，压缩后的模型所需要的时间为原模型的1/2左右。 收起