摘要: 近年来，神经网络技术在图像处理、目标检测、自然语音处理等实际问题中都取得了突破性的成果。然而，随着神经网络的规模不断扩大，深度不断加深，其对应的参数量和计算量也在成倍增长，这对于神经网络在终端智能设备上的部署带来了巨大挑战。网络压... 展开 近年来，神经网络技术在图像处理、目标检测、自然语音处理等实际问题中都取得了突破性的成果。然而，随着神经网络的规模不断扩大，深度不断加深，其对应的参数量和计算量也在成倍增长，这对于神经网络在终端智能设备上的部署带来了巨大挑战。网络压缩技术应运而生，它被用来对神经网络进行参数压缩和计算加速。但是现有的网络压缩算法存在压缩过程冗长、应对场景单一、算法间缺乏融合等问题。针对以上问题，本文以提升压缩效率为目标、以智能终端的实际目标分类和检测场景为应用背景、以研究创新的压缩算法和融合框架为手段，主要完成了以下创新性研究成果: 1.提出基于量化辅助层的卷积神经网络通道剪枝，通过改变传统的网络剪枝框架，将网络训练和参数剪枝融合在一起，边训练边进行通道的筛选，从而使得前一阶段被误剪除的通道能够在后续的训练阶段恢复。同时抛弃了人为定义剪枝标准，而是通过网络本身来动态优化剪枝标准，通过在卷积层前嵌入可训练的量化辅助层，实现动态的网络通道剪枝，不需要额外的再训练，可以直接生成精简后的网络结构模型。进一步的，为了解决量化辅助层的梯度消失问题，本文提出了两种解决方案来恢复梯度，分别是梯度估计器和渐进梯度器，从而将原本不可反向传播的量化辅助层纳入到整个神经网络的反向传播链条中。 2.提出基于层级知识归一化匹配的神经网络知识迁移，针对知识迁移过程中教师与学生网络知识匹配性的问题，本文提出了将提取的中间层知识进行归一化处理后再进行迁移。首先针对不同通道特征图的重要性不同以及同一通道特征图不同位置的重要性不同这一认识，把中间层特征图的通道和空间注意力作为一个重要知识来指导学生网络的训练。然后基于教师网络与学生网络知识因为表达能力不同而存在差距，知识的相对值比绝对值更适合匹配的推测，对知识统一进行归一化处理，最后再作为新的监督信号指导训练。 3.提出联合多种压缩算法的单级目标检测神经网络模型压缩框架，由预训练模块、剪枝模块、知识迁移模块和量化模块构成。压缩框架的整体思路是，通过预训练模块得到全精度的网络模型，然后在剪枝模块中对网络中不重要的参数进行剪枝，继而利用知识迁移来弥补由于剪枝引起的性能下降，最后利用量化模块来降低参数表达精度和进一步减少计算量。在剪枝模块提出了渐进式剪枝策略，在知识迁移模块针对目标检测的代价函数只选用正样本在分类损失上来进行知识迁移，在量化模块同时测试了直接量化和模拟量化的效果。最后基于常用的单级目标检测神经网络，成功的将网络剪枝、网络量化和知识迁移算法融合到统一的框架中，实现了对网络模型最大程度的压缩。 对于上述三个关键技术，本文在不同规模的数据集上，在不同智能场景下设计了大量实验，充分验证了算法和框架压缩的效果和有效性。 收起