摘要: 人工智能的兴起显著加速了人类社会的智能化进程。作为人工智能的“灵魂”，深度神经网络已经呈现出强悍的图像识别能力。然而这一切都建立在神经网络高度复杂的结构和极为耗时的计算上。为了实现神经网络在终端的大规模应用，研究者通过模型压缩算法将... 展开 人工智能的兴起显著加速了人类社会的智能化进程。作为人工智能的“灵魂”，深度神经网络已经呈现出强悍的图像识别能力。然而这一切都建立在神经网络高度复杂的结构和极为耗时的计算上。为了实现神经网络在终端的大规模应用，研究者通过模型压缩算法将复杂模型简化为性能相近的轻量模型。因此，模型压缩对实现智能应用的本地化有战略性意义。 本文针对模型剪枝及知识蒸馏两大模型压缩领域的核心方法展开研究，提出了两种模型剪枝方法及一种自蒸馏方法。其中，自蒸馏方法用于增强两种剪枝方法的精度。具体研究内容如下： （1）提出了一种基于通道注意力机制的结构化剪枝方法。针对众多剪枝工作未考虑的剪枝精度补偿问题，本文提出了一种轻量级的通道注意力机制，并利用该注意力机制进行剪枝。注意力模块基于批标准化层（BatchNormalization，BN）的缩放参数搭建，因此不附带额外的可学习参数。在剪枝训练中注意力模块可以区别重要通道与次要通道，同时为剪枝模型带来精度补偿。另一方面，针对许多剪枝研究中卷积核或输出通道的评价准则相对单一的问题，该方法采用BN层缩放参数与注意力权重均值的联合准则评判通道的显著性，更加全面地度量各个通道的重要程度。实验表明，该方法在直筒型网络VGGNet和残差网络ResNet的压缩上表现优异。 （2）提出了一种基于通道稀疏化及特征图信息量的剪枝方法。该方法基于BN层缩放参数及特征图平均归一化秩的联合准则评判通道的显著性，有效融合了面向权重剪枝及面向特征图剪枝的优势，增强了通道重要性评估的综合性。该方法采取端到端的剪枝思想，即在训练过程中逐步完成剪枝，训练完毕后无需微调。在训练的前期对BN层的缩放参数施加强度逐步衰减的L1正则化，一方面引导冗余通道的选择，另一方面辅助剪枝模型获得更良好的泛化性能。实验表明，该方法在各种深度的ResNet上均有良好的压缩效果。 （3）提出了一种逐轮自蒸馏算法。针对当前自蒸馏方法蒸馏时间偏长及算力耗费偏大的问题，本文使用前一轮的模型作为指导教师去蒸馏当前轮次的模型。该方法不依赖额外的辅助分类器，充分利用模型过去的预测丰富监督信息，易于融入本文的两个剪枝框架中。基于CIFAR-100数据集的相关实验证明，该算法能够较好地兼容于本文的两种剪枝算法，剪枝模型的性能均得到改善。 收起