摘要: 近年来，深度卷积神经网络(ConvolutionalNeuralNetwork，CNN)在计算机视觉任务方面取得了显著的成功。然而，CNN通常会产生大量的计算和存储消耗，从而阻碍其在移动和嵌入式设备上的部署。为了解决这一问题，许多研究工作都集中在压缩CNN的规模上。模... 展开 近年来，深度卷积神经网络(ConvolutionalNeuralNetwork，CNN)在计算机视觉任务方面取得了显著的成功。然而，CNN通常会产生大量的计算和存储消耗，从而阻碍其在移动和嵌入式设备上的部署。为了解决这一问题，许多研究工作都集中在压缩CNN的规模上。模型压缩作为一种可以通过降低深度神经网络冗余度来减少网络模型的存储大小、加快其运行速度的新兴研究领域，被广泛应用于诸如物体识别、分类，检测等计算机视觉任务中。在本文中，作者将基于参数剪枝与知识蒸馏两种常见的压缩方法对深度神经网络模型压缩进行一定的研究与应用探索。本文的主要工作和贡献如下： 1、参数剪枝作为一种简单而又有效的模型压缩方法，它根据一定的标准，对网络中冗余的权重进行修剪并保留重要权重，以最大限度地保持网络的精确性，能够大幅减少参数数量，压缩空间，从而达到降低模型计算量与存储量的目的。结构化剪枝因为其避免了非结构化剪枝所产生的随机连接，导致不规则存储访问的问题，被广泛应用于CNN的加速。通常，结构化剪枝主要分为结构化行稀疏与列稀疏两种方式，目前大部分工作是对卷积核通道或者是卷积核本身进行修剪，属于行维度的剪枝。在本文中，作者基于在同样的稀疏度需求下，从列维度下选取需要稀疏的权值比起在行维度下选取有更大选择空间的理论依据，提出在对同一网络的相同加速比要求下，结构化列剪枝将会获得更好的性能。实验结果表明，对于两种结构化剪枝，在GFLOPs减少相同倍数时，列剪枝后的准确率和实际加速等性能相对于行剪枝都有明显的提升。 2、本文深度参与了国家信息产业部下的信息技术神经网络表示与压缩标准的制定。根据“新一代人工智能产业技术创新战略联盟标准工作组神经网络表示和模型压缩标准的技术需求”的要求，在模型的结构化稀疏方面，作者提出并发表了技术提案《基于增量正则化剪枝的结构化深度神经网络压缩》，解决了传统上直接分配恒定正则化惩罚而导致压缩模型表现力弱的问题，促进了神经网络表示与压缩技术的标准化。 3、知识蒸馏作为除参数剪枝外的另一种有效的神经网络压缩方法，它将知识从高容量的教师网络转移到低容量的学生网络，使学生网络能够获得更好的性能。基于此，本文提出了一种通过同时训练多个学生模型实例的新方法。该方法通过将相似性与多样性损失添加到基线知识蒸馏中，并根据多个学生实例的准确度变化来自适应的调整这些损失的比例，以此构建一个可以使学生之间进行相互协作与竞争的蒸馏系统，从而更好地提升系统的健壮性以及各个学生网络的性能。该方法在各种规模的数据集上获得的性能均优于现有的离线和在线蒸馏方案。 收起