摘要: 近年来，深度学习在计算机视觉领域得到广泛应用，在图像分类、目标检测、语义分割、超分辨率、人脸识别等任务上陆续超过传统视觉算法甚至人类表现。然而深度学习模型依赖深层的网络结构、庞大的参数量和计算量、海量的训练数据，在带来高精度的同时... 展开 近年来，深度学习在计算机视觉领域得到广泛应用，在图像分类、目标检测、语义分割、超分辨率、人脸识别等任务上陆续超过传统视觉算法甚至人类表现。然而深度学习模型依赖深层的网络结构、庞大的参数量和计算量、海量的训练数据，在带来高精度的同时，对存储设备和计算设备也有更高的要求。内存占用高和运行速度慢，成了深度学习实际应用部署的最大障碍之一。因此，深度学习模型压缩与优化加速具有重大的学术价值以及工程意义。本文针对基于卷积神经网络的图像分类任务开展研究，分析、比较和改进已有的模型压缩方法，提出混合模型压缩算法，并基于该算法提出通用化实现，使算法可以便捷快速的应用到各种实际应用场景当中，缩小模型训练与模型部署之间的鸿沟，加快深度学习成果应用落地。 为了充分压缩和加速面向图像分类任务的卷积神经网络，本文提出一种混合模型压缩算法。首先，利用自蒸馏技术在增加少量训练代价的前提下，提高原始模型的训练精度并得到一系列辅助分支结构。然后，依次对模型进行滤波器尺度的模型裁剪和定点量化，借助知识蒸馏技术对裁剪和量化后的模型进行恢复训练。随后将模型中的BN层融合到卷积层当中，进一步加快模型的推理速度。最后，借助自蒸馏技术产生的辅助分支结构实行提前终止算法，当辅助分支取得较高预测置信度时提前终止推理过程，实现动态的模型压缩与推理加速。本文将分别讨论所用每种单一模型压缩技术的有效性以及各种技术之间的兼容性，最后将各种单一技术有机结合实现最大化的压缩效果。 当下多数模型压缩的开源项目都采取硬编码的编程风格，需要对现有模型定义代码做出大量修改，难以通用化地将技术扩展到其他模型上。公开的深度学习模型压缩通用软件框架甚少，尤其基于动态图进行模型设计的PyTorch的模型压缩软件框架更是难以实现。本文在提出混合模型压缩算法的基础上，利用PyTorch的软件特性，完成原始模型的计算图捕获与解析，进而可以在不修改原始模型定义代码的前提下，借助一系列辅助模块，提供可配置的模型压缩接口，得到模型压缩算法的通用实现。 本论文的主要创新点有以下两点： 1）分析、比较已有模型压缩算法，结合实际应用的便捷性和兼容性，改进并有机结合若干算法实现面向图像分类任务的混合模型压缩方案； 2）在设计混合模型压缩算法的基础上，结合PyTorch的软件特性，提出模型压缩算法的通用实现。 收起