摘要: 近些年深度学习快速发展，在计算机视觉和推荐系统等场景下得到大量应用，但是在很多场景下深度学习的部署需要海量算力的支持，精度更高的神经网络一般来说计算成本更加高昂。卷积神经网络一般由多层卷积级联而成，模型结构本身具有大量的参数，运行... 展开 近些年深度学习快速发展，在计算机视觉和推荐系统等场景下得到大量应用，但是在很多场景下深度学习的部署需要海量算力的支持，精度更高的神经网络一般来说计算成本更加高昂。卷积神经网络一般由多层卷积级联而成，模型结构本身具有大量的参数，运行时需要大量的计算。卷积神经网络的特点在一定程度上限制了在低功耗，低算力的边缘设备上的应用。模型压缩可以减少卷积神经网络模型的参数量和计算量，使模型在资源有限的边缘设备上得到更多的应用。针对模型压缩中的知识蒸馏和量化技术展开研究，主要工作如下: 1.针对卷积神经网络中存在的参数量多、计算效率低等问题提出了一种针对多分支网络改进的知识蒸馏方法。在多分支模型的多个分支中引入通道注意力机制SElayer提高分支结构提取特征的能力，同时学生网络内部监督与外部老师网络监督的结合进一步提高知识蒸馏效果，在推理阶段可以根据实际需要裁减网络，进一步压缩模型大小。实验结果表明，本方法提出的多分支网络参数量更低，并且准确率更高。 2.发现多分支网络不同的分支分类器能力有所差异，对于不同的分支分类器施加不同的监督可以最大限度地提高网络分支结构的准确率，结合了随机擦除的数据增强方法提高知识蒸馏效果，同时将自然语言处理领域中fastbert的自适应推理和多分支网络结合进一步提升推理的速度。 3.提出一种分块增量式量化方法，与增量式量化方法相比考虑到不同深度的卷积块对于增量式量化过程的敏感程度不同，给予深层卷积块更多的参数调整空间，与增量式量化方法相比提高了量化网络准确率;结合前两个知识蒸馏工作提出一种管道式模型压缩方法，首先使用知识蒸馏提高全精度多分支学生网络的准确率，根据实际需求进一步裁减多分支学生网络，再将裁减后的学生网络通过分块增量式量化的方法转成量化网络，通过实验分析了先裁减后量化和先量化后裁减两种方法的区别。 收起