摘要: 随着物联网和人工智能技术的发展，诸如汽车、无人机、家用电器、可穿戴设备等将逐步变得智能化，为了保证服务质量，大量的计算任务将在网络边缘处理，用人工智能为边缘设备赋能成为人们生活的实际需求。然而，作为人工智能的关键技术，卷积神经网络... 展开 随着物联网和人工智能技术的发展，诸如汽车、无人机、家用电器、可穿戴设备等将逐步变得智能化，为了保证服务质量，大量的计算任务将在网络边缘处理，用人工智能为边缘设备赋能成为人们生活的实际需求。然而，作为人工智能的关键技术，卷积神经网络因性能的不断提升，网络规模逐渐变得庞大，对计算平台的要求相应提高，这限制了神经网络在资源有限的边缘设备上的部署。在这样的背景下，研究轻量化的神经网络结构，减少计算资源消耗，提高网络运行速度对于推广神经网络的实际应用，开创智能物联时代，具有重要意义。 本文面向边缘计算场景，对模型压缩算法展开研究，主要研究内容如下: 1.提出一种基于稀疏正则化的剪枝算法。本文对正则化与稀疏神经网络进行研究，将模型稀疏化与网络剪枝相结合，通过对模型训练施加L1正则化约束，提高神经网络参数的稀疏性，并用结构化剪枝的方式将稀疏性较高的滤波器和通道移除，压缩神经网络的参数量，提高网络运算速度。该剪枝方法能够在保证原始网络精度的同时达到很好的压缩效果，在VGG-16网络上减少了84.29％的参数量和50.79％的计算量，模型占用存储空间仅为5.12MB，而在CIFAR-10数据集上的测试准确率仅下降了0.91％。 2.提出一种基于特征分数的剪枝算法。本文对特征可视化技术进行研究，用类别激活映射方法对卷积层的输出特征图进行可视化，为卷积层中个滤波器的特征提取能力评估提供依据，并提出特征分数的概念用以评估滤波器的特征提取能力，进而将分数较低的滤波器移除，可以大幅压缩网络的参数量和计算量，同时不损害网络特征提取能力。该剪枝方法能在准确率损失1％以内的情况下，对VGG-16网络实现了90.95％的压缩率，同时减少76.19％的计算量。 3.提出一种基于特征重建的知识蒸馏算法。对神经网络进行压缩之后准确率通常会有所下降，本文对知识蒸馏算法展开研究，提出一种基于特征重建的知识蒸馏算法，用压缩前的模型作为教师模型指导压缩后的学生模型进行训练，通过对各自卷积层类别激活图的相似度计算蒸馏损失，引导学生模型模仿教师模型的特征提取能力，从而恢复压缩带来的准确度损失。 综上所述，本文提出了几种模型压缩方法，有效减少网络的参数量和计算量，同时保证网络的性能，降低网络的对计算资源的消耗和计算设备的要求，推动深度神经网络在边缘设备上的应用部署。 收起