摘要: 通常在深度学习里，大多数情况会使用某个场景的大量数据来训练模型，然而当场景或者数据集发生改变时，模型就需要重新训练。而元学习的训练过程是以各种学习任务为训练数据，在此基础上训练一个模型，模型就可以拥有在新任务上通过少量样本就可以完... 展开 通常在深度学习里，大多数情况会使用某个场景的大量数据来训练模型，然而当场景或者数据集发生改变时，模型就需要重新训练。而元学习的训练过程是以各种学习任务为训练数据，在此基础上训练一个模型，模型就可以拥有在新任务上通过少量样本就可以完成学习的能力。移动终端设备是部署、训练模型不可或缺的重要载体，但由于移动终端设备计算、存储资源的局限性，很难快速、有效的训练模型，使得降低模型运算成本显得尤为重要，该研究对元学习在移动终端设备上训练过程中的压缩方法展开研究。 基于在终端设备上难以训练的问题，首先研究了训练过程中基于权重剪枝和通道剪枝的元学习算法，该算法从减少模型训练过程中计算量的目的出发，依据模型在训练过程中会产生很多表达能力较差的权重以及通道这一原理，全连接层将筛选出来的权重剪掉，卷积层将表达能力较弱的通道剪掉，并利用元学习的Fine-tune阶段弥补剪枝所带来的精度损失，使得新模型在移动终端设备上能够快速、有效的进行训练。其次研究了元学习在Fine-tune阶段的8-bit量化以及反量化。该算法进一步优化了元学习模型在移动终端设备的训练过程，在不改变模型精度的情况下降低了模型的大小。 最后通过在分类任务上的大量实验证实算法的有效性。在Omniglot数据集上设置了丰富的对比实验，分析了不同压缩尺度下模型的大小和效果，最终使得模型在保证精度损失可控的情况下，减少了30%的计算量，同时使模型的大小压缩为了之前的四分之一，证明了元学习模型中剪枝与量化和Fine-tune阶段结合的有效性。 收起