摘要: 终身学习能够为不断增多的复杂任务提供合适的学习模型，绝大部分的终身学习方法都是为了解决灾难性遗忘的难题（即随着复杂任务数量不断增多，用新任务的数据信息训练模型会干扰到先前任务学习到的知识），其中一种名叫少遗忘学习方法（Learning Wit... 展开 终身学习能够为不断增多的复杂任务提供合适的学习模型，绝大部分的终身学习方法都是为了解决灾难性遗忘的难题（即随着复杂任务数量不断增多，用新任务的数据信息训练模型会干扰到先前任务学习到的知识），其中一种名叫少遗忘学习方法（Learning Without Forgetting，LWF），通过知识蒸馏使得模型在学习新任务时限制参数相对于旧的任务的变化，但是，该方法复习旧的任务和学习新任务会存在不彻底的问题。 从软标签强化、软标签记忆和硬标签强化的角度出发，充分发挥知识蒸馏和软标签的作用，提出了3种新的改进方法，分别是基于Hot-Tuning的任务恢复改进算法（Easy-Tuning，E-Tuning，充分学习完新任务后复习旧任务，对旧任务复习能力更强）、基于LWF的多阶段新旧任务复习改进算法（After-LWF，A-LWF，一起学习完新旧任务后再分别复习微调新任务和旧任务，分为FA-LWF、WA-LWF和HA-LWF三种，可同时在新任务和旧任务上表现更好）和基于LWF的双向任务回溯改进算法（Bidirectional-LWF，BD-LWF，一起学习完新旧任务后再一起反向蒸馏新任务和主馏旧任务，在学习新任务时能更有效学习旧任务），并在此基础上使用无标签数据进任务复习，提出其改进方法——基于LWF的无监督学习改进方法（Unlabeled LWF，U-LWF，可利用无限的无标签数据复习旧任务）。 在按照两个维度（复杂-简单、简单-复杂、平均分配的多级任务数据集和任务之间数据集有无交叉重叠部分）进行组合的16组多任务数据集中，将提出的三种改进方法同其他已有的10种方法在Backward-Transfer、Forward-Transfer和Average-Accuracy三大指标进行对比实验，结果显示E-Tuning方法相对于Hot-Tuning方法在Average-Accuracy指标高出近2个百分点，HA-LWF方法相对于LWF方法在三个指标上分别高出近4、0.5和2个百分点，BD-LWF方法分别高出近4、1和1.5个百分点。对新方法使用一倍多无标签数据进行无监督学习，在Backward-Transfer指标和Average-Accuracy指标提高近1个百分点。所提出的三大创新点在终身学习任务上相比于原模型而言是有效的：(1)首次在终身学习研究中使用无标签数据方法；(2)首次在终身学习研究中使用双向软标签强化方法；(3)充分发挥软标签对旧任务的复习作用。与此同时，还研究并实验验证了在任务学习过程中，模型中的参数按照重要度依次分布在卷积共享层、全连接共享层和任务Top独立层。 收起