清华大学创新研究：基于任务关系嵌入的超网络框架攻克持续学习遗忘难题

清华大学科研团队利用「任务关系」概念，成功破解了AI系统学完即忘的长期挑战。他们所提出的H-embedding引导超网络方法，首先计算新旧任务之间的相关性，再由超网络根据关系生成任务专属的模型参数。这种低维紧凑的向量可即插即用，在ImageNet-R等多项测试中将遗忘率进一步降低了10%。

持续学习（Continual Learning, CL）是人工智能迈向持久智能的核心能力。其主要目标是使模型能够在连续的任务序列中不断吸收新知，同时维持乃至提升对既往任务的性能。

然而，在当前主流的深度学习框架下，模型在学习新任务时常会严重遗忘旧有知识，即发生「灾难性遗忘」。这已成为限制持续学习大规模实际应用的关键障碍。

现有的CL方法大致归为三类：基于数据回放的重放法、基于参数约束的正则化法，以及基于模型结构的动态扩展法。尽管它们都在一定程度上缓解了遗忘，但一个根本性问题长期被忽略：

大多数CL方法仍从「模型中心」视角出发，而缺乏对任务间内在关联的建模与利用。

实际上，任务关系直接决定了知识迁移的方向与效率：哪些任务协同度高，哪些任务冲突大，哪些旧任务有助于新任务，哪些新任务可能损害已有能力——这些信息对于实现稳健的持续学习至关重要。

为填补这一长期存在的空白，清华大学的研究人员提出了一种「任务关系中心」的新型CL方案：H-embedding引导的超网络持续学习框架。

论文链接：https://arxiv.org/pdf/2502.11609

其核心理念是：在每次学习新任务前，通过信息论度量构建可迁移性感知的任务嵌入H-embedding，并利用超网络根据该嵌入生成任务专属参数，从而显式地在CL过程中编码任务关系。

方法动机：任务关系应成为CL的显式指导信息

在典型的CL设置中，模型往往只能在训练新任务后，基于参数变化进行「事后分析」，以判断任务间的干扰与迁移情况。

这种模式天然存在三大局限：

1. 缺乏任务级先验，模型无法在训练开始前规划迁移路径

模型既不清楚哪些旧任务对当前任务有助益，也不明确哪些知识需要重点保护。

2. 前向迁移与后向迁移难以同时优化

传统方法常顾此失彼：强正则化虽减少遗忘，却削弱新任务学习能力；强学习新任务虽提升前向迁移，但导致显著遗忘。

3. 随着任务数量增长，干扰累积，方法扩展性受限

任务序列越长，模型「盲目学习」的代价越高。

因此，一个自然的问题是：

「如果持续学习能够从任务关系出发构建学习路径，而非单纯从模型参数出发，是否能同步提升前向与后向迁移能力？」

在此背景下，研究团队引入了「任务关系中心」的设计思路，将任务可迁移性转化为可学习的先验信息，并直接驱动参数生成与知识保护策略。

核心贡献

提出H-embedding：基于H-score的任务可迁移性嵌入

可迁移性和任务嵌入的图解关系

团队采用信息论指标H-score来表征从任一旧任务到当前任务的迁移价值。H-score能够反映源任务特征对目标任务的有效性，是一种在实际场景中可高效计算的可迁移性度量。

随后，通过层次分析法（AHP）对这些迁移性数值进行归一化，使其与嵌入空间中的距离度量保持一致，再经过距离一致性优化得到任务的低维H-embedding。

这种表示具备三个重要特性：

• 先验可用：任务训练开始前即可获得
• 低维紧凑：便于长期存储与快速调用
• 与迁移性对齐：嵌入之间的距离反映任务间关系

这使得持续学习拥有了「可显式管理的任务关系结构」。

提出由H-embedding驱动的超网络参数生成框架

该框架使用超网络根据任务嵌入，为每个任务生成其专属参数。更重要的是，模型内部引入了一个轻量级解码器，通过重构 H-embedding 的方式迫使超网络显式地吸收任务关系。

训练过程包含三类关键损失：

• 任务损失：学习当前任务
• 持续学习正则项：减轻对旧知识的覆盖
• 嵌入引导损失：确保任务关系参与参数生成

这一设计使得模型能够：针对任务差异自动调节生成参数、在任务相关时进行正向迁移、在任务冲突时强化知识保护，从而在结构层面解决了 CL 的核心矛盾。

高可用性：可端到端训练，兼容多种参数高效微调技术

该框架具有极强的工程可落地性：

• 每个任务仅需保存一个embedding（极低存储成本）
• 支持CNN、ViT等主流架构
• 可与LoRA等参数高效微调技术结合并部署在多种预训练模型上

实验结果：在多项CL基准上全面领先

研究团队在多个主流持续学习基准上进行了广泛评估，包括CIFAR-100、ImageNet-R和DomainNet，涵盖了不同模型架构（如ResNet、Vision Transformer）和学习设置（如全模型训练、参数高效微调）。主要结果如下：

结果显示：

1. FAA全面领先现有方法，在所有数据集上均取得更优的最终性能。

2. 强正向与后向迁移能力同时出现。DAA与FAA差值极小，表明新任务学习对旧任务几乎无干扰，同时能从旧任务中有效吸收知识。

3. 算法对任务数量增长具有更高鲁棒性。在5→10→20个任务的扩展实验中，该方法的性能增益持续放大，显示出很好的扩展性。并且在靠后的任务中，引入embedding guidance带来了显著的收敛加速。

4. 消融实验验证组件有效性。去除H-embedding引导或AHP归一化均会出现明显性能下降。

结论与展望

研究人员提出了一种「任务关系中心」的持续学习范式，通过在训练前引入信息论驱动的任务关系嵌入 H-embedding，使得模型能够：

• 预测迁移性而非被动适应
• 在学习过程中有意识地管理任务间的知识交互
• 大幅减少遗忘、提升迁移效率

H-embedding引导的超网络框架在多个基准上取得领先表现，展示了任务关系建模在持续学习中的关键作用。

未来，任务结构感知的方法有望拓展至跨模态增量学习、大模型的长期任务适配、任务自组织（task discovery）与自动化学习顺序规划等更复杂场景。为构建更具扩展性、可生长的通用 AI 体系提供新的方向。

参考资料：

https://arxiv.org/pdf/2502.11609

https://yangli-feasibility.com/home/group.html