「微调已死」？ACE 框架重塑 AI 上下文自适应

是什么，让一位 AI 自动化架构师发出了「微调已死」的感慨？

一篇来自斯坦福大学、SambaNova、UC 伯克利的研究论文，掀起了一场广泛讨论。他们提出了一种名为Agentic Context Engineering（智能体 / 主动式上下文工程）的技术，使语言模型无需微调也能实现自我提升！

• 论文标题：Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models
• 论文地址：https://www.arxiv.org/abs/2510.04618

从上下文适应说起

现今的基于大型语言模型（LLM）的 AI 系统，愈发依赖上下文自适应（context adaptation）。

具体而言，上下文自适应指的是在模型训练结束后，通过引入更明确的指令、结构化的推理步骤或领域特定的输入格式来提升模型性能。这显然不同于直接修改模型参数的微调方法。

上下文构成了众多 AI 系统组件的基础，包括引导下游任务的系统提示词、承载既往事实与经验的记忆机制，以及用于减少幻觉、补充知识的事实证据。

与参数更新相比，通过上下文进行适应具有若干核心优势：更具可解释性、能够迅速整合新知识，且可在多个模型或模块间共享。此外，长上下文语言模型的进展及高效推理机制（如 KV 缓存复用）也使基于上下文的方法更加现实可行。因此，上下文自适应正逐步成为构建高性能、可扩展且具备自我改进能力的 AI 系统的核心范式。

然而，现有上下文自适应方法仍面临两大局限：

首先是「简约偏置」（brevity bias）：许多提示词优化器倾向于追求简洁、普适的指令，而忽视了知识的充分积累。例如，GEPA 将简短视为优点，但这种抽象化可能遗漏实践中至关重要的领域启发式规则、工具使用指南或常见错误模式。此类优化目标虽能在部分指标上奏效，却常无法捕捉智能体或知识密集型应用所需的细节策略。

其次是「上下文塌缩」（context collapse）：依赖 LLM 对整体提示进行重写的方式，往往会随着时间推移退化为更短、更模糊的摘要，从而导致性能骤降（见图 2）。在交互式智能体、领域特定编程等任务中，系统性能依赖于保留细致的任务相关知识，而非将其压缩。

随着智能体与知识密集型推理对可靠性的要求不断提高，近期研究逐渐转向构建「信息饱和」的上下文，借助长上下文 LLM 的进展来容纳更多潜在有用信息。

但斯坦福大学、SambaNova、UC 伯克利联合团队认为：上下文不应是简短的摘要，而应成为全面、动态演化的「作战手册（playbooks）」—— 内容详实、包容且富含领域洞见。与人类不同，LLM 在提供长而细致的上下文时表现更好，并能自主提炼关键信息。因此，与其压缩领域启发与策略，不如将其保留，让模型在推理时自行决定哪些信息最为重要。

主动式上下文工程（ACE）

基于此见解，主动式上下文工程（ACE）应运而生。

ACE 框架由斯坦福大学、SambaNova 和 UC 伯克利联合团队提出，旨在实现可扩展且高效的上下文自适应。该框架适用于离线（如系统提示优化）与在线（如测试时记忆自适应）场景。

与以往将知识蒸馏为简短摘要或静态指令的方法不同，ACE 是将上下文视为不断演化的作战手册，能够持续积累、蒸馏与组织策略。

基于 Dynamic Cheatsheet 的 agentic 架构，ACE 引入三种协作角色：

• 生成器（Generator）：生成推理轨迹；
• 反思器（Reflector）：从成功与错误中提炼洞见；
• 整编器（Curator）：整合这些洞见进结构化的上下文更新。

这一设计模仿了人类的学习方式——「实验–反思–整合」，同时避免了单一模型承担所有职能的瓶颈。

增量式 Delta 更新

ACE 的核心设计理念是：将上下文表示为结构化的条目集合（bullets），而非单一的整体提示词。

• 元数据（metadata）：唯一标识符及「有用 / 有害」计数器；
• 内容（content）：可复用策略、领域概念或常见错误模式。