面对相似任务时,让 agent 复用彼此积累的经验,是一种自然的思路。遗憾的是,并不存在一种在所有场景下都好用的经验保留方式,也无法提前知道某段经验会对哪些未来问题有帮助。
对于持续运行的 agent 系统而言,过往轨迹确实能减少后续任务的重复试错,可一旦不同任务的经验混在一起,也可能造成干扰;如果把所有历史轨迹都统一保留下来,细节确实最完整,却又会增加上下文和 API 成本;如果把所有经验都压缩成同一种记忆形式,又可能丢掉只对特定任务有用的信息。
为此,Meta FAIR 团队提出了“路由式持续学习”(Routed Continual Learning,Routed CL)。该架构会把历史轨迹归入不同的簇(cluster),并为每个簇单独维护一套记忆。每次运行前,基于 LLM 的路由器会依据当前问题、可用记忆系统的说明和已有簇的摘要,先判断这个任务和哪一类历史经验最接近,最后决定是复用某个簇,还是创建一个新簇。

论文链接:https://arxiv.org/abs/2610.38796
这套架构有两个核心特性。其一是透明部署:架构可以直接接入现有 agent系统,不要求各 agent 彼此协同,也无需改变原有运行方式;其二是路由:Routed CL 不仅决定哪些任务应该共享经验,还要从固定的记忆系统库中选择经验的保存方式。有些任务适合保留原始轨迹,有些任务更适合提炼可复用的推理策略,另一些任务则可能需要结构化的数值状态。因此,所有任务不必使用同一种记忆表示。

图|路由式持续学习的概览
他们还设计了上下文记忆适配器(Context Memory Adapter),负责连接记忆系统和 agent。它会在任务开始前把对应簇中的记忆写入 agent 的上下文,并在任务完成后用当前轨迹更新该簇。
他们在一个混合了多种任务的任务流上评估了这套架构。评测包含六个 CL-Bench 任务中的 301 个实例,以及 τ³-Bench 中 97 个银行业务实例,每个实例是一场多轮客服对话。不同来源的实例被交错排列,系统需要在没有显式实例标签的情况下处理它们。实验覆盖 Gemini 3.7 Flash、GPT-5.6 Sol、Opus 4.7 和 Opus 5 四个语言模型,每个模型都重复运行 5 次,以减少随机性的影响。

图|五种记忆系统,按其保留状态的形式分组
结果显示,Routed CL 相比只使用单一全局上下文学习历史的 Global ICL,归一化奖励提升幅度相当于最大可达归一化奖励的15% 至 30%,且估算 API 成本降低 65% 至 72%。它的平均归一化奖励也高于仅 ICL 聚类的方案。

图|五次配对执行的平均归一化奖励与平均估算 API 成本的关系
在四个模型上,Routed CL 的平均归一化奖励均高于 Stateless ICL、Global ICL 与 Routed ICL 三种对照方案。据此,他们认为,持续学习的关键并不是记得越多越好,而是要同时做出两个判断:经验以什么形式保留,以及哪些经验值得放在一起复用。

图|五次配对完整运行下的归一化奖励
结果还显示,Global ICL 在不同评测设置中的表现差异很大。在原始 CL-Bench 中,各类任务是分别运行的,此时,Stateless ICL 曾是表现最强的方案之一;但当多个任务被交错到同一条流中时,Global ICL 相比无状态条件的平均归一化奖励只增加 0.015。这说明,全局记忆真正的问题并不只是容量有限,而是不同任务的经验会彼此干扰。
当然,这并不意味着 Routed CL 已经解决了持续学习的全部问题。他们承认,当前实验按顺序处理任务,每次 rollout 使用一个语言模型作为执行者(actor),并同时承担记忆系统中所有由模型中介的角色。虽然系统在设计上已经考虑了不同记忆簇之间的隔离和更新一致性,但尚未评估并发更新、读取到旧版本状态,以及不同模型之间复用同一簇状态的情况。
他们同时也指出,未来一个任务或许可以同时调用多个记忆簇;一次新的运行轨迹,也可以同时更新多个簇,甚至以不同形式写入记忆。
更多技术细节,详见原论文。

