RSI 火了,但自进化也会过拟合:Google 等提出 RRSI,给自进化施加正则化
1 小时前

在Agent领域,递归式自我改进(RSI)已找到现实应用路径:Agent无需修改模型权重,而是通过迭代调整Prompt、工具调用规则、记忆管理等外围Harness组件,形成自我改进的闭环。然而,传统无约束的Harness进化过程存在三大问题:反复使用同一组任务迭代优化,易导致基准拟合、追逐评估噪声和复杂度累积。这些问题使得进化集分数虽持续上涨,但在未见过的OOD任务上表现不佳,收益大幅缩水,同时还会推高推理成本。谷歌提出的正则化递归自我改进框架(RRSI)不限制Agent的自我修改空间,而是从提案端限制单轮修改的复杂度,并留存完整进化历史以引导探索;从筛选端严格验证修改的泛化性和性价比,过滤无效改动。实验表明,RRSI在进化集分数略低于无约束进化的情况下,在多类未参与进化的OOD基准上表现更优,同时大幅降低了推理Token的消耗。在30轮进化中,仅约三分之一的改动被验证有效并留存。该研究指出,RSI的核心不在于追求无限制的自我修改,而在于实现可泛化的自我改进,使Agent能够筛选出真正具备普适性的有效进步。

简体中文 English