SciToolAgent-Evo让科学工具代理在缺工具时继续前进

原论文：SciToolAgent-Evo: An Ontology-Aware Self-Evolving Agent for Open-World Scientific Tool Acquisition

论文不是在教代理“从更多工具里挑一个”。它讨论的是更麻烦的情况：任务需要的能力，已知工具库里根本没有。SciToolAgent-Evo 的做法是把这次探索留下来，变成下次能直接复用的记忆。下面按一次完整决策来读它，而不是只记几个模块名。

先问“缺哪种能力”，而不是在所有工具里盲找

假设任务是“筛出同时满足几个化学约束的分子”。它通常不是只差一个“化学工具”，而是依次需要计算描述符、转换格式、检查约束等能力。论文让代理先把任务拆成多个简短的能力请求：例如“我现在需要一个能把分子格式 A 转成格式 B 的工具”。

对每个请求，系统先在已知工具图 $G_K$ 中找候选，再判断候选到底够不够用。够用，就选已知工具；不够用，才去看原先不在图里的未知工具。图中真正变化的不是任务，而是每一个能力请求的去向。这样比拿整段任务描述去巨大工具库里匹配，更容易发现“这里确实有能力缺口”。原文把这一步称为 active tool acquisition（主动获取工具），见第 4.3 节与附录 E 第 16–28 行。

它从“失败 vs. 成功”的差别里提炼经验

“积累”不是把每次执行过程原样存档。作者先让同一个训练任务跑一条基线轨迹；如果失败，再用不同随机性补跑多条探索轨迹。只要其中有一条成功，就把基线失败轨迹 和探索成功轨迹 放在一起比较。

比较的重点是两条路第一次发生关键分歧的地方：基线路径漏了哪一步、选错了什么类型的工具，成功路径又补上了什么。系统据此写出两类短经验：一类只对某个科学领域有用，另一类更通用；重复度太高的条目会被丢弃。若基线一开始就成功，则直接从成功链条抽取一个“技能”——可复用的任务级工作流。也就是说，技能保存“这类题通常怎么做”，经验保存“遇到这种局部情况该怎么选”。这正是原文第 4.2 节的 contrastive rollouts、critique 和 distillation，而不是把成功步骤简单压缩成日志。

公式里的 POMDP：代理每一步都只看得到局部线索

POMDP 可以先不把它当成一串数学课术语。它要表达的是：代理在规划工具链时，看不见完整的世界。它只看得到目前检索出的候选工具和少量未知工具属性，然后选下一步；执行后再得到结果。因为工具是否真的适用、未知工具的完整能力，都要在过程里逐渐暴露，所以这不是“一眼看完所有选项后做一次决定”。

原文用一条轨迹 $\xi=[(s_0,a_0,o_0),\ldots,(s_T,a_T,o_T)]$ 记录这个循环。可以这样读：$s_t$ 是“此刻已经知道什么、工具链走到哪”；$o_t$ 是“这一轮实际看到的候选与执行反馈”；$a_t$ 是“下一步选已知工具，还是探索未知工具”。循环结束后执行工具链 $\hat{\tau}$，得到答案 $\hat y$。符号 $\mathcal M=(G_K,\mathcal K,\mathcal E)$ 则是会留下来的三部分记忆：已知工具图、技能库、经验池。它们不是同一种东西，也不是每一步临时上下文。对应原文第 4.1 节式 (1)–(3) 及定义 1–4。

Bandit Gate 的四个数：判断“已知方案可靠吗”

原图把 Bandit Gate 画成了一个看起来很智能的中转站，但缺少它真正判断的对象。它不是对整份任务“开一次闸门”，而是对每一个能力请求 $r_j$，读入四个线索组成的向量 $\mathbf{x}_j=[f_j,m_j,s_j,p_j]^\top$。

其中，$f_j$ 问“最好的已知候选能否满足请求”；$m_j$ 问“第一名比第二名强多少”——差距很小，说明排名不踏实；$s_j$ 问“候选和请求在工具本体信息上是否匹配”，例如输入、输出和适用场景；$p_j$ 则是过去在类似情形下探索未知工具成功的先验。前 3 项主要在检验“已知工具是否真靠谱”，最后一项提醒系统“探索在这里以前是否有希望”。

式 (6) 看起来长，但工作只有一个：分别给“复用已知工具”和“探索未知工具”打分，选分高的动作。前半项 $\hat\theta_a^\top\mathbf{x}_j$ 是根据历史数据估计的平均回报；后半项 $\alpha\sqrt{\mathbf{x}_j^\top A_a^{-1}\mathbf{x}_j}$ 是“不确定性加分”。某种选择的历史数据越少、越不确定，它越会得到一次尝试机会；$\alpha$ 越大，系统越愿意探索。它不是凭空保证探索更好，而是在可靠性不足时，避免永远困在已知工具里。对应原文第 4.1 节定义 4、式 (6)，以及第 4.3 节。

一次成功的探索，会把“未知”变成以后可复用的已知

如果未知工具这次确实帮任务完成，系统不会只记下“它成功过”。它会根据交互历史补全这个工具的 ontology：功能、输入输出、类别，以及适用对象和科学场景；随后把它迁入已知工具图。同时，这条完成的工具链会再被抽成新的技能。

因此，下一次相似任务不一定还要探索。它可能直接检索到这条技能，或者在已知图中发现刚迁入的工具。论文的“自我演化”具体指这条闭环：执行成功 → 补全新工具的结构化信息 → 加入已知图 → 提炼可复用技能，而不是更新大模型参数。原文第 4.3 节 Knowledge Update 与附录 E 第 30–41 行明确写了这一点。

实验支持的是“组合有效”，不是每个模块都单独创造了全部提升

在 OpenSciToolBench 上，完整系统的总体准确率是 67.22%。去掉“工具迁移”后降到 51.53%，去掉“知识积累”后降到 52.35%；只去掉技能或经验，降幅较小，分别为 3.23 和 1.57 个百分点。这和上面的闭环相呼应：把新工具迁入已知图、以及从过程里积累知识，是作者实验中最关键的两块。

不过这张消融表证明的是这些模块在作者的设定里彼此配合重要，不能推出某一个模块在所有科学工作流、所有模型或真实多模态实验室环境里都有效。论文也承认评测是纯文本场景，尚未覆盖真实工作流里的多模态工具适配。数据见原文表 3、5.5 节与附录 A。

研究附录

原文定位

• 核心问题与两阶段框架：第 1 节、第 4 节、图 2。
• 记忆的定义、POMDP 与四维向量：第 4.1 节，式 (1)–(3)、定义 1–4。
• 对比式 rollout 和知识蒸馏：第 4.2 节。
• 主动请求、候选检索、LinUCB gate：第 4.3 节，式 (4)–(6)。
• 成功后的迁移与更新：第 4.3 节 Knowledge Update，附录 E 算法 1。
• 消融结果与限制：表 3、5.5 节、附录 A。

结论核查

本文可以支持的中心结论：在作者构建的文本型科学工具基准中，把知识积累、主动请求、未知工具探索和迁移结合起来，比固定已知工具图的对照方法表现更好。

本文不能证明的结论：它没有证明代理已经能可靠地自主使用任意未来科学工具，也没有证明这一套机制已经适用于真实、多模态、带安全约束的实验室工作流。