Agent 的环境合成,顺序可能真的反了:ToolSpace 从真实工具轨迹长出长程任务
一个 Agent 在合成环境里表现出色,接上真实 MCP 服务却频频翻车:参数名似是而非,查完列表不知道怎样拿详情,邮箱、日历和表格稍一串联就断链。问题未必出在模型不会推理,也可能是训练环境把因果顺序弄反了——先凭空造数据库,再让工具迁就数据库,再拼出一条看似合理、实际执行不了的任务链。
ToolSpace 把顺序倒了过来:先收集真实工具调用轨迹,从相邻调用里挖数据、状态和重试依赖;再把工具聚成环境,按需补数据库;沿着有执行证据的工具图随机游走,走通之后才反写自然语言任务。这个想法不花哨,但很对工程胃口。
核心摘要:ToolSpace 针对合成工具接口失真、工具编排缺少执行依据、任务困在单环境里的三个痛点,提出工具先行的环境合成流程。它用确定性规则构建工具组合图,以状态感知游走、回滚和重放验证生成跨环境长程任务。35B 模型经 SFT 后,七项基准均分从 23.0 到 41.0,追加 RL 后到 43.2;两个 Pro 基准让七个前沿模型最多下降 38.2 个点。我的判断是,这篇论文最值钱的不是又一个 RL trick,而是把“真实执行关系”放到了数据合成的上游。
论文信息
- 标题:ToolSpace: Scaling Tool-Centric Environment Synthesis for Long-Horizon Agents
- 作者:Guanting Dong, Zhichao Sun, Xinyu Yang, Rui Wang, Xin Deng, Jiajie Jin, Zhixiong Yang, Junhao Huang, Han Han, Mingyu Ma, Xiaotao Wang, Yuyang Hu, Xiaoshuai Song, Xiaoxi Li, Jiejun Tan, Zhecan Wang, Shihan Dou, Honglin Guo, Zhiheng Xi, Tao Gui, Tao Ji, Qi Zhang, Yutao Zhu, Ji-Rong Wen, Zhicheng Dou
- 署名单位:中国人民大学、复旦大学、上海交通大学(按论文首页)
- 提交时间:2026 年 11 月 3 日,v1;页面备注为 Working in progress
- 论文:https://arxiv.org/abs/2611.05036
- 项目页:https://toolspace-agent.github.io/
- 代码:https://github.com/dongguanting/ToolSpace
- 模型集合:https://huggingface.co/collections/dongguanting/toolspace
1. 先造数据库,为什么会把 Agent 带偏
假设要合成一个“把销售线索整理进表格,再通知团队”的任务。数据中心路线通常先造一张 CRM 数据库,再生成查询、写入、消息工具,随后让 LLM 编用户请求。每一步都讲得通,连起来却可能有三个坑。
接口是虚构的。 工具由数据库和主题反推,参数逻辑未必等于线上服务。模型学到的是沙箱协议,不一定是真实协议。
连边是猜出来的。 随机连接或让 LLM 判断“这两个工具能不能一起用”,只能得到语义上的 plausible,得不到运行时的 executable。搜索之后接文件写入很合理,但具体字段能否对上、前置状态是否存在,不靠执行很难知道。
环境之间没有路。 每个环境各自带一套数据库、工具和规则,跨环境参数来源与状态前置条件没有被表示,长程任务只能靠更长的文本硬凑。
ToolSpace 对应的回答很直接:别把数据库当起点,把真实执行中的工具关系当起点。
| 路线 | 合成起点 | 工具关系来源 | 状态与反馈 | 主要短板 |
|---|---|---|---|---|
| LLM 模拟环境,如 Simia、GenEnv | 工具规范、历史交互或课程信号 | 由模型生成和适配 | LLM 模拟返回,成本低 | 长轨迹中的状态一致性难保证 |
| 数据中心可执行环境,如 AWM | 场景与数据库 | 从已造环境派生 | 代码和数据库驱动,可验证 | 工具接口与组合关系受合成起点约束 |
| ToolSpace | 真实执行轨迹 | 相邻调用中的数据、状态、重试证据 | 数据库、快照、缓存返回与重放验证结合 | 依赖轨迹覆盖,缓存也会带来时效性问题 |
这里的外部坐标很清楚。Simia 的摘要明确强调无需真实 testbed 或 API,由 LLM 模拟环境反馈;GenEnv 更关注模拟器与 Agent 的难度协同进化;Agent World Model 则构建了 1,000 个代码驱动、数据库支撑的可执行环境。ToolSpace 没有取代这些路线,它改动的是工具组合关系从哪里来。

图 1:左上面板把 ToolSpace 放在 Agent 与 MCP 服务之间,强调工具是能力增长的原子单元;右上用表格、文件、邮件和消息工具展示一条跨环境遍历。下方分别汇总七项基准的泛化结果和两个 Pro 基准的分数变化。注意,雷达图便于看任务轮廓,不适合据此推断所有模型都接受完全相同的评分来源。
2. ToolSpace:先找到能走通的路,再写题目
整套流程可以压缩成一句话:从轨迹建图,在图上执行,把成功执行链反编译成任务。

图 2:上半部分从真实执行证据挖三类依赖,聚成跨环境工具图,再按操作型、状态查询型、无状态工具选择不同落地方式。下半部分做状态感知随机游走,失败时回滚重采;成功链被反写为不含工具名和调用顺序的自然语言任务,同时生成断言脚本,从初始快照重放全部通过后才保留。
2.1 轨迹不是越多越好,执行来源要分层
作者汇集了超过 200,000 条 Agent–工具交互轨迹,来源分两类:一类是在真实 MCP 服务上重新执行、且工具定义与真实服务完全匹配的调用链;另一类来自开放 Agent 语料。
开放语料又按执行真实性分层。真实服务交互包括 Toucan-1.5M 和 ToolBench/ToolLLM,其中后者会剔除已不可用接口;真实工作区轨迹来自 SWE-agent 和 OpenHands,但排除 execute_bash 这类壳包装;合成环境轨迹只保留工具名和 schema 能匹配真实工具的调用。
这个分层挺务实。它没有把所有“轨迹文本”都当执行证据,而是试图保留一条可追溯链:工具 \(f_t\)、输入 \(x_t\)、返回 \(o_t\),并保持原始顺序。
不过,论文没有给出三层数据各自的最终占比,也没有报告确定性抽边规则的人工 precision/recall 审计。超过 200,000 条是原料规模,不等于每条都贡献了同等可靠的边。
2.2 三类边,把“能组合”写成可检查的关系
图节点不是简单的工具名,而是工具名、输入输出 schema 与规范化参数配置的组合。同一个工具带不同参数配置,可以成为不同节点,因为下游依赖可能完全不同。
相邻调用之间只抽三类边:
- 数据依赖:后一个调用的输入真的取自前一个返回,并且字段类型匹配。常量巧合不算,例如
limit=10不能随意制造连边。 - 状态依赖:前一个调用修改了某个环境对象,后一个读取或继续修改同一对象。
- 重试依赖:前一个调用报错,轨迹切换到另一工具并成功。错误返回和成功重试都保留,而不是把失败样本一扫而空。
边的权重来自真实转移频率:
其中 \(N_{ij}\) 是 \(v_j\) 紧跟 \(v_i\) 出现的次数,\(N_i\) 是节点 \(v_i\) 的总出现次数。低频边会被剪掉。这一步很朴素,却比“让 LLM 看两个工具描述,再猜它们能否相连”多了一层执行约束。
最终图包含 77,760 个调用模式节点,来自 2,042 个规范化工具;平均出度 2.3,最大出度 56。数据、状态、重试边分别占 69%、25%、6%。所以工具组合主要仍由中间结果传递驱动,但少占比的状态边和重试边并不等于不重要,后面的消融会把这一点照得很清楚。

图 4:环境覆盖 Gmail、Google Sheets、Slack、Google Drive、Salesforce、Airtable 等类型;Communication & General Utilities 占 27.4%。804 个环境平均匹配 10.86 个工具。下方显示三类依赖比例,以及非操作工具、非操作环境分别占 77.8% 和 77.5%。这里的“非操作”指不修改持久状态,不能直接等同于全部无状态。
2.3 804 个环境,不是每个都值得造数据库
工具图的加权无向投影按连接密度聚类,再结合真实 MCP 服务配置,得到 804 个环境。落地分三种情况:
| 环境类型 | 数据从哪里来 | 为什么这样处理 |
|---|---|---|
| 操作型环境 | 从聚类主题出发,收集并对齐网页数据,迭代扩展数据库,再跑单元测试和状态转移检查 | 创建、修改、删除会改变持久状态,必须有可执行载体 |
| 状态查询环境 | 用真实查询返回作为锚点,恢复相关初始快照 \(s_0\) | 查询结果已经提供部分世界状态,无需从零造全库 |
| 无状态环境 | 对匹配调用复用轨迹中的缓存返回 | 搜索、固定索引查询等不需要环境专属持久数据库 |
804 个环境里,181 个是操作型,623 个是非操作型;2,042 个工具里,453 个会修改状态。这个分布解释了按需落地为何能省钱:大多数环境没必要配一套完整合成数据库。
说实话,我很喜欢这种“不造就不造”的克制。但缓存返回不是真实在线服务本身,它能保证可重放,却不能覆盖 API 漂移、实时数据变化、限流和新的故障模式。把训练环境称为“真实执行证据驱动的离线环境”,比笼统称为“真实环境”更准确。
2.4 随机游走真正关键的不是随机,而是状态许可
给定目标链长 \(L\) 和环境数 \(K\),游走从绑定数据库与初始快照 \(s_0\) 的节点开始。候选邻居必须满足依赖可达、状态前置条件和参数来源约束,再按边权采样:
分母只遍历当前状态下可接受的邻居 \(\mathcal{A}(v_t,s_t)\)。高频真实组合更容易被延伸,但“历史上常见”仍不等于“此刻能执行”,所以每一步都真的运行工具并更新快照。
执行失败,或执行后的状态与所走边的数据/状态关系不符,就恢复到 \(s_{t-1}\),换一个候选。反复回滚仍走不通,整条链丢弃。达到 \(L\) 和 \(K\) 后,还要从 \(s_0\) 重放一遍。

图 3:演示界面中的链达到 28 次工具调用和 6 个目标环境,经历 2 次回滚,并通过重放验证。右侧列出候选后继及概率,例如两个数据依赖候选各为 25.7%,两个状态依赖候选各为 16.2%。图中还能看到 Sheets、Asana、Slack、HubSpot、Calendar、Notion 等环境被串入同一任务。
2.5 先走通,再让 LLM 反写任务
很多数据合成流程先写用户请求,再努力让执行轨迹满足请求。ToolSpace 反过来:LLM 根据已经成功执行的工具链和状态变化写自然语言目标 \(q\),但 \(q\) 不包含工具名,也不暴露调用顺序。
验证器由三部分组成:V_state 检查最终状态,V_trace 检查关键中间快照,V_out 检查返回结果中必须出现的字段。只有原工具链从初始快照重放后通过全部断言,样本才进入数据集。随后再生成教师轨迹,并用同一验证器筛选。
这套设计把 LLM 限制在它更擅长的位置——把执行链翻译成自然意图,而不是凭空决定世界怎样运转。
3. 数据有多大,训练怎么做
ToolSpace 共合成 34,376 条 SFT 样本和 653 条 RL 样本。其中至少有 5 次工具调用的轨迹有 21,385 条,这组轨迹平均含 18.86 次调用、2.29 个环境,66.2% 涉及至少两个环境;最大调用数 209,最大环境数 22。平均轨迹长度 30,466 tokens,最长 855,386 tokens。
RL 候选不是随意挑的。作者用 35B 模型做 Pass@16 筛选,只留下 16 次 rollout 中恰有 1 或 2 次正确的任务,把过易和当前几乎不可解的样本都挡在外面。Kimi K3 同时负责教师轨迹生成和反向任务合成。
训练配置也写得比较具体:
- SFT 使用 Qwen3-8B、Qwen3.6-35B-A3B、GLM-5.2-744B-A40B 三个主干,均训练 1 个 epoch;8B/35B 用 16 张 NVIDIA GPU,744B 用 256 张。
- RL 使用 GRPO,训练 48 步,学习率 \(2\times10^{-6}\),总 batch size 256,rollout group size 16;裁剪边界为 0.8 和 1.28,采用全异步训练,最大策略陈旧度为 4。
- 奖励来自执行验证的 0/1 结果。所有 ToolSpace 结果取三次独立运行平均;任务级和轨迹级都去重、去污染,任务、工具调用序列或初始状态与测试集重叠的原料会被排除。
所以,RL 在这里是放大器,不是主角。35B 上 SFT 贡献 18.0 个点的均分提升,RL 再贡献 2.2 个点,贡献归属很直观。
4. 实验:提升很强,但要看清比较口径
七项评估覆盖 AutomationBench、SkillsBench、JobBench、\(\tau^3\)-Bench Banking、BFCL V4、Harvey LAB 和 OfficeQA Pro。下面摘录主干与代表性对照,数值均来自论文 Table 1。
| 模型 | Automation | Skills | Job | \(\tau^3\) Banking | BFCL V4 | Harvey LAB | OfficeQA Pro | 均分 |
|---|---|---|---|---|---|---|---|---|
| Qwen3-8B | 0.0 | 0.1 | 0.1 | 4.1 | 42.8 | 0.0 | 3.0 | 7.2 |
| Agent-Reflex-8B | 0.5 | 3.3 | 0.8 | 3.1 | 51.3 | 0.0 | 5.3 | 9.2 |
| ToolSpace-8B | 32.3 | 3.9 | 13.1 | 10.3 | 65.3 | 0.0 | 12.0 | 19.6 |
| ToolSpace-8B + Agent RL | 34.3 | 4.1 | 15.5 | 11.3 | 67.5 | 0.0 | 12.0 | 20.7 |
| Qwen3.6-35B-A3B | 8.2 | 30.7 | 6.4 | 9.3 | 60.0 | 0.8 | 45.9 | 23.0 |
| ToolSpace-35B-A3B | 45.8 | 42.4 | 40.0 | 34.0 | 74.3 | 1.7 | 48.9 | 41.0 |
| ToolSpace-35B-A3B + Agent RL | 45.8 | 45.3 | 40.0 | 42.3 | 74.8 | 2.5 | 51.9 | 43.2 |
| GLM 5.2 | 29.3 | 56.7 | 43.4 | 37.1 | 75.6 | 13.3 | 56.9 | 44.6 |
| ToolSpace-744B-A40B | 54.7 | 67.8 | 57.5 | 43.3 | 78.4 | 27.5 | 67.1 | 56.6 |
| GLM 5.3 | 52.5 | 63.3 | 58.2 | 40.2 | 74.1 | 22.5 | 65.8 | 53.8 |
| Qwen 3.8 Max | 49.7 | 66.7 | 52.7 | 55.2 | 66.8 | 24.2 | 66.2 | 54.5 |
| Claude Opus 5 | 45.6 | 63.7 | 68.0 | 48.7 | 80.6 | 22.7 | 67.2 | 56.6 |
| GPT 5.6 Sol | 47.1 | 62.5 | 45.4 | 46.9 | 68.8 | 5.0 | 66.4 | 48.9 |
几个数字确实能打。35B 的 AutomationBench 从 8.2 到 45.8,增加 37.6 个点;RL 把 \(\tau^3\)-Bench Banking 从 34.0 推到 42.3。744B 版本均分 56.6,追平 Claude Opus 5,也超过教师 Kimi K3 的 49.7。
但“均分追平”不是“各项追平”。ToolSpace-744B 的 JobBench 仍低于 Claude Opus 5 的 68.0,\(\tau^3\) Banking 也低 5.4 个点;它在 Harvey LAB 和 AutomationBench 上反超。看任务轮廓,比只看均分更有信息量。
还有一处口径不能略过:结果来源混合了公开榜单、厂商按官方协议报告和作者本地复现。ToolSpace 本地结果取三次平均,外部分数按发布值使用。论文对来源交代得坦诚,不过跨模型的细小差距不宜被解释成严格受控实验。
Pro 基准:难度确实涨了,主要是编排长度在涨
作者把同一管线锚定到 AutomationBench 和 \(\tau^3\)-Bench Banking,引入与原有工具存在数据或状态关系的外部工具,再提高目标 \(L\) 和 \(K\),得到 300 题的 AutomationBench Pro 与 98 题的 Banking Pro。
三名博士级专家独立审查任务和验证脚本,至少两人同意才保留;Fleiss’ \(\kappa=0.82\),观察一致率 93.1%。AutomationBench 的平均工具调用量从标准版各模型的 26.8–43.6 增至 Pro 的 56.3–60.6;Banking 从 23.1–32.2 增至 27.3–36.3。
| 前沿模型 | Automation 标准 | Automation Pro | 变化 | Banking 标准 | Banking Pro | 变化 |
|---|---|---|---|---|---|---|
| Claude Opus 5.5 | 59.2 | 26.3 | -32.9 | 51.5 | 35.7 | -15.8 |
| GPT 6.1 Sol | 50.8 | 24.7 | -26.1 | 46.4 | 29.6 | -16.8 |
| DeepSeek-V4.1-Flash-1017 | 60.5 | 22.3 | -38.2 | 51.3 | 36.9 | -14.4 |
| DeepSeek-V4.1-Flash | 54.8 | 20.0 | -34.8 | 50.3 | 35.7 | -14.6 |
| GLM 5.3 | 52.5 | 22.7 | -29.8 | 40.2 | 20.4 | -19.8 |
| Qwen 3.8 Max | 49.7 | 24.0 | -25.7 | 55.2 | 29.6 | -25.6 |
| GLM 5.2 | 29.3 | 18.0 | -11.3 | 37.1 | 12.2 | -24.9 |
我的第一反应是,这个难度扩展很实用;再看一眼,又会保留一点警惕。更多调用和更多环境几乎必然提高失败概率,却不自动等价于更丰富的语义推理。Pro 证明了现有模型在长链执行上脆弱,还不能单独证明它们缺少哪一种推理能力。若再配一套人工编写、与合成管线解耦的跨环境测试集,证据会更硬。
消融:真实状态边,比 LLM 的“看着合理”可靠
| 变体 | Automation | Skills | BFCL V4 | \(\tau^3\) Banking | OfficeQA Pro |
|---|---|---|---|---|---|
| Full ToolSpace | 45.8 | 42.4 | 74.3 | 34.0 | 48.9 |
| 去状态边 | 36.5 | 38.0 | 70.1 | 21.5 | 44.0 |
| 去数据边 | 38.2 | 37.5 | 62.4 | 29.8 | 40.6 |
| 去重试边 | 43.9 | 41.2 | 72.8 | 32.6 | 47.9 |
| 去回滚 | 41.0 | 39.8 | 71.5 | 30.1 | 46.3 |
| 均匀游走,不用边权 | 39.6 | 38.9 | 69.8 | 28.4 | 45.1 |
| 换成 LLM 判断边 | 37.8 | 36.4 | 66.9 | 26.7 | 43.5 |
这张表是全文最有说服力的一块。去状态边让 Banking 从 34.0 掉到 21.5,去数据边让 BFCL V4 从 74.3 掉到 62.4,两类结构边分工不同。把执行见证边换成 LLM 判断边后,五项全部下滑;AutomationBench 少 8.0 个点,Banking 少 7.3 个点。
重试边只占 6%,去掉后的损失也最小。这并不说明错误恢复没价值,更可能是当前评估对“失败后换工具”的覆盖有限。论文没有单独报告恢复任务上的成功率,因此不能由这张表推出重试机制不重要。
规模、相关性与成本:趋势在,边界也在
数据量从 \(1/16\) 增至全量时,AutomationBench 从 25.2 到 45.8,Banking 从 20.6 到 34.0;从 \(1/2\) 到全量,AutomationBench 仍增加 4.6 个点。环境规模实验中,AutomationBench 从 \(1/16\) 到 \(1/8\) 由 9.2 跳到 33.8;Banking 的最大跳变出现在全量环境,19.6 到 34.0。作者据此认为,新环境带来的新连边仍在提供收益。
坦率讲,“当前范围内未见平台期”更严谨,不能直接外推成无限 scaling。实验固定在 Qwen3.6-35B-A3B,中间比例也有波动,环境覆盖与数据多样性之间还没有完全解耦。
环境相关性实验用 BGE 嵌入排序,对比全量、最相关 50% 和随机 50%。在 AutomationBench、SkillsBench、BFCL V4、OfficeQA Pro 上,Top 与 Random 的差距至多 1.7 个点,作者用它反驳“只靠对齐评测环境刷分”。这个证据有参考价值,但 Banking 不在该结论的四项列表里,不能顺手推广到所有任务。
多样性分析从 EnvScaler、Agent-World、Agent-Reflex、ToolSpace 各抽 2,000 个问题,经 BGE-M3、t-SNE 和 DBSCAN 得到 25、31、34、42 个聚类。

图 8:ToolSpace 的 42 个聚类多于另外三种语料,嵌入点覆盖也较广。不过 t-SNE 图和 DBSCAN 聚类数受嵌入、距离尺度与聚类参数影响,它支持“文本任务覆盖更广”,不能证明每个新簇都对应更好的执行能力。
成本分析也只走了到代理指标这一步。在从 Agent-World 公共库随机抽取的 500 个环境中,Agent-World 合成 2,724 个文件,ToolSpace 只需 1,218 个,减少 55.3%;JSON 从 2,643 降到 1,205,CSV 从 42 降到 7。论文明确承认,文件数不等于 token、墙钟时间、API 或算力成本。这个克制是必要的,实际部署仍应补一份真实账单。
5. 我的判断:真正值得迁移的是合成顺序
ToolSpace 不是新的模型结构,也没有提出新的 RL 目标。它更像一次有执行约束的数据工程重构:轨迹负责提供关系,图负责组织关系,运行时负责否决错误关系,LLM 负责把成功链变成人可理解的任务。四个环节各就其位。
我最认可三点。
工具图有出处。 数据、状态、重试边都来自相邻执行,不由 LLM 凭空裁判。消融也支持这条路线,而不是只靠叙事讨喜。
验证跟任务一起生成。 最终状态、中间状态和输出字段都能检查,样本既可训练,也可审计。对长程 Agent 来说,这比只留一条“标准答案文本”更有用。
数据库按需落地。 181 个操作型环境需要持久状态,其余环境用快照或缓存,不必为了形式统一给每个工具都造一座数据库。
疑问同样明确。相邻调用规则可能漏掉跨多步依赖、并行调用和隐式因果关系;缓存重放无法覆盖线上服务漂移;Pro 的难度与链长高度绑定;跨模型结果来源并不完全一致;更换教师模型后的生成稳定性、边抽取准确率、真实在线泛化等维度还缺专门实验。论文当前也标注 Working in progress,这些空白不宜被忽略。
如果你正在搭 Agent 训练管线,我会优先迁移下面四个做法,而不是急着复刻全部 804 个环境:
- 记录原始工具 schema、规范化参数、返回和错误,保留调用顺序,让每条候选边都能回到执行证据。
- 把快照、回滚和重放验证放在任务文本生成之前;先得到可执行链,再让 LLM 写用户意图。
- 明确区分实时执行、快照恢复和缓存返回,监控数据新鲜度与接口漂移,别把三者混成“真实环境”。
- 测试集除了随机留出,还应留出未见过的工具组合与环境连接;同时报告 token、耗时和 API 费用,而不只报告文件数。
回到开头那个问题:Agent 接上真实 MCP 就翻车,可能不是题目不够多,而是题目从一开始就长在了错误的世界上。ToolSpace 给出的修正很朴素——先找到真实能走通的路,再让模型学会走。
参考资料
- ToolSpace:https://arxiv.org/abs/2611.05036
- Simia(Simulating Environments with Reasoning Models for Agent Training):https://arxiv.org/abs/2511.01824
- GenEnv:https://arxiv.org/abs/2512.19682
- Agent World Model:https://arxiv.org/abs/2602.10090
觉得有启发的话,欢迎点赞、在看、转发。跟进最新AI前沿,关注我