CUA-Master:让智能体走出自我复制,靠开放世界双循环持续变强
让 AI 操作电脑,最折磨人的往往不是它不会点按钮,而是训练数据越攒越多,它会的还是那几件事。更麻烦的是,让模型自己出题、自己答题、再拿这些经验训练自己,转上几轮以后,任务开始越来越像,错误也可能被一遍遍放大。
CUA-Master 盯上的正是这个封闭循环。它没有把“自我改进”理解成模型反复消化自己的经验,而是不断从教学视频里引入新工作流,再把这些工作流拆成可组合、可验证的能力零件。这个想法挺对我胃口:递归训练不该只是回收旧经验,还要持续获得外部新知识。
核心摘要:CUA-Master 用嵌套双循环连接开放世界数据、任务合成与模型训练。内层把教学视频变成种子任务,再拆成 primitive 组合出复杂任务;外层根据模型弱点调整下一轮数据。27B 模型在 OSWorld Verified、OSWorld 2.0、WeaveBench 和 Agents’ Last Exam 上分别得到 80.2、36.9、43.9、25.0。它不是四项榜单的全面冠军,真正值钱的是一套把数据多样性、难度控制、轨迹验证和失败重试串起来的工程体系。
论文信息
- 标题:CUA-Master: Scaling Computer-use Agents through Open-World Recursive Improvements
- arXiv:2611.03126,2026 年 11 月 2 日提交,v1
- 作者:Xinlei Yu、Gen Li、Ji Zhao、Zhangquan Chen、Congcong Wang、Shuai Dong、Zelin Peng、Yuqi Xu、Hongrui Wu、Kaiwen Tuo、Cheng Yang、Kaituo Feng、Yifan Wu、Jiayi Zhang、Dongming Wu、Wenqi Shao、Jiaqi Wang、Xiangyu Yue
- 公开署名机构:MMLab, CUHK;THU;HKUST(GZ);Explore Academy, JD
- 论文:arXiv 页面
- 资源:项目页|代码|模型
封闭自我改进,为什么会越转越窄
一个计算机使用智能体(Computer-use Agent,CUA)面对的不是单轮问答,而是一串带状态的操作:看屏幕、理解任务、点击或输入、检查结果,再决定下一步。任务可以形式化为指令、交互环境和验证器的三元组,最终是否成功由环境里的验证器判断,而不是看模型回答得像不像。
这条链路对数据有三个很实际的要求。
任务来源要广。只覆盖办公软件和浏览器,模型遇到 CAD、医学影像或开发工具就容易露怯。任务难度要可控。把一句“整理文件”改写得更长,不会自动变成长程任务。轨迹还要可验证。模型生成了一条看似合理的操作序列,不代表它真能在目标虚拟机里执行成功。
传统流水线通常是一次性的:造数据,训练,结束。新数据并不关心当前模型到底卡在哪。近些年的递归方法加入了反馈,却又常把模型自己的生成经验当作主要数据源。就像一个人只复盘自己已有的解法,熟练度可能提高,知识边界却未必扩大。
CUA-Master 因此把问题拆成两层:数据层要不断“引进新种子并放大”,系统层要让“模型弱点反过来决定下一轮引进什么”。

图 1:四项分数放在一起看更准确。CUA-Master-27B 并非全面领先,但用 27B 参数进入了大模型和闭源模型所在的竞争区间;Agents’ Last Exam 报告 full-pass rate,同分时才比较平均得分。
双循环不是口号:内层造数据,外层改方向
这套框架最容易被“flywheel”这个词带偏。看图里的数据流,比记住名词更有用。

图 2a:上半部分从视频语料挖种子任务,并用视觉与语义双路径重建轨迹;下半部分把种子抽象成能力 primitive,组合任务后在真实环境执行。失败时回滚到快照,而不是从零重跑。模型评测再反馈到下一轮开放世界探索。
| 循环 | 输入 | 关键动作 | 输出 | 解决的问题 |
|---|---|---|---|---|
| 内层 Data Flywheel | 教学视频、已有种子与轨迹 | 种子挖掘、双路径重建、primitive 组合、回滚重试 | 多样且可验证的任务与轨迹 | 数据同质、难度失控、采集失败 |
| 外层 World-Data-Model Flywheel | 开放世界语料、当前模型的失败案例与 rollout 成功率 | 按能力缺口调整领域和难度,再训练与评测 | 下一轮更有针对性的数据分布 | 一次性训练缺乏反馈,封闭自改进缺少新知识 |
我觉得这里最关键的不是“循环”本身,而是循环里有外部入口。没有开放世界播种,它仍可能只是更复杂的自我蒸馏;有了这个入口,模型才有机会接触自己原本不会描述、也不会生成的工作流。
开放世界播种:视频不是轨迹,先变成任务种子
作者建立了一个分层应用 taxonomy,覆盖 8 个主领域、36 个子领域、650 多个应用,再用 “tutorial”“how to”“guide” 等操作导向关键词,从 YouTube、TikTok 和 Bilibili 检索教学视频。

图 2c:数据覆盖 Business & Administration、Creative Production、Daily Life、Data & Analytics、Engineering、Productivity、Science & Research、Developer Tools。图里能看到办公、创作、工程、科研和开发环境,而不是只围绕网页表单打转。
视频先按来源和标题去重,再经过元数据与噪声过滤,剔除推广、娱乐、语言学习以及只提到软件却没有演示操作的内容。Whisper-Large-v3 通过 Faster-Whisper 生成带时间戳的转写,强标注模型再结合抽帧画面,为视频打出 0 到 5 的 CUA 适配分,并判断是否有清晰、可重建的操作过程。
一个教程往往包含多个工作流,还夹着开场、广告和真人讲解。任务挖掘因此不是“一个视频生成一条指令”,而是找出时间上连续、可独立执行的片段,为每个片段写下目标。一个视频可以产出多个种子任务。
接下来才是难点:教学视频里说了“然后点击确定”,画面也发生了切换,但两者未必严格对齐。只靠语音识别,会漏掉没被口述的动作;只靠画面差分,又容易把鼠标晃动、动画或无关变化当成操作。
双路径重建把两类触发器对齐。语义路径从 “then”“next”“after that” 等连接词和 “click”“press”“drag” 等动作表达中找候选时间;视觉路径用 FFmpeg 检测明显的界面变化。只有时间差落在窗口 \(T\) 内的配对,才进入后续复核:
标注模型再检查局部转写和动作前后帧,可以增删、拆分或合并候选边界,随后标注坐标、输入文本和按键,并做轨迹级去重与过滤。
说实话,这个设计没有特别神秘的算法,却很符合视频数据的脾气。语音告诉你在哪里可能发生了操作,画面负责确认操作真的改变了状态。两者相互约束,比单路径硬猜可靠得多。
自催化传播:把种子拆成能组合的“能力零件”
如果到视频重建就结束,这只是又一条 video-to-trajectory 流水线。CUA-Master 往前走了一步:把种子任务和轨迹拆成可复用 primitive。
每个 primitive 写成五元组:
其中 \(u_i\) 是应用,\(a_i\) 是可复用能力,\(\mathcal{P}_i\) 是执行前置条件,\(\mathcal{E}_i\) 是环境要求,\(\mathcal{V}_i\) 是验证器规范。语义等价的 primitive 会归一化去重,但前置条件、环境或验证逻辑不同的变体被保留。
有了这些零件,任务合成就不是自由改写一句话,而是带约束的组合。\(K\) 控制 primitive 数量,\(N\) 控制应用数量:\(N=1\) 是单应用任务,\(N>1\) 可以构造跨应用任务。组合前还要检查前置条件和环境状态是否兼容,同时合成任务级环境与验证器。
这个表示法挺漂亮。它把“更难”从修辞变成了两个可调旋钮,也把“可验证”提前写进数据结构,而不是任务生成后再临时找一个评判模型。
快照回滚:第 37 步错了,不必从第 1 步重来
长程 rollout 有一种很浪费的失败:前面几十步都正确,末尾误点一次,整条轨迹作废。CUA-Master 在稳定边界保存增量虚拟机快照,记录活动应用、窗口布局、相关文件和控制器元数据。
验证失败或执行低效时,检测器结合任务、轨迹、环境状态和验证器残差,估计最早的状态分叉步,并生成诊断反馈。环境回到该步之前的最近有效快照,策略保留正确前缀、丢弃问题后缀,带着反馈继续执行。反馈只描述观察到的失败或低效,不直接泄露标准动作答案。达到重试预算或验证通过后,只保留成功且更高效的分支。
这套机制既是在省时间,也是在保护数据一致性。失败后缀如果留在训练样本里,模型学到的可能就是状态与动作对不上的监督。
GUI 与 CLI 混合:不是备选接口,而是能力互补
CUA-Master 的原子动作空间同时包含 computer.click、computer.scroll、computer.type 等 GUI 操作和 shell.exec,也兼容 tool.call。鼠标坐标统一归一化到 \([0,1000]\)。GUI 的反馈主要是截图,CLI 则返回标准输出、错误流和执行状态。

图 5:三条任务分别用了 40、61、102 步。文档申请任务里 CLI 负责读取 DOCX 与处理长文本,GUI 负责网页表单;评分任务里 CLI 批量找文件和计算,GUI 检查表格;影像任务则在 FSLeyes 可视化与命令行处理之间反复切换。
这个设计很贴近真实工作。批量处理文件、结构化计算用 shell 通常更稳,视觉检查、图形界面交互又离不开 GUI。硬让模型全程点鼠标,有时只是为了满足 benchmark 的动作约束,并不代表更好的计算机使用方式。
消融数据更能说明问题。WeaveBench 上,混合模式得分 43.9,GUI-only 和 CLI-only 分别只有 6.6 和 11.5;混合模式相比 GUI-only 还少了 23.8% 的执行步数。Agents’ Last Exam 上,混合模式从 GUI-only 的 5.9 提到 25.0,步数减少 26.7%。OSWorld 2.0 上,混合模式保持相近分数的同时减少 43.8% 步数。
不过,这也给主结果提了个醒:WeaveBench 和 Agents’ Last Exam 的优势有相当一部分来自动作空间,而不能全部记在数据飞轮账上。论文单独做了混合动作消融,这个实验很有必要。
训练配方:递归的是数据闭环,不是无限接续权重
模型从 Qwen-3.5-27B 初始化。三轮 SFT 分别纳入 63K、38K、14K 个任务及对应轨迹,累计约 115K;RL 阶段再使用约 12K 个高质量任务,总数据量为 127K。
有个细节很容易被“recursive”掩盖:每轮 SFT 都从同一个基础检查点开始,在累积扩增的数据集上重新训练,而不是从上一轮权重继续训练。作者这样做是为了降低优化漂移。你想想看,递归主要发生在“评测弱点—补数据—重训”的系统层,不是无限制地对上一版模型做增量微调。
SFT 的收益趋于饱和后,末轮转向 RL。任务合成时生成的验证器直接提供结果奖励,不必再为每条轨迹人工标 reward。
| 项目 | 配置 |
|---|---|
| 训练硬件 | 16 个节点,每节点 8 张 NVIDIA H200 141GB |
| SFT | AdamW,峰值学习率 \(5\times10^{-6}\),cosine schedule,warmup ratio 0.03,batch size 128 |
| RL 算法 | 沿用并优化 ScaleCUA 的在线 RL,修改版 GRPO,结合 frontier sampling 与 visual context segmentation |
| RL 采样 | 每个任务在真实虚拟机中采样 8 条轨迹,用验证器奖励估计优势 |
| RL 优化 | AdamW,学习率 \(1\times10^{-6}\),batch size 64,每批最多 512 条采样轨迹 |
| 环境规模 | 支持 100 多种 CUA 环境,超过 2,000 个虚拟机并发 |
这也是论文很“硬”的一面:它不是只提出一个数据概念,而是真的把跨 Linux、Windows、macOS 的虚拟机池、环境描述、资源调度和版本化镜像都搭起来了。镜像通过移除应用、调整桌面布局等方式派生变体,每次 rollout 通常使用不可变基础镜像加一次性可写 overlay。
主实验:强项是均衡与效率,不是包揽第一
四个主基准里,OSWorld Verified 和 OSWorld 2.0 使用 GUI 模式,WeaveBench 和 Agents’ Last Exam 使用 GUI+CLI。除 Agents’ Last Exam 报 full-pass rate 外,其余报平均分。论文在相同环境配置、动作接口和评测标准下重测基线,除非另有说明。
| 方法 | OSWorld Verified | OSWorld 2.0 | WeaveBench | Agents’ Last Exam |
|---|---|---|---|---|
| Qwen-3.5-27B | 54.6 | 0.8 | 13.5 | 1.3 |
| UI-Mate-27B | 77.6 | 24.0 | 18.3 | 13.2 |
| Qwen-3.8-27B | 81.2 | 36.5 | 14.1 | 19.1 |
| Qwen-CUA-397B-A17B | 84.0 | 43.6 | 35.1 | 21.1 |
| Kimi-K3-2.8T-A104B | 84.2 | 55.9 | 43.2 | 25.0 |
| GPT-5.6-Sol | 83.6 | 59.0 | 50.6 | 26.3 |
| Claude-Opus-5 | 86.3 | 64.2 | 55.7 | 28.3 |
| CUA-Master-27B | 80.2 | 36.9 | 43.9 | 25.0 |
和同规模专用模型 UI-Mate-27B 比,CUA-Master 在四项上分别提高 2.6、12.9、25.6、11.8 个点。与 Qwen-CUA-397B-A17B 比,它在两个混合基准上更高,但 GUI-only 基准仍落后。这个对比比一句“媲美大模型”更有信息量。
看到 80.2 时我没有把它理解成 OSWorld Verified 新冠军,因为 Claude-Opus-5 是 86.3,Kimi-K3 是 84.2,Qwen-CUA 也有 84.0。论文自己的措辞也是 competitive,这个定位比较诚实。真正亮眼的是混合长程任务,以及执行成本。
在 OSWorld Verified 上,它平均每任务用 19.0 步、247K token、8 分钟得到 80.2。OSWorld 2.0 上,36.9 略高于 Qwen-3.8-27B 的 36.5,运行时间从 1 小时 28 分降到 1 小时 7 分,论文报告减少 24%。WeaveBench 上,它用 34 分钟得到 43.9,分数接近 GPT-5.6-Luna 的 44.0,后者用时 47 分钟。Agents’ Last Exam 上,它与 Kimi-K3、Qwen-3.8-Max 同为 25.0,用时 52 分钟,少约 34% 到 36%。
当然,wall-clock 会受部署方案和 API 速度影响。开源模型使用 H200 + vLLM,闭源模型走官方 API,时间对比适合看趋势,不适合当成严格的硬件无关结论。
跨平台与分领域表现
| 方法 | WindowsAgentArena | MacOSWorld | MacAgentBench |
|---|---|---|---|
| Qwen-3.5-27B | 40.7 | 30.4 | 44.3 |
| Qwen-3.6-27B | 47.4 | 40.7 | 55.3 |
| Qwen-3.8-27B | 54.4 | 39.2 | 56.6 |
| EvoCUA-1.5-32B | 56.0 | 37.8 | 36.6 |
| Qwen-CUA-397B-A17B | 50.4 | 42.0 | 65.3 |
| UI-Mate-27B | 63.2 | 37.1 | 45.5 |
| CUA-Master-27B | 56.2 | 43.0 | 59.9 |
跨平台结果也不是全赢:WindowsAgentArena 低于 UI-Mate,MacAgentBench 低于 Qwen-CUA,MacOSWorld 则是表内最高。它能迁移到不同操作系统,但“通用”还不等于每个平台都占优。
分领域结果更能暴露短板。WeaveBench 的 Web Frontend 和 Desktop OS 分别是 58.4、55.3,Design 与 Spatial/CAD 却只有 26.3、25.9。开放世界覆盖广,并没有自动解决专业软件里的精细空间操作。
数据飞轮到底有没有用
多样性:t-SNE 有覆盖证据,但不是完整证明

图 7:AgentNet、Video-CUA、ScaleCUA、WildGUI、CUA-Gym 和 ProCUA-SFT 各有相对集中的区域;空心圆表示的 CUA-Master 样本横跨多个已有分布,也落到一些稀疏区域。
这张图支持“覆盖更广”的判断,但我不会只凭 t-SNE 就接受“数据更好”。二维投影会丢失结构,覆盖空白区域也可能是新能力,也可能是噪声。更有说服力的是它是否与可执行任务、验证通过率和下游提升一起出现;论文至少把这几类证据都拿出来了,只是还缺一个更直接的多样性定量指标。
采集可靠性:越难,快照回滚越值钱
下表里的 \(K/N\) 分别表示 primitive 数和应用数。Baseline 使用朴素环境,在相同重试预算下从头重新 rollout;CUA-Master 则保留有效前缀并回滚。
| K/N | Baseline 成功率 | CUA-Master 成功率 |
|---|---|---|
| 5 / 1 | 74.0% | 95.4% |
| 10 / 1 | 53.0% | 89.1% |
| 20 / 1 | 31.5% | 83.7% |
| 10 / 3 | 29.2% | 62.3% |
| 20 / 3 | 19.3% | 56.9% |
| 40 / 3 | 14.6% | 49.8% |
| 20 / 5 | 1.9% | 32.8% |
| 40 / 5 | 0.4% | 24.4% |
| 50 / 8 | 0.0% | 18.7% |
在 \(K=40,N=3\)、难度接近 Agents’ Last Exam 平均水平的设置下,成功率从 14.6% 到 49.8%。最难的 \(K=50,N=8\) 仍有 18.7%,baseline 则为 0。这里的价值不只是多收几条数据,而是让高难任务的数据产率没有彻底塌掉。
多轮迭代:SFT 扩能力,RL 冲高难任务
论文报告,连续训练迭代让四个基准都逐步提升,其中 OSWorld Verified 和 WeaveBench 累计增加超过 25 个点。SFT 在相对简单任务上的收益接近饱和后,末尾 RL 又让 OSWorld 2.0 和 Agents’ Last Exam 各提高约 15 个点。
另一个结果很有意思:更强的 annotator 会持续带来更高收益;用每轮自己的策略充当 annotator 也能改善,但幅度有限。
这既是证据,也是限制。它说明开放世界外部知识确实比单纯自生成更有增量,却也说明系统并没有摆脱强教师。所谓“自我改进”更准确的理解是模型参与反馈的递归数据工程,不是模型独立教会自己一切。
我的判断:最值得借鉴的是数据结构与恢复机制
我觉得 CUA-Master 的贡献不在某个新损失函数,而在三件事被接成了一条能跑的链路:真实工作流提供新意,primitive 提供可控组合,验证器与快照回滚提供可执行监督。很多 CUA 项目只拥有其中一段,拼起来以后,数据规模才不只是数量增长。
但有几个边界不能忽略。
训练与环境成本很高。16 个 8 卡 H200 节点、2,000 多虚拟机并发,不是普通团队能轻松复现的配置。快照机制降低的是单次失败成本,并没有消除基础设施门槛。
强 annotator 依赖也很现实。数据质量上限受教师模型影响,教师推理费用还会随着视频、轨迹和复核角色增加。论文附录把 annotator 分成评分、任务生成、动作复核、动作标注、轨迹验证、primitive 提取、任务合成和失败检测八种角色,这是一套多模型协作的数据工厂,不是轻量脚本。
评测结论也要按动作空间拆开看。混合 GUI+CLI 是 CUA-Master 的重要优势,所以混合基准的大幅领先不能全部归因于递归数据。主表、动作消融和采集消融放在一起,才接近完整因果图。
如果你在做自己的 Agent 数据管线,我最建议先借这两块:把任务样本写成包含前置条件、环境要求和验证器的结构化 primitive;给长程执行加快照与失败定位。开放世界视频可以稍后再接,但“可组合、可验证、可恢复”这三件事,越早进数据 schema,后面越少返工。
这篇论文没有证明智能体可以无限递归变强。它给出的是一个更克制的版本:持续引入外部世界的新经验,让每一轮训练有新鲜事可学,同时用执行反馈修补旧能力。对当前 CUA 来说,这比“让模型自己跟自己玩”靠谱得多。
觉得有启发的话,欢迎点赞、在看、转发。跟进最新AI前沿,关注我