视觉智能体不是没调用工具,而是没在看:Reframe 的观察对齐训练
你有没有遇到过这种“看起来已经很 Agent”的假象:模型面对一张高分辨率图片,规规矩矩地调用裁剪工具,局部图也返回了,可它接下来的回答就像根本没看见这张图。视频里也一样,模型选了一组关键帧,随后却仍然沿用原来的错误判断。
工具调用记录很漂亮,证据却没有进入推理。
Reframe 盯上的正是这个断点。它把问题拆成两句很朴素的话:拿到的观察必须真的被使用,用于继续推理的观察也必须真的有用。 前者靠 GD-GRPO,后者靠 OG-MOPD。这个切分挺漂亮,因为它没有继续卷“何时调用工具”,而是追问工具调用之后发生了什么。
核心摘要:Reframe 解决视觉智能体的两类隐蔽故障——调用工具后忽略返回内容,以及在错误裁剪或错误选帧上继续接受蒸馏。它先用 GD-GRPO 的证据奖励与原图随机丢弃,让空间、时间专家学会获取并依赖观察;再用 OG-MOPD 修复坏动作,从修复后的观察继续多教师蒸馏。基于 Qwen3.5-9B,Reframe 在 14 个图像和视频基准上分别取得 69.48 与 53.10 的平均分,观察依赖达到 75.53,工具增益为 5.23 个点。我觉得它最值钱的不是某个新损失,而是把“观察状态”拉进了训练目标;不过,它对定位标注的依赖和尚不充分的单项消融,也限定了结论的边界。
📖 论文信息
- 标题:Reframe: Observation-Aligned Multi-Teacher On-Policy Distillation for Agentic Visual Reasoning
- 作者:Haozhi Yuan、Handong Li、Yifan Zhang、Qianshan Wei
- 机构:Nanjing University;Institute of Automation, Chinese Academy of Sciences
- 提交日期:2026 年 11 月 9 日
- 论文链接:https://arxiv.org/abs/2611.12886
- 代码与数据:https://github.com/EliYuan30/Reframe
- 基座模型:Qwen3.5-9B
- 训练数据:Reframe-100K,包含 63K 图像问答与 37K 视频问答
🎯 工具调用成功,不等于工具使用成功
视觉 Agent 的基本叙事很简单:原图太大、细节太少,那就裁剪;视频太长、干扰太多,那就选帧。模型获得更集中的视觉证据,再做推理。
问题在于,这条链路有两个可能同时漏水的地方。
一个是 observation neglect,观察忽略。模型虽然拿到了裁剪图或关键帧,后续输出却几乎不受它影响。只奖励最终答案的 RL 很难发现这件事:模型可以靠原图、语言先验,甚至猜测答对,工具返回结果只是一个可有可无的装饰。
另一个是 观察无效。学生模型裁错了区域、选错了时间段,后续教师再强,也只能在一个缺少关键证据的上下文里教它继续推理。token 级监督很密,却无法把上一步没有取到的像素补回来。

图 1:上方左侧的结果型 RL 只有轨迹级答案奖励,模型可能绕过返回视图;上方右侧的普通 MOPD 虽有专家逐 token 反馈,却仍可能建立在错误视图上。下方左侧的 GD-GRPO 加入工具调用、观察奖励和原输入 dropout;下方右侧的 OG-MOPD 先用观察门修复动作,再让空间或时间专家在可靠观察上监督后续生成。图中“27”和“杯子在柜子里”的例子,把两类失败展示得很直观。
把 Reframe 和已有训练范式放在一起,差异会更清楚:
| 范式 | 学生轨迹 | 监督粒度 | 是否管观察获取 | 是否管观察使用 | 坏观察能否当场修复 |
|---|---|---|---|---|---|
| 结果型 GRPO | 学生采样 | 轨迹级奖励 | 通常没有显式定位奖励 | 否 | 否 |
| Mix-RL | 混合图像、视频采样 | 轨迹级优势 | 有,靠 GD-GRPO 奖励 | 有,靠原输入 dropout | 否 |
| 普通 MOPD | 学生采样 | 教师逐 token 反馈 | 间接学习教师行为 | 没有专门约束 | 否 |
| Reframe | 专家 RL 加学生蒸馏 | RL 奖励、蒸馏与注入动作 NLL | 有 | 有 | 有 |
我的第一反应是:这不就是把 RL 和蒸馏又拼了一次吗?但细看会发现,真正的变化不在“两阶段”,而在对齐对象从输出分布扩展到了 观察状态。教师不只是在既有轨迹上打分,训练系统还会修改轨迹里的工具动作,让后续监督落在有证据的状态上。
🧠 数据先行:Reframe-100K 不只是收够十万条
这套方法高度依赖空间框和时间片段标注,所以数据质量不是辅助环节,而是方法能不能成立的前提。
Reframe-100K 的构建分五步。原始公开数据经过格式化、校验、去重和采样后,先用 DeepSeek V4.1-Flash 检查纯文本捷径:不看图也能答对的样本被移除。随后,Qwen3.8-27B 分别在完整视觉输入和仅证据输入上做 8 次采样。
完整输入的通过数记为 \(F\),仅证据输入记为 \(E\)。\(F=0/8\) 或 \(F=8/8\) 的样本会被去掉,对应过难或过于简单;\(E=0\) 或 \(F-E\geq3\) 的样本也会被去掉,用来排除证据不足或答案与证据不一致的情况。剩余可疑样本还要经过盲答、诊断和最终复核,只有复核确认答案或证据出错才删除。

图 2:从数据池、文本捷径剔除,到完整输入审计、证据输入审计和最终复核。图中示例给出 \(F=3/8\)、\(E=5/8\);最终数据覆盖 OCR 与文档、图表、多图、STEM,以及视频中的属性、时间、空间、动作和计数等类型。同一份语料同时服务 RL 与 OPD。
还有两个细节很工程化。
空间框不会贴着目标硬裁,而是以中心为基准,把宽和高都放大到 1.5 倍,再截断到图片边界;时间段则在连续标注两端各扩一帧。问答往往需要上下文,只给最小目标框,模型可能连“这是什么东西”都认不出来。
工具是否适用也不是让某个模型凭成功率打标签,而是依据标注覆盖情况分成有益、中性和不有益。这样可以减少基座模型能力偏差进入标签。不过,说实话,这并没有消除偏差,只是把偏差来源从模型判断换成了标注覆盖。标注漏掉关键区域时,所谓 canonical action 一样可能不可靠。
🔧 GD-GRPO:让工具观察从“可参考”变成“离不开”
GD-GRPO 全称 Ground-Drop-GRPO。它分别训练图像空间专家和视频时间专家,工具只保留两个:CropImage 与 SelectFrames。
它的思路不是单纯奖励“调用过工具”,而是同时管住 拿证据 和 用证据。

图 3:策略产生多轮工具轨迹后,以 0.5 概率在首次成功调用后丢弃原输入 \(o_0\),保留工具返回 \(o_t\);奖励由答案、调用、观察和惩罚构成。右上方按预采样的 drop flag 将轨迹分成 w_drop 与 wo_drop 两组,优势分别在组内标准化,避免把随机难度差异误当成动作优劣。
奖励写成:
\(R_{\mathrm{ans}}\) 看答案对不对;\(R_{\mathrm{call}}\) 在早期鼓励适用样本上的合法调用,也抑制不适用样本上的乱调用;\(R_{\mathrm{obs}}\) 衡量工具是否拿到标注证据;\(R_{\mathrm{pen}}\) 处理非法动作、执行失败和答案格式错误。
调用项会随训练进度 \(p\) 指数衰减,\(\kappa=5\);观察项始终保留,\(\lambda_{\mathrm{obs}}=0.4\)。这个安排符合直觉:早期需要推模型一把去尝试工具,后期不该为了奖励而无意义调用,但拿没拿到证据仍然重要。
图像分支把一条轨迹中的裁剪框与标注区域做全局一对一 IoU 匹配,避免反复裁同一个目标刷分;后续尝试权重为 0.85。视频分支只评估最近一次选帧,用帧 IoU 计算观察奖励,多次尝试同样乘 0.85。更关键的是,定位奖励不被答案正确性门控:答错了但裁得对,工具动作仍然能拿到信用。
光靠定位奖励还不够。模型完全可能裁得很准,然后继续只看原图。于是 GD-GRPO 在首次成功工具调用后,以 0.5 概率 移除原始视觉输入,只保留问题、文本历史和工具返回观察。原图这条退路一消失,后续回答就不得不依靠工具结果。
等等,随机丢原图不会把不同难度的轨迹混在一起比较吗?会。所以作者按预先采样的 drop flag 分组,在保留原图和丢弃原图的子组内分别标准化优势;组内只有一条轨迹时,优势置零。分组依据不是“实际是否触发 dropout”,而是事先采样的标志,从而避免策略自己的工具决策影响分组。
推理时原图始终保留,dropout 只存在于专家训练阶段。这点不能漏,否则很容易把它误读成部署时也扔原图。
🚪 OG-MOPD:不是只在坏状态上纠错,而是先修好状态
普通 MOPD 的流程是学生生成轨迹,对应领域教师逐 token 提供反馈。它适合把多个专家合并进一个学生,但默认轨迹中的观察已经可用。
OG-MOPD 多了一道观察门。设学生工具动作为 \(a_t\),由标注构造的规范动作为 \(a_t^\star\)。遇到以下三种情况,就执行规范动作替换学生动作:
- 工具动作缺失或非法;
- 图像裁剪与证据的 IoU 低于 \(\delta_{\mathrm{crop}}=0.25\);
- 视频选帧与证据的 IoU 低于 \(\delta_{\mathrm{select}}=0.15\)。
合法动作会取其对原始标注和扩上下文标注的较大 IoU;只有严格低于阈值才修复。环境执行修复后的动作并返回新观察,学生再从这个状态继续采样。原本足够好的学生动作则原样保留。

图 4:观察门判断动作是否缺失、非法或低于 IoU 阈值。通过门时,学生动作及其后续 token 都走 MOPD;未通过时,规范动作被注入,注入 token 用 NLL 学习,修复观察之后由学生生成的 continuation 仍走 MOPD。图底部明确区分了学生 token 上的 reverse KL 与注入 token 上的 NLL。
这里有个容易踩的坑:注入动作不是学生采样出来的,不能假装它仍是 on-policy token。Reframe 因而把两类 token 分开:
\(\mathcal{S}\) 是学生生成的 token,继续接受对应空间或时间教师的 MOPD 监督;\(\mathcal{I}\) 是注入动作 token,用负对数似然学习,权重 \(\lambda_{\mathrm{br}}=1\)。没有注入动作时,NLL 项直接省略。
这个设计是在 on-policy 程度和观察可靠性之间做取舍。轨迹确实被外部动作改写了,但改写只发生在工具边界,后续生成仍来自学生。NLL 负责教学生“怎样到达有证据的状态”,MOPD 负责教它“到了以后怎样推理”。部署时不需要教师,也不需要观察门。
论文所说的“不需要任务特定 SFT 冷启动”也应准确理解:两阶段都直接从 Qwen3.5-9B 开始,不代表整个过程没有监督学习。OG-MOPD 明确用了注入动作的 NLL。
🧪 实验:真正亮眼的不是单一榜单,而是工具诊断
实验覆盖 7 个图像基准与 7 个视频基准。所有模型使用贪心解码,并共享视觉 token 预算:原始图像最多 5,120 token,每张工具返回图像最多 1,960 token;视频输入为 64 帧、每帧 128 token,选中帧最多 400 token,所有 select 调用累计不超过 4,096 token。
训练端只更新语言模型,视觉编码器和多模态对齐器冻结。几个关键配置如下:
| 配置 | GD-GRPO 专家训练 | MOPD / OG-MOPD |
|---|---|---|
| 初始化 | Qwen3.5-9B | Qwen3.5-9B |
| 学习率 | \(10^{-6}\) | \(10^{-6}\) |
| 训练轮数 | 1 | 1 |
| GPU 数 | 32 | 8 |
| 每题 rollout | 8 | 1 |
| 每次更新轨迹数 | 1,024 | 224 |
| 上下文上限 | 32,768 | 32,768 |
| 采样温度 / top-p | 1 / 0.95 | 1 / 0.95 |
| 额外设置 | KL 系数 0.03,dropout 0.5 | 教师对数概率差裁剪到 \([-5,5]\);OG-MOPD 的 NLL 权重为 1 |
论文没有写明 GPU 型号。蒸馏阶段会关闭原观察 dropout;普通 MOPD 与 OG-MOPD 使用相同教师和学生训练配置,差别集中在观察修复与注入动作损失,这组对照比较干净。
主结果:统一模型超过混合 RL,也超过普通 MOPD
下表保留论文 Table 2 的全部 14 项结果。最右一列不是“相对上一列增益”,而是 Reframe 相对 Qwen3.5-9B 基座的差值。
| 基准 | Qwen3.5-9B | Image-RL | Video-RL | Mix-RL | MOPD | Reframe | 相对基座 |
|---|---|---|---|---|---|---|---|
| V* | 83.77 | 89.53 | 86.91 | 88.48 | 90.05 | 91.62 | +7.85 |
| HR-Bench-4K | 83.13 | 85.25 | 82.63 | 83.25 | 84.88 | 84.75 | +1.62 |
| HR-Bench-8K | 76.88 | 82.63 | 81.63 | 80.50 | 82.50 | 83.50 | +6.62 |
| VisualProbe | 43.88 | 51.65 | 51.65 | 51.46 | 52.62 | 57.48 | +13.60 |
| ZoomBench | 50.53 | 57.40 | 56.57 | 57.51 | 58.46 | 59.88 | +9.35 |
| MME-RealWorld | 71.45 | 72.77 | 71.12 | 70.99 | 72.99 | 73.04 | +1.59 |
| PerceptionBench | 34.60 | 36.23 | 33.97 | 35.07 | 35.80 | 36.07 | +1.47 |
| 图像平均 | 63.46 | 67.92 | 66.35 | 66.75 | 68.19 | 69.48 | +6.02 |
| Video-MME | 65.00 | 66.30 | 67.93 | 66.44 | 67.41 | 69.07 | +4.07 |
| Video-MME-v2 | 14.12 | 13.55 | 14.47 | 13.46 | 14.24 | 15.61 | +1.49 |
| MVBench | 66.08 | 68.50 | 70.37 | 69.29 | 70.08 | 69.11 | +3.03 |
| MLVU | 63.83 | 66.42 | 70.39 | 68.54 | 69.48 | 70.10 | +6.27 |
| MME-VideoOCR | 62.15 | 64.26 | 63.74 | 63.49 | 64.92 | 65.28 | +3.13 |
| VSI-Bench | 52.97 | 50.40 | 56.74 | 53.45 | 55.15 | 56.70 | +3.73 |
| V-STaR | 24.09 | 23.29 | 25.82 | 25.19 | 24.98 | 25.80 | +1.71 |
| 视频平均 | 49.75 | 50.39 | 52.78 | 51.41 | 52.32 | 53.10 | +3.35 |
注:Video-MME-v2 报 Non-Lin Score,VSI-Bench 报 accuracy/MRA,V-STaR 报 \(100\times\mathrm{mAM}\),MLVU 报 M-Avg;模态平均分是 7 项结果的等权算术平均,并非同一指标上的总准确率。
几组差值值得细嚼:
- Reframe 相对 Mix-RL,图像平均高 2.73 个点,视频平均高 1.69 个点。混合数据加同一种 GD-GRPO 并没有自动得到最强统一模型,跨模态整合方式确实重要。
- 相对普通 MOPD,Reframe 分别高 1.29 和 0.78 个点,其中 VisualProbe 增加 4.86 个点。收益没有平均分标题听起来那么夸张,但在教师、数据和学生配置一致时,这部分更能归因于观察修复。
- 图像平均比 Image-RL 教师高 1.56 个点,视频平均比 Video-RL 教师高 0.32 个点。统一学生可以超过专家平均水平,但不是每项都赢:HR-Bench-4K、MVBench、MLVU、V-STaR 等仍由专家或基线占优。
论文还报告,普通 MOPD 保留 Image-RL 和 Video-RL 相对基座增益的 106% 与 85%,并在 5/14 个基准上同时超过两位教师。这个结果让我对“多教师融合”本身更乐观一些:密集 token 监督可能比单纯混数据做 RL 更适合能力合并。
不过,把 Non-Lin Score、M-Avg、mAM 和准确率直接等权平均,虽然便于总览,也会掩盖不同量纲和难度的差异。我更看重逐基准结果与同配置 MOPD 对照,而不是只看两个平均数。
GD-GRPO 消融:提升主要来自工具,而不是裸模型变强
| 指标 | 结果型 GRPO | GD-GRPO | 变化 |
|---|---|---|---|
| 图像平均,使用工具 | 65.85 | 67.92 | +2.07 |
| 图像平均,不使用工具 | 63.88 | 64.10 | +0.22 |
| 工具增益 | +1.97 | +3.82 | +1.85 |
| V* 的 GT 观察准确率 | 87.96 | 93.19 | +5.23 |
| V* 的 Random 观察准确率 | 72.25 | 75.92 | +3.67 |
| V* 的 Blank 观察准确率 | 76.96 | 80.10 | +3.14 |
| 观察依赖 | 52.59 | 69.03 | +16.44 |
看到这里,GD-GRPO 的定位就清楚了:无工具时只多 0.22 个点,有工具时多 2.07 个点。它主要不是把通用视觉能力整体垫高,而是让工具调用更能转化为答案收益。
观察依赖的测量也做得比“看调用次数”靠谱。研究使用 V* 的 191 道多选题,在 Direct、Natural、GT、Random、Blank 五种条件下各采样一次。三个受控条件固定同一段前置文本、同一个规范裁剪动作和同一段工具响应文字,只替换返回图像:正确区域、同尺寸随机区域或纯灰图。原图在所有条件下都保留。
依赖分数定义为:在 Random 与 Blank 的平均错误基础上,换成 GT 观察后能修复多少比例的错误,并做归一化。GD-GRPO 将该分数从 52.59 提到 69.03,同时 Random 和 Blank 下准确率也上升。也就是说,它不是单纯变得更容易被任何裁剪图带偏,而是在整体能力略有改善的同时,对正确证据更敏感。
但这张表比较的是完整 GD-GRPO 与只做答案奖励、无 dropout 的 GRPO。证据奖励、原图 dropout、drop-conditioned subgroup 各自的贡献没有被逐项拆开。我本来想看到“只加奖励”“只加 dropout”“加分组但不去奖励”这些对照,原文没有给出。这是方法归因上最明显的缺口。
与现有视觉 Agent 对比:观察依赖和工具增益差距更大
| 模型 | 图像平均 | 视频平均 | 观察依赖 | 无工具图像平均 | 工具增益 |
|---|---|---|---|---|---|
| Pixel-Reasoner | 54.70 | 43.95 | 23.25 | 53.73 | +0.97 |
| Thyme | 57.77 | 44.24 | 34.20 | 56.30 | +1.47 |
| DeepEyes | 57.15 | 42.25 | 19.47 | 55.83 | +1.32 |
| DeepEyesV2 | 54.05 | 43.51 | 41.93 | 56.50 | -2.45 |
| Reframe | 69.48 | 53.10 | 75.53 | 64.25 | 提升 5.23 个点 |
Reframe 在这张表的 14 个基准上全部领先外部模型,相对最强外部模型的图像、视频平均分别高 11.71 和 8.86 个点。更抓眼的是工具诊断:其他模型工具增益最多 1.47,DeepEyesV2 甚至是 -2.45;Reframe 则从 64.25 提到 69.48。
以 Qwen3.5-9B 的无工具图像平均 63.46 为参照,Reframe 总提升 6.02,其中 5.23 来自启用工具,占约 87%。这比“调用率更高”有说服力,因为它直接回答工具到底带来了多少答案收益。
在 V* 受控观察实验中,Reframe 的 GT、Random、Blank 准确率分别为 96.86、85.86、88.48,依赖分数 75.53;其他模型最高只有 41.93。说明它的后续推理确实更依赖返回内容,而不是只在外壳上多了工具调用。
不过,这组外部对比不能被读成严格的同条件算法淘汰赛。各模型的基座、训练数据和工具接口并不一致。作者统一了视觉预算、保留原生提示与工具格式,并关闭网页搜索,这些做法提高了可比性,但无法把全部差距都归因于 GD-GRPO 或 OG-MOPD。要证明跨模型泛化,还需要在更多基座上复现。
🤔 我的判断:观察状态该管,但标注与评估边界不能忽略
我觉得这篇论文有三点扎实之处。
问题切得准。 “调用工具”和“使用工具结果”被拆开了,而且用受控观察实验测量因果依赖,不是只展示几个成功 case。工具增益与观察依赖互相补位:前者回答自主工具行为有没有收益,后者回答返回内容有没有改变推理。
OG-MOPD 的干预位置合理。 在错误观察之后继续逐 token 蒸馏,监督再密也补不回缺失像素。把修复放在工具动作边界,比事后修改整段教师答案更贴近视觉 Agent 的因果链。
两阶段之间有真实的配合关系。 GD-GRPO 先让学生愿意依赖工具返回,OG-MOPD 再保证蒸馏时的观察值得依赖。只修观察而不训练依赖,学生可能继续无视;只训练依赖而不修观察,又可能认真盯着错误证据。这个组合不是随便拼起来的。
但问题也同样明确。
** grounding 标注是硬依赖。** 奖励、工具适用性、规范动作和观察门都围绕空间框或时间片段展开。对于开放式网页操作、自由探索、没有明确唯一证据区域的任务,canonical action 未必存在。方法能否迁移到这些场景,论文没有回答。
观察修复的成本披露不够。 主文给了阈值,却没有单独报告修复比例、不同阈值敏感性、错误标注被注入后的影响,也缺少训练墙钟时间与推理成本对比。32 张 GPU 训专家、8 张做蒸馏已说明它不轻,但具体硬件型号和耗时未知,复现成本还不好估算。
诊断范围仍窄。 观察依赖只在 V* 的 191 道多选题上测量,每题每条件一次。受控设计很好,样本规模与任务类型却有限。它很适合作为强证据,不适合直接外推成所有视觉工具场景的普遍性质。
论文没有单独的研究局限章节。 以上边界散落在实验设定中,需要读者自己拼出来。还有一个小地方我没完全确定:附录称所有模型训练一轮并选择表现最好的 checkpoint,但正文没有展开选择所用验证集和评估频率,实际复现时需要对照代码确认。
💡 对工程实践的启发
如果你正在做带裁剪、搜索、代码执行或数据库查询的 Agent,这套思路不一定需要原样照搬,但有两个检查很值得加进训练与评估。
把工具返回内容做成受控变量。 固定动作与前置文本,只替换真实、随机、空白或损坏的返回结果。如果答案完全不变,调用日志再漂亮也只是装饰。对于文本工具,同样可以替换检索段落、执行结果和数据库记录。
把“动作错误”和“后续推理错误”分开记录。 最终答错时,不要只给整条轨迹一个负奖励。至少区分工具动作非法、证据获取不足、证据可靠但推理错误三种情况。后续蒸馏若发生在坏观察上,应先考虑修复环境状态,再评估教师反馈。
至于原输入 dropout,我会更谨慎地使用。它适合训练“必须利用中间结果”的场景,但若工具只返回局部证据,彻底丢掉全局上下文可能反而制造不合理任务。Reframe 用 0.5 概率且仅在训练期启用,这种随机、部分干预比一刀切更稳妥。
回到论文本身,我不认为它已经解决了通用视觉 Agent 的工具学习问题。它解决的是一个更具体、也确实常被忽略的问题:当中间观察决定后续监督时,训练不能只在输出端做文章。
这个视角比单次榜单领先更有生命力。下次再看到一个 Agent 自信地调用工具,我大概会先问一句:它真的看了返回结果吗?如果看了,那个结果又真的值得看吗?
📚 相关公开资料
- Reframe 论文:https://arxiv.org/abs/2611.12886
- Reframe 代码、数据与模型:https://github.com/EliYuan30/Reframe
- MOPD 前置工作:https://arxiv.org/abs/2606.30406
- 按需视觉调用研究:https://arxiv.org/abs/2609.22910
觉得有启发的话,欢迎点赞、在看、转发。跟进最新AI前沿,关注我