看图不是每步义务:LOWN 用预测证书砍掉约 65% 扩散 VLM 解码计算
让模型回答“球场上能看见的最小码线数字是多少”,自回归视觉语言模型通常把图像特征放进上下文,然后逐个写答案;扩散视觉语言模型却是另一套工作方式:答案先铺满 mask,模型在多轮去噪中反复填空。问题在于,图像从头到尾没有变,模型却在每一轮都把它完整读一遍。
这笔账有多夸张?LOWN 论文给出的测量是,视觉 token 占十个基准输入的 89%–97%。真正让人愣一下的是另一组数:把图像从某一步的输入里拿掉,平均只有 22.8% 的步骤会改变至少一个待揭 mask 的决策。其余很多时候,模型只是昂贵地确认“我刚才想得没错”。
这篇论文抓住的就是这个空隙:不再问“每次看图要保留多少视觉 token”,而是问“这一步到底还用不用看图”。
核心摘要
LOWN(Look Only When Needed)给扩散视觉语言模型加了一个免训练、免调阈值的视觉路由器。每步先做便宜的 TEXT-ONLY 前向,若它与最近一次带图预测一致,就把旧预测当作可复用的“证书”;不一致才执行 FULL 前向。LLaDA-V 在十个基准上保留 99.6% 的归一化分数,平均解码 FLOPs 降至基线的 35.3% 水平,实际生成时间平均减少 57.4%。我觉得它最值钱的不是又一种剪枝,而是把“何时需要视觉证据”变成了可在线检测的解码决策;不过,证书并不严格保证正确,文档理解上的收益也明显更小。
论文信息
- 标题:Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs
- 作者:Donghyeon Cho、Joowon Kim、Seungho Shin、Eunho Yang
- 机构:KAIST、AITRICS
- 版本与日期:arXiv v1,2026 年 10 月 27 日提交
- 论文链接:https://arxiv.org/abs/2610.36671
- 项目与代码:https://hyeon9698.github.io/LOWN/
- arXiv ID:2610.36671
1. 扩散 VLM 的浪费,不只是“图太长”
先看标准解码。设视觉 token 为 \(v\),文本提示为 \(c\),第 \(t\) 步部分揭 mask 的回答为 \(x_t\)。每次 FULL 前向都计算 \(p_\theta(y\mid v,c,x_t)\),然后在尚未确定的位置里选出置信度最高的 \(k\) 个,填入 token。回答还没写完,下一步再把 \(v,c,x_{t+1}\) 整体送进去。
视觉部分明明没变,计算却一遍遍发生。

图 1a:Baseline 每步都保留完整视觉 token;Token Pruning 永久删掉一部分视觉 token,但剩余部分仍参与每步计算;LOWN 则在 Image-Dependent 步骤执行 FULL 前向,在 Text-Sufficient 步骤省掉全部视觉 token。它改变的是“看图的频率”,不是单纯缩小每次看到的图。
为什么过去的方法没有完全堵住这个漏洞?因为它们优化的是别的轴。
| 方法类别 | 主要动作 | 仍然没有解决的事 |
|---|---|---|
| RedVTP、ZOO-Prune 等视觉剪枝 | 减少每次前向里的视觉 token | 被删掉的信息之后也无法恢复,剩余图像仍被反复处理 |
| Fast-dLLM 等缓存 | 复用中间状态,降低单次前向成本 | 不直接判断当前步骤是否需要图像 |
| KLASS、Prophet 等解码调度 | 每步揭开更多 token,减少去噪轮数 | 视觉输入仍按调度参与计算 |
| LOWN | 决定这一步是否看图,并自适应决定揭多少 token | 需要额外支付 TEXT-ONLY 前向,且证书存在误判 |
按论文对前置工作的梳理,RedVTP 用仍处 mask 的回答 token 的注意力选择视觉 token;ZOO-Prune 结合 projector 层的敏感度估计和多样性选择;KLASS 同时看置信度与跨步分布稳定性。LOWN 和它们不是同一条赛道,这也是它能与剪枝、缓存叠加的原因。

图 1b:十个基准平均输入中,Vision 占 94.4%,Text Prompt 占 3.9%,Output 仅占 1.7%。横轴是读取图像的步数,纵轴是每次读取的视觉 token 数。剪枝沿纵轴向下,LOWN 沿横轴向左,Combined 同时利用两个方向。
你想想看,如果 94.4% 的输入几乎一直在重复出现,却只优化剩下那 5.6% 的生成逻辑,收益自然有限。LOWN 的视角很直接:把大头本身变成按需访问。
2. 作者怎么确认“很多时候不看图也行”
这件事不能只靠直觉。作者沿 LLaDA-V 原始解码轨迹,在每一步同时跑两种前向:
- FULL:输入 \(v,c,x_t\),只有它真正改变解码状态;
- TEXT-ONLY:移除视觉 token,但保留其余 token 的原始 position ID,只记录预测,不干预轨迹。
所以这不是拿两条不同回答做事后比较,而是在同一个 \(x_t\) 上问:图像此刻会不会改变 top-1 预测?
十个基准的平均结果很扎实。
在最终被揭开的位置中,83.4% 的 FULL 与 TEXT-ONLY top-1 预测一致。85.0% 的最终 token,在真正被揭开之前就已经是同一位置的 top-1 预测。图像改变至少一个揭 mask 决策的步骤,占比平均为 22.8%。
这里的 22.8% 是“步骤比例”,不是“token 比例”,两个口径别混在一起。

图 2a:每块热图横轴是 token 位置,从前到后;纵轴是去噪步骤,从上到下由 early 到 late;颜色表示 FULL 与 TEXT-ONLY 的 top-1 分歧率。ScienceQA、MathVista 等任务早期分歧更明显,但 DeCapBench 并不服从同一种节奏,DocVQA 的响应末尾仍有高分歧区域。
任务之间的差异更大。MMBench 只有 7.9% 的步骤依赖图像,DocVQA 却达到 43.8%。固定“每四步看一次图”的规则,很难同时伺候这两类任务:对前者太浪费,对后者又可能在该看时没看。
我的第一反应是,这个观察比方法本身还重要。它说明视觉需求不是模型的一个静态属性,而是输入内容、回答位置、去噪阶段共同决定的动态状态。
3. LOWN:把预测一致性变成复用证书
3.1 Anchor 存的不是特征,而是预测
每次执行 FULL 前向后,LOWN 为仍未揭 mask 的位置保存两样东西:
- top-1 token 预测 \(\bar y_i\);
- 对应的 softmax 置信度 \(\bar s_i\)。
这组预测叫 anchor。它不保存庞大的注意力特征,只保存 token ID 和置信度,因此额外状态很轻。
下一步先跑 TEXT-ONLY。对位置 \(i\),若当前无图预测 \(\hat y^{\mathrm{text}}_{t,i}\) 与 \(\bar y_i\) 相同,该位置就获得证书。这个一致性同时近似检查了两件事:图像似乎不会改变该 token;旧 FULL 预测在回答状态变化后似乎仍然有效。
“似乎”这个词不能省。它不是数学上的正确性证明,只是一个在线启发式判据。
候选位置先按 anchor 置信度从高到低排列,再从头扫描,取连续一致的最长前缀。遇到第一个不一致就停止,而不是把后面零散一致的位置也捞出来。这个前缀长度是自然产生的,不需要给每个任务调一个置信度阈值。
还有一个容易忽略的工程细节:repetition guard。TEXT-ONLY 一步可能独立接受多个相邻位置,如果候选 token 与已经揭开的左邻、右邻,或本轮已接受的邻居重复,就提前结束前缀。没有这道保护,模型很容易一次写出相邻重复词。
3.2 同一个证书,同时控制“看不看图”和“写多少”
设基线每步固定揭开 \(k\) 个 token,LOWN 有两个分支:
- 证书前缀至少包含 \(k\) 个位置:不跑 FULL,直接接受整个前缀。注意,是整个前缀,不只前 \(k\) 个,因此一步可以推进得比基线更远;
- 证书前缀不足 \(k\) 个位置:补跑 FULL,刷新 anchor,并揭开 \(k\) 个位置。FULL 与 TEXT-ONLY 不一致的位置优先,其余按 FULL 置信度排序。

图 3:anchor 给出“There is a brown bear.”及其置信度。第 \(t\) 步 TEXT-ONLY 在前两个位置与 anchor 一致,因而无需图像就能揭开“There”“is”;第 \(t+1\) 步无图预测在“brown / polar”处分歧,认证前缀不足,系统执行 FULL,得到新 anchor,并优先揭开发生分歧的“brown”。图里也展示了下一轮的置信度重排。
状态更新可以压缩成下面的分段式:
两个分支都至少揭开 \(k\) 个 token,所以 LOWN 不会比基线使用更多去噪步;TEXT-ONLY 分支的整段接受还可能提前结束。首个迭代是例外,需要 TEXT-ONLY 与 FULL 都运行,用来建立初始 anchor。
把流程写成伪代码,会更清楚:
anchor = FULL(image, prompt, masked_response)
while response still has masks:
text_pred = TEXT_ONLY(prompt, current_response)
prefix = certified_prefix(text_pred, anchor, repetition_guard=True)
if len(prefix) >= k:
unmask all positions in prefix using anchor predictions
else:
full_pred = FULL(image, prompt, current_response)
refresh anchor
unmask k positions, disagreement-first, then by FULL confidence
我挺喜欢“分歧优先”这个小设计。既然图像刚刚推翻了无图预测,那么这些位置就是最依赖视觉证据的地方,没理由再把它们拖到末尾。
3.3 为什么 TEXT-ONLY 不会把省下的钱又花回去
设基线总步数为 \(T\),LOWN 执行 \(n_F\) 次 FULL、\(n_T\) 次 TEXT-ONLY。单次前向成本为 \(\mathcal C(n)\),定义
- \(f=n_F/T\):FULL 前向频率;
- \(\sigma=n_T/T\):相对步数;
- \(\rho=\mathcal C(N_T)/\mathcal C(N_F)\):TEXT-ONLY 相对 FULL 的单次成本。
总相对成本就是:
FULL 步骤要同时支付 TEXT-ONLY 和 FULL,并不是免费做路由。实验里 \(\rho\) 随任务从 2.54% 到 10.07% 不等,所以只要 \(f\) 降得足够多,账就划算。
若再叠加视觉剪枝,设剪枝后的 FULL 成本比例为 \(\pi\),组合成本为 \(\pi f+\sigma\rho\)。这条式子把两种收益拆得很干净:剪枝降低 \(\pi\),LOWN 降低 \(f\),整段接受继续降低 \(\sigma\)。
4. 实验:平均 0.353 倍 FLOPs,分数几乎没动
4.1 设置与公平性
主实验覆盖 MathVista、ScienceQA、ChartQA、MME、MMBench、DocVQA、CapArena、LLaVA-Bench、GQA、DeCapBench 十个基准,还测试 LaViDa 和视频模型 VidLaDA-8B。
LLaDA-V 使用 batch size 1、greedy decoding、temperature 为 0、classifier-free guidance 为 0,图像只编码一次。基线每步揭 \(k\) 个 token,回答长度与步数按任务固定,例如 MathVista 为 100/50,DocVQA 为 32/16,CapArena 和 DeCapBench 为 128/64。
对比方法有多个档位,没法做到每个单元格 FLOPs 完全相等。作者采用的办法是:每个基准上给竞争方法选择成本不低于 LOWN 的最便宜档位,选择过程不看任务分数。这比“给对手更少预算再比准确率”厚道。
4.2 十个基准的完整主结果
下表“相对 FLOPs”以 LLaDA-V 为 1;“图像依赖步骤”来自同一套 FULL/TEXT-ONLY 测量,是图像改变至少一个揭 mask 决策的步骤占比。
| 基准 | LLaDA-V | LOWN | 相对 FLOPs | 图像依赖步骤 |
|---|---|---|---|---|
| MathVista | 59.10 | 56.00 | 0.325 | 17.9% |
| ScienceQA | 76.50 | 78.83 | 0.243 | 8.2% |
| ChartQA | 78.16 | 78.36 | 0.576 | 24.5% |
| MME | 1719.49 | 1655.08 | 0.231 | 10.6% |
| MMBench | 70.88 | 69.93 | 0.270 | 7.9% |
| DocVQA | 83.91 | 82.31 | 0.452 | 43.8% |
| CapArena | -88.67 | -85.67 | 0.388 | 32.7% |
| LLaVA-Bench | 58.20 | 57.40 | 0.454 | 37.8% |
| GQA | 53.31 | 53.24 | 0.205 | 10.9% |
| DeCapBench | 33.18 | 34.43 | 0.391 | 33.4% |
| 平均归一化结果 | 100.0% | 99.6% | 0.353 | 22.8% |
归一化平均不是把不同指标粗暴相加。论文对普通基准计算 \(100\times\mathrm{score}/\mathrm{baseline}\),CapArena 使用 \(100+\mathrm{score}-\mathrm{baseline}\),再做十任务等权平均。
LOWN 在八个基准上拿到加速方法中的最高分。ScienceQA、ChartQA、DeCapBench 等还超过原始模型,说明自适应揭 mask 顺序有时不只是“少花钱”,也改变了生成轨迹。
但 99.6% 需要拆开看:四个高于基线的结果会抵消其他任务的损失。若把每个任务的归一化分数封顶在 100%,平均是 98.6%。论文自己给了这个数,这种报告方式挺诚实;读结果时也该以后者理解“无损”的真实边界。

图 1c:作者改为匹配 LOWN 分数,再比较各方法相对基线的 FLOPs 加速。蓝色实柱是 LOWN,斜线柱是 LOWN 加视觉剪枝。单独 LOWN 在 MathVista、MME、GQA 上分别达到 5.1、6.0、6.7 倍;组合后多个任务还能继续提速。若剪枝方法在测量范围内达不到目标分数,图中按最高保留率档位给出上界,并非插值结果。
在 LOWN 的 FLOPs 预算下,平均对比更直观:
| 方法 | 平均归一化质量 | 平均相对 FLOPs |
|---|---|---|
| LLaDA-V | 100.0% | 1.000 |
| RedVTP | 93.0% | 0.392 |
| ZOO-Prune | 94.2% | 0.405 |
| KLASS | 91.9% | 0.423 |
| LOWN | 99.6% | 0.353 |
4.3 自适应路由不是“随机少看几次”
如果收益只来自少跑 FULL,那随机跳过相同数量的图像前向也应该差不多。Table 4 正好做了这个对照。
| 调度 | MathVista 分数 / FLOPs | LLaVA-Bench 分数 / FLOPs | DeCapBench 分数 / FLOPs |
|---|---|---|---|
| LOWN | 56.00 / 0.325 | 57.40 / 0.454 | 34.43 / 0.391 |
| Random,匹配 FULL 次数 | 53.40 / 0.349 | 53.80 / 0.456 | 30.48 / 0.389 |
| Period 2 | 57.00 / 0.541 | 56.10 / 0.516 | 33.43 / 0.522 |
| Period 4 | 52.00 / 0.321 | 49.00 / 0.274 | 27.79 / 0.284 |
| Period 8 | 48.50 / 0.211 | 41.30 / 0.154 | 19.09 / 0.164 |
随机调度与 LOWN 成本几乎相同,三项分数却都更低,任务归一化质量差距为 4.9%–13.0%。MathVista 上 Period 4 的 FLOPs 与 LOWN 接近,分数低了 4.0 分。
这就是证书路由的价值:省的不是随便哪一步,而是那些图像不太可能改变决策的步骤。
4.4 消融:大头来自路由,小头来自整段接受
Table 5 把“视觉路由”和“自适应接受”拆开。视觉路由单独工作时,仍按基线顺序每步揭 \(k\) 个;完整 LOWN 再加入 TEXT-ONLY 整段接受与 FULL 分歧优先。
| 基准 | 基线分数 | 仅路由:分数 / FLOPs | 完整 LOWN:分数 / FLOPs |
|---|---|---|---|
| MathVista | 59.10 | 57.60 / 0.5040 | 56.00 / 0.3252 |
| ScienceQA | 76.50 | 77.39 / 0.3554 | 78.83 / 0.2428 |
| ChartQA | 78.16 | 77.76 / 0.7330 | 78.36 / 0.5759 |
| DocVQA | 83.91 | 83.50 / 0.6743 | 82.31 / 0.4517 |
| LLaVA-Bench | 58.20 | 57.90 / 0.7002 | 57.40 / 0.4543 |
| DeCapBench | 33.18 | 33.02 / 0.6840 | 34.43 / 0.3909 |
仅路由已经减少 27%–68% FLOPs;自适应接受又削掉剩余成本的 21%–43%。它在七个基准上提高分数,其余任务最多损失 2.8% 的归一化质量。
也不能把这套收益理解成“步数砍半”。直接把去噪步数改成 \(T/2\) 或 \(T/4\),LLaVA-Bench 会从 58.20 掉到 45.40 和 26.20;LOWN 在 0.454 倍 FLOPs 下仍有 57.40。区别就在于,它不是机械压缩计算,而是把计算挪到更有用的位置。
5. 组合与迁移:真正实用的地方是“能叠加”
5.1 与视觉剪枝组合
RedVTP 保留 50% 视觉 token 时,LOWN 组合达到 98.3% 平均质量、0.223 倍 FLOPs,十个基准都在对应预算下领先其他加速组合。
| 方法,匹配组合预算 | 平均归一化质量 | 平均相对 FLOPs |
|---|---|---|
| RedVTP | 87.8% | 0.253 |
| ZOO-Prune | 88.8% | 0.252 |
| KLASS + RedVTP | 89.3% | 0.247 |
| LOWN + RedVTP 50% | 98.3% | 0.223 |
MathVista 的例子尤其能说明问题:RedVTP 50% + LOWN 得分 54.9、成本 0.195;更激进的 RedVTP 30% 单独运行只得 51.7,成本反而为 0.354。少删图、少看几次,比多删图、每步都看更划算。

图 6:问题要求识别球场上可见的最小码线数字。LLaDA-V 与 LOWN 都回答 30,RedVTP 却因视觉证据被剪掉而列出 0、3、4、10,最终回答 0。LOWN 输出里的蓝色下划线表示 FULL 步骤揭开的 token,其余由 TEXT-ONLY 步骤完成。差别很直白:LOWN 可以晚一点再看完整图像,剪枝丢掉的信息却回不来。
5.2 与 Fast-dLLM 缓存组合
LOWN 只复用预测,不依赖某种缓存内部结构,因此可以放在 Fast-dLLM 的 blockwise 近似 KV cache 之上。实现保留 Fast-dLLM 的缓存块和每 32 次前向刷新设置,并分别维护 FULL 与 TEXT-ONLY prefix cache。
| 任务 | 方法 | 分数 | 时间(秒) | 相对 FLOPs |
|---|---|---|---|---|
| MathVista | LLaDA-V | 59.10 | 7.56 | 1.0000 |
| Fast-dLLM | 57.30 | 2.14 | 0.0856 | |
| Fast-dLLM + LOWN | 57.10 | 1.23 | 0.0457 | |
| LLaVA-Bench | LLaDA-V | 58.20 | 6.99 | 1.0000 |
| Fast-dLLM | 63.00 | 2.02 | 0.0876 | |
| Fast-dLLM + LOWN | 58.00 | 1.25 | 0.0489 | |
| DeCapBench | LLaDA-V | 33.18 | 14.64 | 1.0000 |
| Fast-dLLM | 35.19 | 4.22 | 0.1104 | |
| Fast-dLLM + LOWN | 33.35 | 2.10 | 0.0453 |
在 Fast-dLLM 之上,LOWN 又减少 38.1%–50.1% 的时间、44.1%–58.9% 的 FLOPs。相对原始 LLaDA-V,三项时间加速约为 5.6–7.0 倍。
这里也得泼点冷水:组合方法在三项上都低于 Fast-dLLM 单独运行,LLaVA-Bench 掉了 5.0 分。更快是真的,组合完全不掉分则不是真的。
5.3 迁移到 LaViDa 与 VidLaDA
同一条规则不改决策逻辑,迁到 LaViDa 后保留 99.7% 分数,FLOPs 仅为 0.174 倍。MMBench 上得分 77.18,对基线 76.95,成本 0.088;GQA 上得分 56.54,对基线 56.69,成本 0.091。
VidLaDA-8B 的视频结果也值得看:
| 基准 | VidLaDA | LOWN | 相对 FLOPs |
|---|---|---|---|
| EgoSchema | 60.6 | 60.2 | 0.255 |
| MLVU | 41.8 | 43.3 | 0.272 |
不过视频实验采用受控协议:每个视频 32 帧、128-token 回答、128 个基线扩散步、block length 32,并关闭基线 parallel decoding。它不同于 VidLaDA 发布的 64 帧、两 token 评估方式,所以这组结果更适合证明机制可迁移,不宜直接当成公开榜单对比。
6. 我更关心的四个边界
证书会错,只是实际运行中 anchor 通常很新
在基线轨迹上,使用一步前的 anchor 时,新 FULL 会推翻 4.1%–11.0% 的已认证 token;anchor 变老后,分歧率总体上升,DocVQA 在八步时达到 25.3%。
LOWN 自己的轨迹里,TEXT-ONLY 步骤实际接受 token 的错误率为 2.2%–4.7%。94.8% 的复用 token 使用上一步 anchor,99.7% 的 anchor 年龄不超过两步,最大为五步。FULL 一发生就整体刷新 anchor,是系统能稳住的关键。
但遇到更长回答、更少 FULL 步骤的场景,这个经验分布未必还成立。论文固定了回答预算,真实产品的可变长度生成会不会让 anchor 更容易老化,这块我也会保留一点疑问。
文档与图表阅读没那么好省
DocVQA 的图像依赖步骤为 43.8%,LOWN 成本仍有 0.452;ChartQA 更达到 0.576。密集文字、表格、图表读数需要不断核对视觉证据,无图预测自然更容易露馅。

图 11:问题询问预算文档中 Consumers 来源金额,两个模型都答出 183,000。原始 LLaDA-V 使用 16 次 FULL、成本 1.00;LOWN 用了 14 次 FULL 和 15 次 TEXT-ONLY,成本仍有 0.90。它答对了,却只省下一点计算,这是论文给出的直接反例。
所以“平均 0.353”绝不能直接写成所有视觉任务都省 65%。任务越依赖细粒度视觉,收益越接近基线。
FLOPs 与真实延迟不是同一个口径
论文的解析 FLOPs 只统计 decoder、LM head 和方法相关矩阵乘法,不含只运行一次的视觉 encoder,也不含 softmax、normalization 等非矩阵操作。视觉 encoder 若计入,会占十个基线解码成本的 0.16%–1.89%。
延迟测量则在同一台 NVIDIA H200 服务器、batch size 1 下进行,计时包含解码、多模态准备和视觉编码。LOWN 平均减少 57.4% 生成时间,最高 73.2%。这个时间结果增强了可信度,但离高并发 serving 还有距离:TEXT-ONLY 与 FULL 分支会造成不同样本的计算长度不一,连续批处理如何调度,论文没有回答。
成本无法在解码前严格承诺
证书决定 FULL 次数,输入不同,成本就不同。它不像固定保留率的剪枝那样能事先给出确定预算。对延迟 SLA 或按算力计费的服务,这是个工程问题:需要设最大 FULL 次数、超时降级或监控分位数,而不能只报告平均 FLOPs。
另外,作者构造的 oracle 调度只在图像确实改变决策时看 FULL,平均成本为 0.330,LOWN 为 0.353,差距不算大。但 oracle 仍按基线步数运行,也不是理论下界。LOWN 已靠近这个特定参照,后续空间更多可能在更好的接受顺序与缓存协同,而不是无限压低视觉访问率。
7. 我的判断:这是一个干净、可落地的解码层思路
说实话,这篇论文没有引入新模型、新训练目标,也没有复杂的 router 网络。它做的只是把两次已有预测放在一起比较,再把比较结果接到解码控制上。
恰恰因为简单,工程迁移成本低。
如果你在做扩散 VLM 推理,我会优先试这几件事。
先测 FULL/TEXT-ONLY 分歧曲线,不要直接套方法。确认自己的任务是否真的存在大段 Text-Sufficient 区间。
把证书判据与接受策略分开监控。前者影响 FULL 次数,后者影响步数,出问题时不要混成一个指标。
保留分歧优先与 repetition guard。它们不是装饰,一个保护视觉关键 token,一个抑制并行接受带来的重复词。
与剪枝组合时用较温和的保留率。LOWN 已经减少看图次数,再激进删视觉信息,反而容易丢掉无法恢复的证据。
生产环境看 P95/P99 延迟和 FULL 次数分布。平均值漂亮,不代表文档类长尾请求也能按时返回。
我觉得 LOWN 的定位不是“扩散 VLM 加速的终点”,而是一个很清楚的控制轴:视觉 token 剪枝决定每次看什么,证书路由决定什么时候看,缓存决定看过的东西怎么复用。 三件事可以各自独立,也能在同一套解码器里配合。
这篇论文最值得带走的,也不是 99.6% 这个平均数,而是一个更普遍的判断:迭代生成里,输入条件不变,不代表每一步都必须重新计算它。只要能用廉价检查识别“这次重算不会改变决策”,类似的按需路由就有机会迁移到别的模态和别的迭代模型上。
当然,检查本身也会花钱,证书也可能误判。LOWN 的好处是,它把这笔交换算明白了,并用十个基准、三种骨干和实际 H200 延迟把边界摊在桌面上。这样的工作,值得细读。
参考资料
- LOWN 论文:https://arxiv.org/abs/2610.36671
- LOWN HTML 全文:https://arxiv.org/html/2610.36671v1
- 项目与代码:https://hyeon9698.github.io/LOWN/
觉得有启发的话,欢迎点赞、在看、转发。跟进最新AI前沿,关注我