多 Token 预测不是越多监督越好:Soft-MTP 用一行代码留下有用梯度

给语言模型多加几个未来 token 预测头,听起来怎么都不亏:监督信号更密,数学和代码能力可能更好,这些头还能顺手充当投机解码的草稿模型。可训练曲线里有个很别扭的现象——标准 MTP 的辅助损失在学,下一 token 预测却可能被它拖住。

Soft-MTP 给出的解释很干脆:标准 MTP 的梯度里混着两种东西,一种是高信噪比的自蒸馏信号,另一种是低信噪比、还与 NTP 更新方向冲突的残差。更妙的是,不必重新设计损失,也不用显式计算整词表 KL;改一行 PyTorch 代码,就能把后者从传回 MTP 头和共享主干的梯度里扣掉。

核心摘要

这篇论文把标准 MTP 的交叉熵梯度精确拆成 KL 自蒸馏项与数据残差,并用直通梯度路由只保留前者。167M 到 1.2B 的实验中,Soft-MTP 在四个规模都降低 NTP 困惑度、提高零样本平均准确率并加快自投机解码;1.2B 的零样本均分从 56.80 提到 57.31。单张 H200 上,它的吞吐与标准 MTP 相差 0.07%,融合交叉熵下峰值显存相同。我觉得它最值钱的不是“一行代码”这个卖点,而是把辅助目标里真正有用的那部分梯度找了出来;不过,验证规模停在 1.2B,前沿模型上的收益仍待实测。

论文信息

  • 标题:Multi-Token Prediction Done Right
  • 作者:Jayden Teoh
  • 机构:arXiv 摘要页未列
  • 提交日期:2026 年 10 月 28 日,v1
  • 论文链接:https://arxiv.org/abs/2610.38331
  • 代码链接:https://github.com/JaydenTeoh/Soft-MTP

MTP 的两份收益,也藏着一份冲突

先把场景摆清楚。普通下一 token 预测(NTP)只要求模型根据前缀猜下一个 token。多 token 预测(MTP)则额外放上 \(K\) 个预测头:第 \(k\) 个头预测更靠后的 token。Meta 2024 年的工作采用并行头,DeepSeek-V3 则把 MTP 模块串起来,让后续预测能利用前一层的表示与中间真实 token。两者结构不同,但通常都和 NTP 共享线性 LM Head。

这套设计同时服务两个目标:

目标 需要的模型行为 评价方式
更好的预训练 从未来位置的监督中学到更长程的表示 困惑度、零样本能力、下游微调
更快的投机解码 MTP 草稿尽量被模型自己的 NTP 头接受 接受长度、解码加速比

第二个目标特别值得盯紧。草稿 token 并不是“看起来像训练语料”就会被接受,它得通过当前模型 NTP 分布的校验。于是,一个自然想法是让 MTP 分布 \(p\) 靠近位置对齐后的 NTP 分布 \(q\),也就是做模型内部的自蒸馏。

已有工作确实试过显式 KL、top-k logits 近似或 argmax 对齐。麻烦在于,完整 KL 通常要同时拿到教师与学生的整词表分布。词表乘上序列长度后,这笔显存账很难看,也会破坏融合交叉熵内核“不物化完整 logits”的优势。论文引用的 Nemotron 3 Ultra 还选择在 post-training 阶段做 MTP Boosting,而 Soft-MTP 把同类对齐思想挪进预训练。

作者的转折在于:没必要另外架起一套昂贵的蒸馏目标,标准 MTP 梯度里已经藏着这份 KL 信号。

梯度一拆开,问题就露出来了

设第 \(k\) 个 MTP 头在位置 \(t\) 的分布为 \(p_t^{(k)}\),它预测 \(x_{t+k+1}\)。NTP 头要预测同一个 token,得看位置 \(t+k\) 的输出,因此定义位置对齐的教师分布:

\[q_t^{(k)}=p_{t+k}^{(0)}\]

两者共用线性输出矩阵 \(W_\theta\)。对 MTP 隐状态 \(\mathbf h_t^{(k)}\) 求标准交叉熵梯度,可以得到:

\[g_{\mathrm{hard}}=W_\theta^\top(p_t^{(k)}-x_{t+k+1})=\underbrace{W_\theta^\top(p_t^{(k)}-q_t^{(k)})}_{g_{\mathrm{KL}}}+\underbrace{W_\theta^\top(q_t^{(k)}-x_{t+k+1})}_{g_{\mathrm{res}}}\]

这里 \(x_{t+k+1}\) 表示真实 token 的 one-hot 向量。这个等式没有近似,只是把 \(-q+q\) 插进去再分组,但两组项的职责完全不同。

\(g_{\mathrm{KL}}\) 是让 MTP 分布靠近停止梯度的 NTP 教师分布,也就是 \(\nabla_{\mathbf h}D_{\mathrm{KL}}(\operatorname{sg}(q)\Vert p)\)。它由模型自身的两个分布决定,不直接依赖本次采样到的 one-hot 目标。

\(g_{\mathrm{res}}\) 则等于对齐位置上的 NTP 交叉熵梯度。它还可以继续拆成“NTP 预测误差”与“one-hot 采样噪声”。模型变大、训练更久,前者的幅度有望缩小;后者来自从真实分布里只抽到一个离散 token,不会随规模自动消失。

所以 Soft-MTP 做的是一笔偏差—方差交换:去掉残差会丢掉一部分朝向真实数据分布的校正,让 MTP 头更偏向模型自己的 NTP 预测;换来的是更低的采样方差。对语言建模,这个偏向需要实验验证;对投机解码,它反而正中目标,因为校验者正是 NTP 头。

一行代码怎样扣掉残差

直觉上,既然 \(g_{\mathrm{hard}}=g_{\mathrm{KL}}+g_{\mathrm{res}}\),只要再往 MTP 隐状态送入一个 \(-g_{\mathrm{res}}\),就能留下 \(g_{\mathrm{KL}}\)。Soft-MTP 用直通式路由实现了这件事:

h0[:, k:] += hk.detach() - hk

图1a:Soft-MTP 的前向结构与梯度路由

图1a:灰色箭头是前向传播,红色是交叉熵梯度,蓝色是进入共享主干的 KL 梯度。NTP 与 MTP 表示共享 LM Head;直通路由改变的是反向路径,不改变前向输出。

这行代码在前向时加上 \(hk.detach()-hk=0\),数值完全不变。反向时,detach 分支不传梯度,负号分支把 NTP 损失在对齐位置产生的交叉熵梯度反向送进 \(hk\)。它刚好是 \(-g_{\mathrm{res}}\),与标准 MTP 损失已有的 \(g_{\mathrm{res}}\) 相消。

等等,显式 KL 不也能做到同样的事吗?梯度目的地并不完全一样。

训练目标 共享输出头 \(W_\theta\) 收到的 MTP 梯度 MTP 头与共享主干收到的梯度 是否显式物化整词表 KL 分布
标准 MTP 交叉熵梯度 交叉熵梯度 否
KL-MTP KL 梯度 KL 梯度 是
Soft-MTP 交叉熵梯度 KL 梯度 否

Soft-MTP 这个分工很讲究。主干和 MTP 头拿到干净的自蒸馏信号,共享输出头仍然接受真实数据的交叉熵监督。后者避免了共享读出层只靠“缩小自己对 NTP/MTP 差异的敏感度”来降低 KL 的捷径。

工程上还有两个约束不能漏掉。方法要求相关分布共享线性输出头;做序列切分时,位置对齐需要读到未来 \(k\) 步的隐状态,因此分片边界要交换至多 \(K\) 份隐状态梯度。数据并行、ZeRO 和专家并行不增加这项通信,流水线并行则要求 MTP 模块与输出头处于同一阶段。所谓“一行改动”是真的,但“任何分布式实现都零改动”就有点说过头了。

残差不是无辜噪声:它占了约 80% 的主干梯度

作者用 256 个独立 batch 估计梯度信号与噪声,每个 batch 含 4 条长度 2048 的序列。这里的 SNR 是期望梯度方向的平方范数除以围绕该方向的总方差,并采用无偏估计修正有限 batch 带来的偏差。

图3a:不同规模下 KL 与残差分量的梯度信噪比

图3a:蓝色 KL 分量在四档规模、整个训练过程中都高于红色残差;纵轴为对数尺度。论文汇总的比例约为 4 倍,167M 时为 4.1 倍,1.2B 时拉大到 4.6 倍。

图3b:1.2B 模型共享主干的梯度信噪比

图3b:KL 分量的 SNR 在训练中保持在较高水平,残差和原始 hard MTP 梯度下降更快。混合后的 hard 梯度并没有继承 KL 的高质量信号,反而被残差压低。

单看 SNR 还不够,低质量分量若只占很小比例,影响可能有限。下面这张图把问题坐实了。

图3c:MTP 梯度进入共享主干时各分量的占比

图3c:残差在 167M、332M、689M、1.2B 上分别占 77%、78%、80%、80%,KL 分量则占 23%、22%、20%、20%。低 SNR 的部分反而拿走了大部分梯度范数。

更有说服力的是方向探针。作者沿不同分量对共享主干的隐状态走一步,再冻结输出头重算 NTP 损失。这个实验只刻画 trunk–MTP 接口处的局部行为,不等同于真实优化器的一步更新,但方向很一致。

图4a:KL 与残差分量对 NTP 损失的局部影响

图4a:蓝色 KL 方向持续降低 NTP 损失,红色残差方向持续推高 NTP 损失;四档规模和训练全程都保持这个符号关系。纵轴采用 symlog,以同时展示正负变化。

说实话,看到这里我才觉得“残差有害”不只是对低 SNR 的联想。低 SNR 本身只能说明噪声大,方向探针进一步显示它与 NTP 目标相冲。不过,这个探针仍是局部代理实验,真正要下结论,还得看完整训练与下游结果。

四个规模的训练结果:收益稳定,但不是每项都赢

实验使用 LLaMA 风格模型,规模为 167M、332M、689M、1.2B,主干之外采用 DeepSeek 式顺序 MTP,\(K=3\),\(\lambda_{\mathrm{MTP}}=1.0\)。每个 MTP 头占主干非嵌入参数的 3.2%。模型都在 FineWeb-Edu 上训练 60,000 步,序列长度 2048,每步约 0.5M token,总量约 31.5B token;优化器主体为 Muon。附录还给了 Meta 式并行头结果,方向同样支持 Soft-MTP。

语言建模与零样本能力

规模 目标 FineWeb-Edu ppl ↓ WikiText ppl ↓ LAMBADA ppl ↓ 零样本均分 ↑
167M NTP 15.230 27.311 42.157 47.42
167M MTP 15.983 29.074 43.013 46.84
167M Soft-MTP 15.952 28.318 43.790 46.91
332M NTP 13.073 22.482 26.005 50.79
332M MTP 13.602 23.856 26.997 50.38
332M Soft-MTP 13.551 23.249 28.566 50.46
689M NTP 11.442 19.157 18.079 54.79
689M MTP 11.834 20.265 18.560 54.47
689M Soft-MTP 11.724 19.316 17.977 55.01
1.2B NTP 10.572 17.503 14.159 56.75
1.2B MTP 10.891 18.156 14.996 56.80
1.2B Soft-MTP 10.741 17.489 14.073 57.31

Soft-MTP 相对标准 MTP 的零样本均分提升依次为 0.07、0.08、0.54、0.51 个点。小模型上只能说方向一致,还称不上拉开差距;689M 和 1.2B 才开始超过纯 NTP 基线。这个尺度依赖与作者的理论叙述对得上:NTP 教师变强后,自蒸馏偏差缩小,而 one-hot 采样噪声仍在。

图1b:四档规模的验证集 NTP 损失

图1b:蓝色 Soft-MTP 在四档规模都以更低的 NTP 损失收尾,相对标准 MTP 的末值差依次为 -0.002、-0.004、-0.009、-0.014,差距随规模扩大。

图1c:四档规模的验证集 MTP 损失

图1c:Soft-MTP 并非所有规模都降低 MTP 损失。167M 与 332M 的末值差为 +0.009、+0.006;到 689M 与 1.2B 才转为 -0.001、-0.007。

这两张图放在一起很重要。标题里的“Done Right”容易让人期待全面碾压,实际结果更克制:NTP 学习在四个规模都改善,MTP 自身损失则从 689M 起才改善。作者没有藏掉小模型上的反例,这反而让尺度相关的解释更可信。

自投机解码:每个领域都赢,幅度约百分之几

评测覆盖 FineWeb-Edu、Wikipedia、Books、Science、Math。每个领域抽 256 个长度 512 的 prompt,生成 512 个 token,用三个 MTP 头起草、模型自身 NTP 头校验。接受长度不计入那个始终会被接受的下一 token。

规模 目标 NTP/MTP KL ↓ TV ↓ FineWeb-Edu 加速比 ↑ FineWeb-Edu 接受长度 ↑
167M MTP 0.485 0.305 1.90 1.52
167M Soft-MTP 0.470 0.300 1.92 1.54
332M MTP 0.448 0.288 1.96 1.57
332M Soft-MTP 0.430 0.282 1.98 1.60
689M MTP 0.410 0.271 1.88 1.62
689M Soft-MTP 0.390 0.265 1.90 1.66
1.2B MTP 0.384 0.260 1.74 1.67
1.2B Soft-MTP 0.364 0.253 1.76 1.70

跨五个领域平均,接受长度提高 1.8%–2.2%,加速比提高 1.4%–1.5%。这个幅度不夸张,却很符合机制:MTP 分布离 NTP 校验者更近,草稿就更容易通过。也要看到,1.2B 的 FineWeb-Edu 接受长度只从 1.67 到 1.70,加速比从 1.74 到 1.76;如果部署时投机解码的其他系统开销很大,这点增益未必能等比例转化为端到端收益。

微调迁移:代码更亮眼,数学也有提升

1.2B 预训练模型会丢弃 MTP 头,再只用 NTP 损失微调。数学使用 4.2B token 的 OpenMathInstruct-2,代码使用 21.0B token 的 Stack-Edu Python 子集。

指标 NTP MTP Soft-MTP
HumanEval pass@16 28.89 31.70 31.99
HumanEval pass@32 33.77 36.37 37.26
HumanEval pass@64 39.02 40.85 43.90
MBPP pass@16 47.83 48.28 47.88
MBPP pass@32 53.65 54.56 54.59
MBPP pass@64 58.80 59.80 61.00
GSM8K 47.69 48.60 49.66
MATH-500 24.80 23.20 25.00

Soft-MTP 在八个格子中赢标准 MTP 七个,只有 MBPP pass@16 低 0.40 个点;它也是三者中唯一没有在任一指标上跌破 NTP 基线的目标。HumanEval pass@64 从 40.85 到 43.90,差 3.05 个点,MATH-500 则比标准 MTP 高 1.80 个点。

这里得泼一小盆冷水。代码结果在 0.1 到 1.0 的温度网格中取每个方法的最佳值,而且最亮眼的是 pass@64,不是固定解码配置下的 pass@1。三种方法享受同样的温度搜索,比较并非不公平,但部署时若没有多次采样预算,不能直接期待 3.05 个点的收益。主表也没有报告跨随机种子的方差,小幅差异需要更多重复实验来加固。

权重与预测范围消融

332M 模型上还做了两组较短训练,每个模型使用 7.3B FineWeb-Edu token。固定 \(K=3\) 时,\(\lambda_{\mathrm{MTP}}\) 扫过 0.25、0.5、0.75、1.0;固定 \(\lambda_{\mathrm{MTP}}=1.0\) 时,\(K\) 从 3 扫到 8。Soft-MTP 在所有权重上都同时取得更低的 NTP 与 MTP 损失,也在 NTP 损失—NTP/MTP KL 平面上占优;所有测试 horizon 下,它的 NTP 和 MTP 损失同样更低。这里没有挑出某个“神奇权重”来救场,结论对这两组超参数至少是有鲁棒性的。

为什么不直接优化 KL:成本与读出层几何都不划算

1.2B、\(K=3\) 的成本测试在单张 NVIDIA H200 上完成。吞吐与 MFU 使用各方法能容纳的最大 micro-batch;峰值显存则在统一的 micro-batch 19 下比较。

目标 Matmul FLOPs(GFLOP/token) 吞吐(tok/s) MFU 朴素 CE 峰值显存 融合 CE 峰值显存
NTP 8.16 62,851 51.9% 98.3 GB 95.5 GB
MTP 10.28 49,783 51.7% 120.7 GB 107.0 GB
KL-MTP 10.43 46,990 49.6% 129.8 GB 128.1 GB
Soft-MTP 10.28 49,748 51.7% 121.0 GB 107.0 GB

相对标准 MTP,显式 KL-MTP 多 1.5% 的 Matmul FLOPs,吞吐低 5.6%,融合 CE 下峰值显存高 21.1 GB。Soft-MTP 的 FLOPs、MFU 和融合 CE 显存与 MTP 相同,吞吐低 35 token/s,即约 0.07%。所以“无可测开销”应当限定在这套单卡设置里,不能外推成所有集群、所有并行策略都严格免费。

质量上,Soft-MTP 与 KL-MTP 在 1.2B 的投机解码几乎打平:FineWeb-Edu 加速比都是 1.76,接受长度分别为 1.70 和 1.71,KL-MTP 略高。零样本均分是 Soft-MTP 的 57.31 对 KL-MTP 的 57.22;代码六项由 Soft-MTP 全胜,数学两项则由 KL-MTP 更高,GSM8K 为 50.34 对 49.66,MATH-500 为 26.00 对 25.00。

最有趣的对照发生在共享读出层。作者把最终 RMSNorm 增益与 unembedding 合并为 \(W_\gamma\),再测其有效秩。

图6:不同目标下共享 logit map 的有效秩

图6:NTP、标准 MTP、KL-MTP、Soft-MTP 的有效秩分别为 496、131、321、437。Soft-MTP 最接近纯 NTP 的读出几何,标准 MTP 的塌缩最明显。

这组数不能单独证明“有效秩越高,模型越好”,但它提供了一个可检验的旁证:Soft-MTP 保留输出头的数据交叉熵梯度,同时清掉进入主干的残差,避免了显式 KL 在共享读出层上的捷径,也减轻了标准 MTP 对读出几何的破坏。

我的判断:真正值得带走的是梯度路由,不是宣传语

这篇工作的贡献可以压成三层。

它先给出一个简洁、精确的 MTP 梯度分解,把“辅助目标是否有害”从模糊感受变成可测量的两个分量;随后用 SNR、梯度占比、方向探针和完整训练结果串起证据链;落地时又利用共享线性输出头,把 KL 梯度的恢复塞进现有交叉熵计算图,没有要求团队换掉融合内核。这个组合很完整,而且代码修改成本足够低,值得仍在使用 MTP 的训练团队做一次严格 A/B。

我也有几处保留。说实话,我也不能确定这些收益能否原样延伸到百亿或千亿模型。最大模型只有 1.2B,预训练只有 FineWeb-Edu 这一条主数据设置,论文关于“规模越大越划算”的推论还没有在真正的前沿规模上验证。1.2B 约为 31.5B token 的 Chinchilla 最优训练量的 1.3 倍,这个配比不能覆盖更长训练、不同数据配比和 MoE 架构。显式 KL 的详细对照也集中在 1.2B,小模型上的成本—质量权衡没有同样展开。

再往工程里走一步,我建议不要只抄那一行代码后就盯着训练 loss。至少同时记录四组账:NTP/MTP 验证损失、共享输出头的几何或范数、投机解码的真实接受长度、目标并行策略下的端到端吞吐。尤其在上下文并行或序列并行中,边界梯度交换可能把单卡上近乎免费的操作变成可见通信;而数学微调里 KL-MTP 反超,也说明“只保留自蒸馏”并非每个下游指标上的固定答案。

如果前沿模型继续保留 MTP,Soft-MTP 很可能是一个低门槛的默认候选;如果行业转向 Medusa、EAGLE、DSpark 这类后训练草稿器,KL 梯度恢复技巧仍有独立价值。只要教师与学生共享线性输出头,同一条思路就可能迁移到其他自蒸馏或 KL 正则场景。相比“MTP 终于做对了”这句大标题,我更愿意把它看成一个很实用的提醒:辅助损失不该只按数值设计,也该按梯度去向审计。


参考资料

  1. Jayden Teoh. Multi-Token Prediction Done Right. arXiv:2610.38331, 2026. https://arxiv.org/abs/2610.38331
  2. Fabian Gloeckle et al. Better & Faster Large Language Models via Multi-token Prediction. ICML 2024. https://arxiv.org/abs/2404.19737
  3. DeepSeek-AI. DeepSeek-V3 Technical Report. 2024. https://arxiv.org/abs/2412.19437
  4. Yaniv Leviathan et al. Fast Inference from Transformers via Speculative Decoding. 2022. https://arxiv.org/abs/2211.17192

觉得有启发的话,欢迎点赞、在看、转发。跟进最新AI前沿,关注我