技能库不是越大越好:Skill Adapter 用个性化补丁和在线路由帮智能体选对经验

让一个智能体把英文合同翻译成中文 PDF,听起来只是把几个现成工具串起来:提取 PDF、翻译、生成文件。可用户补一句“保留原来的分页、版式和批注”,事情就变了。普通文本提取可能已经不够用,接下来还要读取文字坐标、页码和阅读顺序,并把版式重建插进执行链路。

更麻烦的是,这些要求不会总在任务开始时整整齐齐地出现。上游提取出了什么、某个工具是否可用、用户看到中间结果后又反馈了什么,都可能改变下一步该用哪条经验。技能库越大,这个选择问题越尖锐:经验多了,干扰项也多了。

Skill Adapter 抓住的就是这个真实矛盾。它不把每个用户的差异都复制成一份新技能,而是给通用技能挂上可增删改的 Adapter;同时让路由智能体跟着任务进度持续更新技能供给,而不是在开工前一次性检索完。

核心摘要

这篇论文解决两个问题:通用技能无法表达用户特有的工具、流程和输出要求;长程任务中的技能选择又会随输入和环境状态变化。Skill Adapter 将用户差异存成挂在通用技能上的局部 Adapter,再由路由策略按当前 DAG 节点选择“技能+Adapter”,增量维护在线技能库并预加载后续候选。相比 SkillRL,它在 ALFWorld、WebShop、SkillsBench 上的成功率分别提高 8.34、8.80、17.14 个百分点,平均提升 11.43 个百分点,三个基准的平均执行时间也都下降。我的判断是:这不是新的底层推理算法,而是一套把技能表示、个性化版本管理和在线编排串起来的系统设计;思路扎实,但个性化评测和规模化验证仍有明显边界。

论文信息

  • 英文标题:Skill Adapter: Personalized Modification and Online Routing of General-Purpose Skills
  • 作者:Qijia Zhuang、Yanyi Gou、Wenbin Ma、Yuxiang Ren
  • 机构:Nanjing University(南京大学)、Jiangnan University(江南大学)
  • 提交日期:2026 年 11 月 12 日
  • 论文链接:https://arxiv.org/abs/2611.17007
  • arXiv ID:2611.17007v1,cs.AI
  • 篇幅:9 页,3 张图,3 个表

一、真正的痛点不是“有没有技能”,而是“此刻该用哪个版本”

早期智能体复用经验的方式很直接:保存成功轨迹,遇到相似任务时再取出来。Voyager 会把成功行为封装成可执行函数,ExpeL 从成败轨迹中提炼规则,Reflexion 则利用语言反馈调整后续决策。再往后,SkillRL 用分层 SkillBank 和递归演化减少原始轨迹的冗余,并联合优化技能使用策略。

这些工作解决了“经验能否复用”,却留下两个不太好处理的缝。

一条缝在通用流程与个人要求之间。同样是翻译合同,通用技能可以描述“提取—翻译—生成”,但某个用户要求保留版式,另一个用户只关心正文。如果把两种做法都写成独立技能,公共流程被反复复制,后续维护很容易失控;如果只保留通用版本,用户要求又无处安放。

另一条缝在任务开始前的检索与执行中的真实状态之间。静态检索默认任务描述已经包含足够信息,可长程任务并不是这样运作的。后续节点依赖上游输出,工具状态会变化,环境反馈也会带来新约束。开场选出的技能列表,执行到一半可能就过期了。

图1:用户要求如何改变技能选择与组合

图 1:合同翻译案例。左侧 Vanilla 直接从扁平技能库选择普通 PDF 提取、法律翻译和 PDF 生成,漏掉版式重建,最终得到版式保留较差的中文 PDF。右侧利用技能图和相似历史轨迹,按成功率过滤普通提取与版式感知提取,再把版式感知提取、法律翻译、版式重建、PDF 生成及组合关系、操作程序打包交给执行器。图内底部沿用了“Skill Steward (Ours)”字样,与正文的 Skill Adapter 名称不一致,应是命名修改后留下的痕迹。

说实话,这个例子比抽象地讲“个性化技能管理”更有说服力。用户并没有要求一种全新能力,只是同一能力的验收标准变了;而验收标准会反过来改变工具参数、执行步骤和技能组合。

二、Skill Adapter 的整体思路:共享主干,局部打补丁,执行中换路由

一句话概括:通用技能是共享主干,Adapter 是带适用条件的局部差异,在线技能库则是当前任务的动态工作区。

图2:Skill Adapter 整体框架

图 2:左侧 Skill Memory 从历史执行轨迹提取通用技能,技能记录包含基础技能 ID、操作程序和 Adapter ID,并按主题及组合关系组织。右上 Personalized Modification 根据用户要求与执行反馈新增、更新或删除 Adapter,通过修改前后的任务表现训练策略;Online Routing 为当前子任务选技能与适用 Adapter。下方执行阶段把“任务+状态”和任务 DAG 交给在线路由,当前节点所需的技能、Adapter 与使用指引进入在线技能库,主 LLM 按需读取执行,同时预加载后续节点,并根据进度和环境反馈刷新。

图里有三条相互连接的链路。技能记忆负责沉淀公共经验,个性化修改负责维护用户差异,在线路由负责把合适的版本送到当前执行节点。主 LLM 始终冻结,训练的是修改策略和路由策略,不是重新微调执行器。

这个分工挺漂亮。它把“执行能力”和“经验管理”拆开,避免每次技能库变化都去动主模型;也让同一个通用技能可以服务多个用户,而不必复制整套流程。


三、个性化修改:Adapter 存的不只是偏好,还有证据和适用条件

1. 通用技能保留公共执行结构

系统从历史轨迹中提取可复用目标、操作顺序、工具调用过程以及输入输出约束,形成通用技能池 \(\mathcal{G}\)。每条技能包含名称、功能描述、通用执行程序、输入约束和输出约束;技能按主题组织,并保留由成功轨迹支持的有向组合关系。

轨迹池也没有被丢掉。它记录任务、用户上下文、实际调用的技能及版本、环境观察、用户反馈或环境诊断、最终结果。这样,Adapter 的修改不是凭空生成,而能回到具体执行证据。

2. Adapter 是局部差异,不是技能副本

对用户 \(u\) 和技能 \(s_i\),第 \(k\) 个 Adapter 记录四类信息:关联的基础技能 ID、适用条件 \(p_{u,i,k}\)、局部修改 \(\Delta_{u,i,k}\)、使用记录与反馈证据 \(\kappa_{u,i,k}\)。执行时得到个性化技能:

\[\widetilde{s}_{u,i,k}=\operatorname{Apply}(s_i,\Delta_{u,i,k})\]

局部修改可以换工具、调参数、增删步骤、改变输出格式或增加验证要求。回到合同案例,通用 PDF 提取技能保持不变,Adapter 只补充“提取文字位置、页码和阅读顺序”等要求。

修改策略 \(\pi_{\mathrm{mod}}\) 会基于通用技能、用户上下文、相关历史记录和已有 Adapter,选择新增、更新或删除。反复出现的偏差可以沉淀成可复用修改;用户要求变化时,则依据新反馈更新对应 Adapter。

这里有个值得强调的细节:没有适用条件时,系统仍可直接使用原始通用流程。 Adapter 不是强制叠加的额外上下文,而是一个可选版本。这比“把所有历史偏好都塞进提示词”更克制,也更不容易让旧偏好污染新任务。

四、在线路由:不是一次检索,而是跟着 DAG 持续维护供给

主 LLM 先把任务分解为有向无环图 DAG。路由智能体处理当前已经就绪的节点,并为依赖上游结果的后续节点准备候选。

检索阶段先按主题与语义匹配取出候选,再沿技能组合关系扩展。随后,系统结合当前输入、工具状态和适用条件筛选 Adapter,形成“通用技能—Adapter”候选对;原始通用流程也作为空 Adapter 选项保留。路由策略 \(\pi_{\mathrm{route}}\) 从合法候选中选出有序组合。

选中的结果不会直接堆进主 LLM 的整段上下文,而是写入任务级在线技能库。每条记录包含通用技能引用、选中的 Adapter、适用节点、组合关系和使用指引。主 LLM 只读取当前节点需要的内容。

执行之后发生的那一步更关键:仍然适用的条目继续复用,失效条目被删除或替换,新需求触发重新检索和 Adapter 选择。后续节点虽然可以提前准备候选,但必须等真实输入确定后再检查适用条件。

你想想看,这其实把技能路由从“检索题”变成了“状态维护题”。静态方法回答的是“哪条技能和任务描述相似”,Skill Adapter 还要回答“这条技能在当前输入、当前工具状态和当前用户约束下是否仍然可用”。

一个简化执行循环可以写成:

将任务分解为 DAG,初始化就绪节点
while 任务未完成:
    根据节点目标、用户上下文、执行历史检索通用技能
    按真实输入、工具状态、适用条件筛选 Adapter
    选择有序的技能—Adapter 组合并刷新在线技能库
    主 LLM 读取当前节点条目并执行
    记录观察、实际使用的技能与 Adapter ID
    保留适用条目,替换失效条目,预加载后续候选
任务结束后,将轨迹和反馈用于后续 Adapter 与策略学习

五、GRPO 怎么训练两条策略:奖励盯住“改完有没有用”和“选完能不能成”

修改与路由策略分别训练,同一输入采样 \(K\) 个候选决策,再用组内相对奖励构造优势。执行器始终冻结。

个性化修改的奖励很直白:固定通用技能池、用户条件、执行器和路由配置,在留出的任务集上比较修改前后的成功率,差值按百分点放大为奖励。这个设计避免只看 Adapter 文本写得是否漂亮,直接看执行结果有没有改善。

路由奖励把任务成败与技能选择质量合在一起。设选中技能的基础 ID 集合为 \(S_j\),参考技能集合为 \(S_j^{\mathrm{gold}}\),\(m_j=|S_j\cap S_j^{\mathrm{gold}}|\),\(n_j=|S_j|\),\(k_j=|S_j^{\mathrm{gold}}|\),则:

\[R_j^{\mathrm{route}}=\begin{cases}\dfrac{2m_j}{n_j+k_j}, & y_j=\mathrm{success}\\[4pt]-1, & y_j=\mathrm{failure}\end{cases}\]

成功时,奖励就是选中技能与参考技能之间的 F1;失败时统一给负奖励。不同 Adapter 共享父技能 ID,因此版本选择是否合适,通过最终任务结果进入奖励,而不是靠另一套 Adapter 标签。

这个奖励相当务实:选对一堆技能但没完成任务,不会得到正反馈;任务成功但塞入过多无关技能,F1 也会压低得分。不过,参考技能集合怎样构建、由谁标注,正文没有展开。这块会直接影响路由训练信号的可信度,也是复现时需要补上的细节。


六、实验结果:提升不只在成功率,执行时间也一起降了

1. 实验设置

三个测试集分别包含 420 个 ALFWorld 任务、1500 个 WebShop 任务和 210 个 SkillsBench 任务,交互预算依次为 50、15、30 步。ALFWorld 与 WebShop 的执行器为 Qwen3-8B,SkillsBench 使用 GPT-5-mini。

前两个基准从 AgentTraj-L 训练轨迹聚类,并用 GPT-5.2-Codex 提取通用技能;SkillsBench 则合并基准自带技能。修改与路由策略均使用 Qwen3-8B,训练输入来自 ALFWorld 训练轨迹和技能。

候选检索采用 BGE-M3:先选 3 个相关主题、检索 20 条技能,再沿组合关系扩展,候选上限 30,路由最多选择 8 条通用技能。GRPO 组大小为 8,学习率 \(1\times10^{-6}\),裁剪系数 0.2,KL 系数 0.01,全局 batch size 为 64,每个阶段更新 100 次。主表报告随机种子 42、43、44 三次运行的均值。

2. ALFWorld 与 WebShop 主结果

方法 ALFWorld SR ↑ ALFWorld 时间/秒 ↓ WebShop Score ↑ WebShop SR ↑ WebShop 时间/秒 ↓
Backbone (ReAct) 52.86 88.6 46.00 19.80 72.4
Backbone (all skills) 27.62 121.5 24.80 7.53 103.7
Backbone + BM25 61.67 81.3 58.13 25.27 66.8
LLM as Selector 65.00 99.7 61.00 28.87 82.5
SkillRouter 69.76 76.8 68.87 46.13 62.4
Graph of Skills 70.71 79.5 67.93 46.73 65.1
SkillRL 87.14 70.6 85.20 72.73 57.8
Skill Adapter 95.48 61.9 92.67 81.53 50.7

表 1:ALFWorld 与 WebShop 主实验,所有数值来自论文 Table 1。SR 为成功率。

最扎眼的一组对照不是 Skill Adapter 与 ReAct,而是“all skills”与各种选择方法。把整个技能池交给模型,ALFWorld 成功率只剩 27.62%,比不使用技能的 ReAct 还低 25.24 个百分点;WebShop 也从 19.80% 降到 7.53%。技能多并不会自动带来能力增长,错误经验和过长上下文反而会干扰执行。

相对最强基线 SkillRL,Skill Adapter 在 ALFWorld 上从 87.14% 提到 95.48%,WebShop 从 72.73% 提到 81.53%。六类 ALFWorld 任务中,Look 的涨幅最大,从 69.23% 到 89.74%,提升 20.51 个百分点;其余五类提升 3.81 至 10.41 个百分点。

3. SkillsBench 主结果

方法 SR ↑ Mean reward ↑ Mean time/秒 ↓
Backbone (ReAct) 7.14 9.65 468.3
Backbone (all skills) 9.05 14.87 621.4
Backbone + BM25 13.33 17.24 525.2
LLM as Selector 14.76 18.63 587.3
SkillRouter 17.62 19.46 615.0
Graph of Skills 18.57 23.09 462.9
SkillRL 21.43 25.33 529.4
Skill Adapter 38.57 34.90 398.9

表 2:SkillsBench 主实验,执行器为 GPT-5-mini,数值来自论文 Table 2。

SkillsBench 上,Skill Adapter 比 SkillRL 高 17.14 个百分点,是三个基准中最大的成功率增益;平均奖励也从 25.33 增至 34.90。绝对成功率 38.57% 并不算高,说明这类“识别、选择并使用外部技能”的任务本身仍然很难,不能把相对提升读成问题已经解决。

时间结果也值得一提。相比 SkillRL,ALFWorld 从 70.6 秒降至 61.9 秒,WebShop 从 57.8 秒降至 50.7 秒,SkillsBench 从 529.4 秒降至 398.9 秒。按表中均值计算,分别减少约 12.3%、12.3%、24.6%。虽然多了路由推理,但按需读取、复用已有条目和后续节点预加载减少了主执行器的负担,最终总耗时反而更低。

不过,论文只给平均时间和三次运行均值,没有方差、置信区间或显著性检验。95.48% 这样的高点数很吸引人,但波动范围没有展示,读数时还是要留一点余地。

七、消融实验:性能不是某一个模块单独撑起来的

阶段 变体 ALFWorld WebShop SkillsBench 平均 SR
Skills 仅轨迹池 52.86 25.93 9.05 29.28
Skills 加通用技能池 70.24 41.53 13.81 41.86
Routing 加组合关系与使用指引 76.90 51.47 16.67 48.35
Routing 加 DAG 预加载 80.71 57.07 20.48 52.75
RL 训练修改策略 87.86 68.80 23.81 60.16
RL 训练路由策略 90.95 73.93 30.95 65.28
Full 完整 Skill Adapter 95.48 81.53 38.57 71.86

表 3:论文 Table 3 的完整消融结果,指标均为成功率,Avg. 为三个基准的算术平均。

仅从轨迹池升级到通用技能池,平均成功率就从 29.28% 到 41.86%,提升 12.58 个百分点。这说明经验抽象本身就是收益的重要来源,不能把全部功劳归给路由。

组合关系与使用指引再把均值推到 48.35%,DAG 预加载带来 4.40 个百分点。单独训练修改策略与路由策略分别达到 60.16% 和 65.28%,完整系统到 71.86%,比只训练路由策略再高 6.58 个百分点。

我的第一反应是,这张表比主结果更能说明论文的真实定位:它不是一个单点技巧,而是“技能抽象—结构组织—在线维护—策略训练”逐层叠加的系统工程。好消息是每层都有增益;需要警惕的地方也是,系统复杂度随之上升,工程复现不是加一个检索器那么简单。

八、扩展到 1000 条技能:优势还在,但远没到无限扩展

图3:技能池扩展与两条策略的训练曲线

图 3:左图展示技能库从 50 扩到 1000 时四种方法的成功率变化,所有曲线都在下降;绿色 Skill Adapter 从约 95.5% 降至 80.4%,橙色 SkillRL 从约 87.2% 降至 60.3%。右图展示 100 次训练更新,蓝色修改策略从 59.5% 升至约 87%,红色路由策略从 72% 升至约 95%。原图没有显示方法图例,左右曲线的身份主要依据正文数值说明。

扩展实验从相同的任务相关技能出发,逐渐加入其他类别的干扰技能。技能池到 1000 条时,Skill Adapter 仍比 SkillRL 高约 20 个百分点,说明“主题检索+组合扩展+在线筛选”确实增强了抗干扰能力。

但所有方法都在下降,Skill Adapter 自己也少了约 15.1 个百分点。这个趋势比“1000 条时仍领先”更值得关注:在线路由能缓解技能库膨胀,并没有消除检索噪声。

坦率地讲,1000 条与真正开放技能生态还有距离。论文对比的 SkillRouter 原工作研究的是约 8 万条高度重叠技能,并发现隐藏技能正文会让路由准确率下降 31 至 44 个百分点;其完整正文检索与重排流程达到 74.0% Hit@1。两项工作的任务设置不同,不能直接拿数字判输赢,但这个对照提醒我们:Skill Adapter 的扩展实验更适合证明“相对于基线更抗干扰”,还不能证明它能直接接管超大规模开放技能注册中心。


九、我的判断:最值钱的是版本管理视角,不是又造了一个 Adapter 名词

1. 它把“个性化”从复制技能改成了维护差异

SkillRL 的重点是分层技能库、技能递归演化与策略共同优化;Skill Adapter 则把用户差异从通用流程里剥离出来,记录适用条件、局部修改和反馈证据。这个变化很实用,因为真实产品里的个性化往往不是“用户喜欢什么语气”,而是工具权限、操作习惯、输出验收标准不同。

与一次性 SkillRouter 检索重排相比,在线技能库又承担了状态管理:条目能复用、能失效、能替换,后续节点可以预加载但必须二次检查。它更像一套经验供给系统,而不是单纯的检索器。

2. “用户级个性化”的证据还不够强

论文说个性化条件来自任务指令中明确写出的目标、操作约束和输出要求。这与长期追踪同一用户、跨任务学习稳定偏好并不完全相同。实验验证了“任务约束不同,技能版本需要不同”,却没有展示跨时间用户画像、偏好冲突或隐私隔离。

所以,我更愿意把当前结果读成条件化技能适配,而不是完整的用户建模。后者是合理延伸,但不是这三张主表已经证明的东西。

3. 收益与成本还没有被完全拆开

通用技能由 GPT-5.2-Codex 提取,修改评估又要在留出任务集上跑修改前后的执行结果。主表统计了推理与执行时间,却没有报告技能构建、Adapter 训练、参考技能集制作和策略训练的总成本,也没有给出硬件与模型调用配置。

另外,修改和路由策略的训练输入都来自 ALFWorld 轨迹与技能,却在三个基准上报告结果。跨基准迁移是有意思的现象,但各阶段分别用了多少 SkillsBench 训练或验证信号、参考技能集如何获得,正文讲得不够细。这块我也不能完全确定,需要代码或附录才能继续核验。

4. 论文呈现还有几处小瑕疵

Figure 1 里的“Skill Steward”与当前方法名不一致;Figure 3 没有可见图例,只能借正文辨认曲线。它们不影响方法逻辑,却会增加读者核验成本。对一篇只有 9 页的系统论文来说,这些空间本可以用来交代参考技能集、个性化测试协议或训练成本,信息取舍略显可惜。


十、对工程落地的启发

如果你在维护智能体技能库,我会优先借鉴它的数据结构,而不是一上来就训练 GRPO。每条通用技能保留稳定 ID 和公共流程;个性化修改单独存储,至少带上适用条件、父技能 ID、版本、支持证据、最近验证结果;在线工作区只放当前节点需要的条目,并记录它对应哪个 DAG 节点、依赖哪些上游输出。

路由也可以先做一个不训练的版本:语义检索产生候选,硬规则检查输入与工具约束,再按历史成功证据排序;执行后复用仍然适用的条目,失效才重新检索。等这套日志积累起来,才能判断瓶颈究竟在候选召回、Adapter 选择,还是主执行器根本不会用技能。没有这层分解,直接上强化学习很容易把几个问题搅在一起。

还有一个容易被忽略的工程点:任务成功不只取决于技能有没有被选中,还取决于输出检查是否写进技能。 合同案例里,“版式保留”既是用户要求,也是 Adapter 中的验证步骤。把验收标准和操作流程绑定,往往比单纯扩大经验库更靠得住。

Skill Adapter 没有解决开放技能生态的所有问题,训练成本、跨用户个性化和万级以上扩展仍待验证。但它把两个经常被混在一起的决策拆清楚了:哪些经验应该沉淀成公共流程,哪些差异应该留成条件化补丁;以及任务执行到当前这一步,究竟该把哪个版本交到主模型手里。

这个拆分,值得做智能体技能系统的人认真看一眼。

觉得有启发的话,欢迎点赞、在看、转发。跟进最新AI前沿,关注我