技能库不是越大越好:Skill Adapter 用个性化补丁和在线路由帮智能体选对经验
让一个智能体把英文合同翻译成中文 PDF,听起来只是把几个现成工具串起来:提取 PDF、翻译、生成文件。可用户补一句“保留原来的分页、版式和批注”,事情就变了。普通文本提取可能已经不够用,接下来还要读取文字坐标、页码和阅读顺序,并把版式重建插进执行链路。
更麻烦的是,这些要求不会总在任务开始时整整齐齐地出现。上游提取出了什么、某个工具是否可用、用户看到中间结果后又反馈了什么,都可能改变下一步该用哪条经验。技能库越大,这个选择问题越尖锐:经验多了,干扰项也多了。
Skill Adapter 抓住的就是这个真实矛盾。它不把每个用户的差异都复制成一份新技能,而是给通用技能挂上可增删改的 Adapter;同时让路由智能体跟着任务进度持续更新技能供给,而不是在开工前一次性检索完。
核心摘要
这篇论文解决两个问题:通用技能无法表达用户特有的工具、流程和输出要求;长程任务中的技能选择又会随输入和环境状态变化。Skill Adapter 将用户差异存成挂在通用技能上的局部 Adapter,再由路由策略按当前 DAG 节点选择“技能+Adapter”,增量维护在线技能库并预加载后续候选。相比 SkillRL,它在 ALFWorld、WebShop、SkillsBench 上的成功率分别提高 8.34、8.80、17.14 个百分点,平均提升 11.43 个百分点,三个基准的平均执行时间也都下降。我的判断是:这不是新的底层推理算法,而是一套把技能表示、个性化版本管理和在线编排串起来的系统设计;思路扎实,但个性化评测和规模化验证仍有明显边界。
论文信息
- 英文标题:Skill Adapter: Personalized Modification and Online Routing of General-Purpose Skills
- 作者:Qijia Zhuang、Yanyi Gou、Wenbin Ma、Yuxiang Ren
- 机构:Nanjing University(南京大学)、Jiangnan University(江南大学)
- 提交日期:2026 年 11 月 12 日
- 论文链接:https://arxiv.org/abs/2611.17007
- arXiv ID:2611.17007v1,cs.AI
- 篇幅:9 页,3 张图,3 个表
一、真正的痛点不是“有没有技能”,而是“此刻该用哪个版本”
早期智能体复用经验的方式很直接:保存成功轨迹,遇到相似任务时再取出来。Voyager 会把成功行为封装成可执行函数,ExpeL 从成败轨迹中提炼规则,Reflexion 则利用语言反馈调整后续决策。再往后,SkillRL 用分层 SkillBank 和递归演化减少原始轨迹的冗余,并联合优化技能使用策略。
这些工作解决了“经验能否复用”,却留下两个不太好处理的缝。
一条缝在通用流程与个人要求之间。同样是翻译合同,通用技能可以描述“提取—翻译—生成”,但某个用户要求保留版式,另一个用户只关心正文。如果把两种做法都写成独立技能,公共流程被反复复制,后续维护很容易失控;如果只保留通用版本,用户要求又无处安放。
另一条缝在任务开始前的检索与执行中的真实状态之间。静态检索默认任务描述已经包含足够信息,可长程任务并不是这样运作的。后续节点依赖上游输出,工具状态会变化,环境反馈也会带来新约束。开场选出的技能列表,执行到一半可能就过期了。

图 1:合同翻译案例。左侧 Vanilla 直接从扁平技能库选择普通 PDF 提取、法律翻译和 PDF 生成,漏掉版式重建,最终得到版式保留较差的中文 PDF。右侧利用技能图和相似历史轨迹,按成功率过滤普通提取与版式感知提取,再把版式感知提取、法律翻译、版式重建、PDF 生成及组合关系、操作程序打包交给执行器。图内底部沿用了“Skill Steward (Ours)”字样,与正文的 Skill Adapter 名称不一致,应是命名修改后留下的痕迹。
说实话,这个例子比抽象地讲“个性化技能管理”更有说服力。用户并没有要求一种全新能力,只是同一能力的验收标准变了;而验收标准会反过来改变工具参数、执行步骤和技能组合。
二、Skill Adapter 的整体思路:共享主干,局部打补丁,执行中换路由
一句话概括:通用技能是共享主干,Adapter 是带适用条件的局部差异,在线技能库则是当前任务的动态工作区。

图 2:左侧 Skill Memory 从历史执行轨迹提取通用技能,技能记录包含基础技能 ID、操作程序和 Adapter ID,并按主题及组合关系组织。右上 Personalized Modification 根据用户要求与执行反馈新增、更新或删除 Adapter,通过修改前后的任务表现训练策略;Online Routing 为当前子任务选技能与适用 Adapter。下方执行阶段把“任务+状态”和任务 DAG 交给在线路由,当前节点所需的技能、Adapter 与使用指引进入在线技能库,主 LLM 按需读取执行,同时预加载后续节点,并根据进度和环境反馈刷新。
图里有三条相互连接的链路。技能记忆负责沉淀公共经验,个性化修改负责维护用户差异,在线路由负责把合适的版本送到当前执行节点。主 LLM 始终冻结,训练的是修改策略和路由策略,不是重新微调执行器。
这个分工挺漂亮。它把“执行能力”和“经验管理”拆开,避免每次技能库变化都去动主模型;也让同一个通用技能可以服务多个用户,而不必复制整套流程。
三、个性化修改:Adapter 存的不只是偏好,还有证据和适用条件
1. 通用技能保留公共执行结构
系统从历史轨迹中提取可复用目标、操作顺序、工具调用过程以及输入输出约束,形成通用技能池 \(\mathcal{G}\)。每条技能包含名称、功能描述、通用执行程序、输入约束和输出约束;技能按主题组织,并保留由成功轨迹支持的有向组合关系。
轨迹池也没有被丢掉。它记录任务、用户上下文、实际调用的技能及版本、环境观察、用户反馈或环境诊断、最终结果。这样,Adapter 的修改不是凭空生成,而能回到具体执行证据。
2. Adapter 是局部差异,不是技能副本
对用户 \(u\) 和技能 \(s_i\),第 \(k\) 个 Adapter 记录四类信息:关联的基础技能 ID、适用条件 \(p_{u,i,k}\)、局部修改 \(\Delta_{u,i,k}\)、使用记录与反馈证据 \(\kappa_{u,i,k}\)。执行时得到个性化技能:
局部修改可以换工具、调参数、增删步骤、改变输出格式或增加验证要求。回到合同案例,通用 PDF 提取技能保持不变,Adapter 只补充“提取文字位置、页码和阅读顺序”等要求。
修改策略 \(\pi_{\mathrm{mod}}\) 会基于通用技能、用户上下文、相关历史记录和已有 Adapter,选择新增、更新或删除。反复出现的偏差可以沉淀成可复用修改;用户要求变化时,则依据新反馈更新对应 Adapter。
这里有个值得强调的细节:没有适用条件时,系统仍可直接使用原始通用流程。 Adapter 不是强制叠加的额外上下文,而是一个可选版本。这比“把所有历史偏好都塞进提示词”更克制,也更不容易让旧偏好污染新任务。
四、在线路由:不是一次检索,而是跟着 DAG 持续维护供给
主 LLM 先把任务分解为有向无环图 DAG。路由智能体处理当前已经就绪的节点,并为依赖上游结果的后续节点准备候选。
检索阶段先按主题与语义匹配取出候选,再沿技能组合关系扩展。随后,系统结合当前输入、工具状态和适用条件筛选 Adapter,形成“通用技能—Adapter”候选对;原始通用流程也作为空 Adapter 选项保留。路由策略 \(\pi_{\mathrm{route}}\) 从合法候选中选出有序组合。
选中的结果不会直接堆进主 LLM 的整段上下文,而是写入任务级在线技能库。每条记录包含通用技能引用、选中的 Adapter、适用节点、组合关系和使用指引。主 LLM 只读取当前节点需要的内容。
执行之后发生的那一步更关键:仍然适用的条目继续复用,失效条目被删除或替换,新需求触发重新检索和 Adapter 选择。后续节点虽然可以提前准备候选,但必须等真实输入确定后再检查适用条件。
你想想看,这其实把技能路由从“检索题”变成了“状态维护题”。静态方法回答的是“哪条技能和任务描述相似”,Skill Adapter 还要回答“这条技能在当前输入、当前工具状态和当前用户约束下是否仍然可用”。
一个简化执行循环可以写成:
将任务分解为 DAG,初始化就绪节点
while 任务未完成:
根据节点目标、用户上下文、执行历史检索通用技能
按真实输入、工具状态、适用条件筛选 Adapter
选择有序的技能—Adapter 组合并刷新在线技能库
主 LLM 读取当前节点条目并执行
记录观察、实际使用的技能与 Adapter ID
保留适用条目,替换失效条目,预加载后续候选
任务结束后,将轨迹和反馈用于后续 Adapter 与策略学习
五、GRPO 怎么训练两条策略:奖励盯住“改完有没有用”和“选完能不能成”
修改与路由策略分别训练,同一输入采样 \(K\) 个候选决策,再用组内相对奖励构造优势。执行器始终冻结。
个性化修改的奖励很直白:固定通用技能池、用户条件、执行器和路由配置,在留出的任务集上比较修改前后的成功率,差值按百分点放大为奖励。这个设计避免只看 Adapter 文本写得是否漂亮,直接看执行结果有没有改善。
路由奖励把任务成败与技能选择质量合在一起。设选中技能的基础 ID 集合为 \(S_j\),参考技能集合为 \(S_j^{\mathrm{gold}}\),\(m_j=|S_j\cap S_j^{\mathrm{gold}}|\),\(n_j=|S_j|\),\(k_j=|S_j^{\mathrm{gold}}|\),则:
成功时,奖励就是选中技能与参考技能之间的 F1;失败时统一给负奖励。不同 Adapter 共享父技能 ID,因此版本选择是否合适,通过最终任务结果进入奖励,而不是靠另一套 Adapter 标签。
这个奖励相当务实:选对一堆技能但没完成任务,不会得到正反馈;任务成功但塞入过多无关技能,F1 也会压低得分。不过,参考技能集合怎样构建、由谁标注,正文没有展开。这块会直接影响路由训练信号的可信度,也是复现时需要补上的细节。
六、实验结果:提升不只在成功率,执行时间也一起降了
1. 实验设置
三个测试集分别包含 420 个 ALFWorld 任务、1500 个 WebShop 任务和 210 个 SkillsBench 任务,交互预算依次为 50、15、30 步。ALFWorld 与 WebShop 的执行器为 Qwen3-8B,SkillsBench 使用 GPT-5-mini。
前两个基准从 AgentTraj-L 训练轨迹聚类,并用 GPT-5.2-Codex 提取通用技能;SkillsBench 则合并基准自带技能。修改与路由策略均使用 Qwen3-8B,训练输入来自 ALFWorld 训练轨迹和技能。
候选检索采用 BGE-M3:先选 3 个相关主题、检索 20 条技能,再沿组合关系扩展,候选上限 30,路由最多选择 8 条通用技能。GRPO 组大小为 8,学习率 \(1\times10^{-6}\),裁剪系数 0.2,KL 系数 0.01,全局 batch size 为 64,每个阶段更新 100 次。主表报告随机种子 42、43、44 三次运行的均值。
2. ALFWorld 与 WebShop 主结果
| 方法 | ALFWorld SR ↑ | ALFWorld 时间/秒 ↓ | WebShop Score ↑ | WebShop SR ↑ | WebShop 时间/秒 ↓ |
|---|---|---|---|---|---|
| Backbone (ReAct) | 52.86 | 88.6 | 46.00 | 19.80 | 72.4 |
| Backbone (all skills) | 27.62 | 121.5 | 24.80 | 7.53 | 103.7 |
| Backbone + BM25 | 61.67 | 81.3 | 58.13 | 25.27 | 66.8 |
| LLM as Selector | 65.00 | 99.7 | 61.00 | 28.87 | 82.5 |
| SkillRouter | 69.76 | 76.8 | 68.87 | 46.13 | 62.4 |
| Graph of Skills | 70.71 | 79.5 | 67.93 | 46.73 | 65.1 |
| SkillRL | 87.14 | 70.6 | 85.20 | 72.73 | 57.8 |
| Skill Adapter | 95.48 | 61.9 | 92.67 | 81.53 | 50.7 |
表 1:ALFWorld 与 WebShop 主实验,所有数值来自论文 Table 1。SR 为成功率。
最扎眼的一组对照不是 Skill Adapter 与 ReAct,而是“all skills”与各种选择方法。把整个技能池交给模型,ALFWorld 成功率只剩 27.62%,比不使用技能的 ReAct 还低 25.24 个百分点;WebShop 也从 19.80% 降到 7.53%。技能多并不会自动带来能力增长,错误经验和过长上下文反而会干扰执行。
相对最强基线 SkillRL,Skill Adapter 在 ALFWorld 上从 87.14% 提到 95.48%,WebShop 从 72.73% 提到 81.53%。六类 ALFWorld 任务中,Look 的涨幅最大,从 69.23% 到 89.74%,提升 20.51 个百分点;其余五类提升 3.81 至 10.41 个百分点。
3. SkillsBench 主结果
| 方法 | SR ↑ | Mean reward ↑ | Mean time/秒 ↓ |
|---|---|---|---|
| Backbone (ReAct) | 7.14 | 9.65 | 468.3 |
| Backbone (all skills) | 9.05 | 14.87 | 621.4 |
| Backbone + BM25 | 13.33 | 17.24 | 525.2 |
| LLM as Selector | 14.76 | 18.63 | 587.3 |
| SkillRouter | 17.62 | 19.46 | 615.0 |
| Graph of Skills | 18.57 | 23.09 | 462.9 |
| SkillRL | 21.43 | 25.33 | 529.4 |
| Skill Adapter | 38.57 | 34.90 | 398.9 |
表 2:SkillsBench 主实验,执行器为 GPT-5-mini,数值来自论文 Table 2。
SkillsBench 上,Skill Adapter 比 SkillRL 高 17.14 个百分点,是三个基准中最大的成功率增益;平均奖励也从 25.33 增至 34.90。绝对成功率 38.57% 并不算高,说明这类“识别、选择并使用外部技能”的任务本身仍然很难,不能把相对提升读成问题已经解决。
时间结果也值得一提。相比 SkillRL,ALFWorld 从 70.6 秒降至 61.9 秒,WebShop 从 57.8 秒降至 50.7 秒,SkillsBench 从 529.4 秒降至 398.9 秒。按表中均值计算,分别减少约 12.3%、12.3%、24.6%。虽然多了路由推理,但按需读取、复用已有条目和后续节点预加载减少了主执行器的负担,最终总耗时反而更低。
不过,论文只给平均时间和三次运行均值,没有方差、置信区间或显著性检验。95.48% 这样的高点数很吸引人,但波动范围没有展示,读数时还是要留一点余地。
七、消融实验:性能不是某一个模块单独撑起来的
| 阶段 | 变体 | ALFWorld | WebShop | SkillsBench | 平均 SR |
|---|---|---|---|---|---|
| Skills | 仅轨迹池 | 52.86 | 25.93 | 9.05 | 29.28 |
| Skills | 加通用技能池 | 70.24 | 41.53 | 13.81 | 41.86 |
| Routing | 加组合关系与使用指引 | 76.90 | 51.47 | 16.67 | 48.35 |
| Routing | 加 DAG 预加载 | 80.71 | 57.07 | 20.48 | 52.75 |
| RL | 训练修改策略 | 87.86 | 68.80 | 23.81 | 60.16 |
| RL | 训练路由策略 | 90.95 | 73.93 | 30.95 | 65.28 |
| Full | 完整 Skill Adapter | 95.48 | 81.53 | 38.57 | 71.86 |
表 3:论文 Table 3 的完整消融结果,指标均为成功率,Avg. 为三个基准的算术平均。
仅从轨迹池升级到通用技能池,平均成功率就从 29.28% 到 41.86%,提升 12.58 个百分点。这说明经验抽象本身就是收益的重要来源,不能把全部功劳归给路由。
组合关系与使用指引再把均值推到 48.35%,DAG 预加载带来 4.40 个百分点。单独训练修改策略与路由策略分别达到 60.16% 和 65.28%,完整系统到 71.86%,比只训练路由策略再高 6.58 个百分点。
我的第一反应是,这张表比主结果更能说明论文的真实定位:它不是一个单点技巧,而是“技能抽象—结构组织—在线维护—策略训练”逐层叠加的系统工程。好消息是每层都有增益;需要警惕的地方也是,系统复杂度随之上升,工程复现不是加一个检索器那么简单。
八、扩展到 1000 条技能:优势还在,但远没到无限扩展

图 3:左图展示技能库从 50 扩到 1000 时四种方法的成功率变化,所有曲线都在下降;绿色 Skill Adapter 从约 95.5% 降至 80.4%,橙色 SkillRL 从约 87.2% 降至 60.3%。右图展示 100 次训练更新,蓝色修改策略从 59.5% 升至约 87%,红色路由策略从 72% 升至约 95%。原图没有显示方法图例,左右曲线的身份主要依据正文数值说明。
扩展实验从相同的任务相关技能出发,逐渐加入其他类别的干扰技能。技能池到 1000 条时,Skill Adapter 仍比 SkillRL 高约 20 个百分点,说明“主题检索+组合扩展+在线筛选”确实增强了抗干扰能力。
但所有方法都在下降,Skill Adapter 自己也少了约 15.1 个百分点。这个趋势比“1000 条时仍领先”更值得关注:在线路由能缓解技能库膨胀,并没有消除检索噪声。
坦率地讲,1000 条与真正开放技能生态还有距离。论文对比的 SkillRouter 原工作研究的是约 8 万条高度重叠技能,并发现隐藏技能正文会让路由准确率下降 31 至 44 个百分点;其完整正文检索与重排流程达到 74.0% Hit@1。两项工作的任务设置不同,不能直接拿数字判输赢,但这个对照提醒我们:Skill Adapter 的扩展实验更适合证明“相对于基线更抗干扰”,还不能证明它能直接接管超大规模开放技能注册中心。
九、我的判断:最值钱的是版本管理视角,不是又造了一个 Adapter 名词
1. 它把“个性化”从复制技能改成了维护差异
SkillRL 的重点是分层技能库、技能递归演化与策略共同优化;Skill Adapter 则把用户差异从通用流程里剥离出来,记录适用条件、局部修改和反馈证据。这个变化很实用,因为真实产品里的个性化往往不是“用户喜欢什么语气”,而是工具权限、操作习惯、输出验收标准不同。
与一次性 SkillRouter 检索重排相比,在线技能库又承担了状态管理:条目能复用、能失效、能替换,后续节点可以预加载但必须二次检查。它更像一套经验供给系统,而不是单纯的检索器。
2. “用户级个性化”的证据还不够强
论文说个性化条件来自任务指令中明确写出的目标、操作约束和输出要求。这与长期追踪同一用户、跨任务学习稳定偏好并不完全相同。实验验证了“任务约束不同,技能版本需要不同”,却没有展示跨时间用户画像、偏好冲突或隐私隔离。
所以,我更愿意把当前结果读成条件化技能适配,而不是完整的用户建模。后者是合理延伸,但不是这三张主表已经证明的东西。
3. 收益与成本还没有被完全拆开
通用技能由 GPT-5.2-Codex 提取,修改评估又要在留出任务集上跑修改前后的执行结果。主表统计了推理与执行时间,却没有报告技能构建、Adapter 训练、参考技能集制作和策略训练的总成本,也没有给出硬件与模型调用配置。
另外,修改和路由策略的训练输入都来自 ALFWorld 轨迹与技能,却在三个基准上报告结果。跨基准迁移是有意思的现象,但各阶段分别用了多少 SkillsBench 训练或验证信号、参考技能集如何获得,正文讲得不够细。这块我也不能完全确定,需要代码或附录才能继续核验。
4. 论文呈现还有几处小瑕疵
Figure 1 里的“Skill Steward”与当前方法名不一致;Figure 3 没有可见图例,只能借正文辨认曲线。它们不影响方法逻辑,却会增加读者核验成本。对一篇只有 9 页的系统论文来说,这些空间本可以用来交代参考技能集、个性化测试协议或训练成本,信息取舍略显可惜。
十、对工程落地的启发
如果你在维护智能体技能库,我会优先借鉴它的数据结构,而不是一上来就训练 GRPO。每条通用技能保留稳定 ID 和公共流程;个性化修改单独存储,至少带上适用条件、父技能 ID、版本、支持证据、最近验证结果;在线工作区只放当前节点需要的条目,并记录它对应哪个 DAG 节点、依赖哪些上游输出。
路由也可以先做一个不训练的版本:语义检索产生候选,硬规则检查输入与工具约束,再按历史成功证据排序;执行后复用仍然适用的条目,失效才重新检索。等这套日志积累起来,才能判断瓶颈究竟在候选召回、Adapter 选择,还是主执行器根本不会用技能。没有这层分解,直接上强化学习很容易把几个问题搅在一起。
还有一个容易被忽略的工程点:任务成功不只取决于技能有没有被选中,还取决于输出检查是否写进技能。 合同案例里,“版式保留”既是用户要求,也是 Adapter 中的验证步骤。把验收标准和操作流程绑定,往往比单纯扩大经验库更靠得住。
Skill Adapter 没有解决开放技能生态的所有问题,训练成本、跨用户个性化和万级以上扩展仍待验证。但它把两个经常被混在一起的决策拆清楚了:哪些经验应该沉淀成公共流程,哪些差异应该留成条件化补丁;以及任务执行到当前这一步,究竟该把哪个版本交到主模型手里。
这个拆分,值得做智能体技能系统的人认真看一眼。
觉得有启发的话,欢迎点赞、在看、转发。跟进最新AI前沿,关注我