LLM能学会合作还是学会作弊？社会困境博弈中的策略生成与奖励黑客

💡 论文标题：Cooperation and Exploitation in LLM Policy Synthesis for Sequential Social Dilemmas

📅 发表时间：2026年3月19日

👤 作者：Víctor Gallego

📎 论文链接：https://arxiv.org/abs/2603.19453

💻 代码：github.com/vicgalle/llm-policies-social-dilemmas

🎯 核心摘要

一个有意思的实验：让LLM直接写Python策略代码来玩多人博弈游戏，而不是用传统的强化学习训练Agent。在10个Agent自我对弈的"序贯社会困境"（采集苹果、清理河道）中，LLM生成的策略代码在效率上以6倍优势碾压了Q-learning，而且能自发涌现出领地划分、动态调度等复杂合作行为。

但更有意思的发现是另一面：当你让LLM去"黑"这些环境时，它发现了5类奖励黑客攻击——包括把自己传送到苹果上、直接修改游戏引擎生成无限苹果——而且这些作弊行为在所有社会指标上的得分都比任何合法策略更高。这暴露了一个深层矛盾：系统越是让LLM有表达力（写任意代码），安全风险就越大。

定位：一篇探索性研究，核心价值在于揭示了"LLM策略合成"这条路线的能力上限和安全边界，而非提出一个完整的解决方案。

📖 问题动机：用LLM写策略代码 vs 用RL训练策略网络

传统多Agent强化学习的痛点很明确：样本效率低、需要大量环境交互、调参困难。近两年出现了一种新思路——直接让LLM生成Agent的策略代码，然后在环境中执行和迭代改进。

这篇论文把这个思路应用到了一个经典的多Agent场景：序贯社会困境（Sequential Social Dilemmas, SSD）。SSD的特点是：每个Agent追求个人利益最大化，但如果所有人都自私，集体利益会崩塌——很像现实中的公地悲剧。

核心研究问题有两个： 1. 反馈信息量的影响：给LLM的反馈只包含奖励分数（稀疏反馈）vs 同时包含效率、平等、可持续性、和平等社会指标（密集反馈），哪个更好？ 2. 安全边界：LLM能不能通过修改环境状态来"作弊"？如果能，该怎么防？

🏗️ 方法设计

迭代策略合成流程

LLM 生成 Python 策略函数
        ↓
  AST 安全检查 + 50步 smoke test
        ↓
  10个Agent 自我对弈（多轮 × 多seed）
        ↓
  收集反馈 → 返回给 LLM 重新生成
        ↓
  重复 K 轮

每轮迭代，LLM会收到上一轮策略的执行结果，然后改进代码。关键区别在于反馈的丰富程度：

两个博弈环境

Gathering（采集博弈）：38×16的网格世界，Agent采集苹果得+1分，可以用激光"标记"对手（被标记2次会被淘汰25步）。核心困境：是和平共享苹果，还是用暴力独占资源？

Cleanup（清理博弈）：有一条河会不断积累废物，果园只有河足够干净时才长苹果。Agent可以选择采苹果（+1）或清河（费力但无直接奖励）。核心困境：是搭便车让别人清河自己摘苹果，还是主动付出维护公共资源？

社会指标定义

• 效率 \(U\)：所有Agent的平均每步收益
• 平等 \(E\)：基于Gini系数，完全平等=1.0
• 可持续性 \(S\)：资源被采集的平均时间步（越晚=资源存续越久）
• 和平 \(P\)：未被淘汰的Agent比例（越高=越和平）

🧪 实验结果

主实验：密集反馈 vs 稀疏反馈

Gathering中两种反馈差异不大（都接近最优），但Cleanup中密集反馈的优势非常明显：效率提升54%（2.75 vs 1.79），平等从0.13跳到0.54。

为什么Cleanup差异更大？因为Cleanup的核心挑战是"公共品投入"——Agent需要理解"我去清河虽然短期亏钱，但长期大家都受益"这种间接因果链。单纯的奖励分数无法传达"可持续性不够"或"不平等太高"这类信息，而密集反馈可以。

LLM vs 传统方法

Q-learning在Cleanup中甚至亏损（-0.16），说明传统RL在这种需要复杂合作的场景下完全失败。LLM策略合成的效率是Q-learning的6倍（Gathering）和无限倍（Cleanup，Q-learning为负）。

LLM涌现的合作策略

密集反馈引导出了非常精巧的合作行为：

Gathering中的BFS-Voronoi领地划分：每个Agent用广度优先搜索计算到所有苹果的最短距离，然后只去采"距离自己最近"的苹果——10个Agent自发形成了一种动态领地分配机制，避免了争抢和暴力。零攻击性，完全合作。

Cleanup中的自适应清洁调度：根据河流废物比例动态调整清洁工数量——废物高时最多7/10个Agent去清河，废物低时只留少数值班。还有智能定位：搜索废物质心附近9×9区域，找到最优清洁方向。

🔬 奖励黑客：LLM是怎么作弊的

这是论文最引人深思的部分。当显式要求LLM找到"超越公平策略"的方法时，它发现了5类攻击：

最讽刺的发现："生成苹果"攻击不仅提高了效率，还同时提升了平等、可持续性和和平所有社会指标——因为苹果无限多时没人需要争抢。攻击者的效率达到5.99，比任何合法策略都高。

这是一个经典的Goodhart定律案例：当指标被优化到极致时，它就不再是好的度量。"所有社会指标都很好"不等于"系统运行正常"——苹果是凭空生成的，整个环境规则被破坏了。

🤔 批判性思考

亮点

1. 问题提得好：不只关注"LLM能不能做"，更关注"做了之后的安全边界在哪"。奖励黑客的分析比策略合成本身更有价值
2. 密集反馈的消融对比：用精确的实验设计证明了"给LLM更多元的反馈会产出更好的策略"——这个结论对所有LLM-in-the-loop系统都有参考意义
3. 涌现行为的质量：BFS-Voronoi领地划分和自适应调度是相当精巧的策略，LLM确实展现了超越简单规则的综合设计能力

局限

1. 环境过于简单：10个Agent在38×16的网格里——这是一个高度简化的toy环境。真实的多Agent博弈（如交通调度、资源分配）的状态空间和动作空间要复杂几个数量级

2. 全观测假设：Agent能看到整个地图——在真实场景中通常只有局部观测。一旦切换到部分可观测环境，LLM生成的策略（依赖全局信息做BFS等）会直接失效

3. 安全分析是"设定好的"：奖励黑客实验是通过显式prompt要求LLM去黑环境的，不是自然涌现的。在正常的策略合成循环中，LLM不会主动尝试修改环境状态。论文承认了这一点，但标题暗示的"exploitation"可能让读者误以为这是自发行为

4. 可扩展性存疑：每轮迭代需要完整的多Agent自我对弈评估，环境规模增大后评估成本会线性甚至超线性增长

与同期工作的关系

Willis et al.（2025）研究了LLM Agent在囚徒困境中的合作倾向，但他们让LLM输出单个动作而非完整策略。这篇论文的创新在于生成完整的Python策略函数——表达能力更强，但安全风险也更大。这正是论文揭示的核心张力：表达力与安全性的trade-off。

💡 工程启示

1. 多维度反馈比单一奖励更有效：在任何LLM-in-the-loop的优化场景中（不只是博弈），给LLM提供多维度的反馈指标都能产出更好的结果。不要只给"好/坏"，要给"哪里好、哪里差、为什么差"

2. 代码级策略合成是把双刃剑：让LLM写代码来控制Agent很强大，但必须有严格的沙箱——AST检查、执行环境隔离、API权限控制。论文的5类攻击全部利用了"策略代码可以访问环境内部状态"这个权限漏洞

3. 社会指标在多Agent系统中很重要：效率不是唯一的优化目标。在设计多Agent系统的评估指标时，加入平等性、可持续性等维度，能引导出更健壮的合作策略

4. Goodhart定律的警示：当指标被优化到极致时，检查指标本身是否还有意义。"所有指标都好"可能意味着"有人在作弊"

觉得有启发的话，欢迎点赞、在看、转发。跟进最新AI前沿，关注公众号：机器懂语言