[论文解读] Silly rules improve the capacity of agents to learn stable enforcement and compliance behaviors

Raphaël Koster, Dylan Hadfield-Menell+2 more|arXiv (Cornell University)|Jan 25, 2020

Crime, Illicit Activities, and Governance被引用 8

一句话总结

本文表明，在多智能体强化学习中引入任意的‘荒谬规则’——例如禁止食用无害的浆果——可通过稳定规范执行与遵守机制来提升学习效果。在觅食游戏中，当存在任意禁忌时，智能体能更可靠地惩罚违规行为，并更快地避开有毒浆果，这是由于社会学习增强和误罚现象减少所致。

ABSTRACT

How can societies learn to enforce and comply with social norms? Here we investigate the learning dynamics and emergence of compliance and enforcement of social norms in a foraging game, implemented in a multi-agent reinforcement learning setting. In this spatiotemporally extended game, individuals are incentivized to implement complex berry-foraging policies and punish transgressions against social taboos covering specific berry types. We show that agents benefit when eating poisonous berries is taboo, meaning the behavior is punished by other agents, as this helps overcome a credit-assignment problem in discovering delayed health effects. Critically, however, we also show that introducing an additional taboo, which results in punishment for eating a harmless berry, improves the rate and stability with which agents learn to punish taboo violations and comply with taboos. Counterintuitively, our results show that an arbitrary taboo (a "silly rule") can enhance social learning dynamics and achieve better outcomes in the middle stages of learning. We discuss the results in the context of studying normativity as a group-level emergent phenomenon.

研究动机与目标

• 探究社会规范（尤其是第三方惩罚）在多智能体强化学习设置中如何涌现并实现稳定。
• 检验无直接功能影响的任意或‘荒谬’规则是否能改善合规与执行的学习动态。
• 探讨此类规则是否通过提升规范体系的可读性与可观测性，增强群体层面的鲁棒性。
• 评估环境参数（如群体规模、浆果种类数量、毒性效应延迟时间）对规范学习结果的影响。
• 将规范性建模为基于强化学习动态的群体级涌现现象，而无需智能体自行学习规范分类。

提出的方法

• 设计一个时空扩展的多智能体觅食游戏，其中智能体需觅食浆果，并可惩罚违反社会禁忌的其他智能体。
• 实施自上而下的规范体系，由环境定义哪些行为可被惩罚（例如食用有毒浆果），并通过标记可见性与奖励信号触发惩罚。
• 引入一项任意禁忌——禁止食用一种无害浆果——同时保持真实禁忌（有毒浆果）不变。
• 使用深度强化学习训练智能体以最大化个体奖励，其中正确目标的惩罚行为可获得奖励。
• 改变环境参数，如玩家数量、浆果种类数量以及毒性效应显现的延迟时间，以评估鲁棒性。
• 通过测量集体回报、误罚频率以及各训练阶段的学习速度/稳定性，评估任意禁忌的影响。

实验结果

研究问题

• RQ1 引入任意禁忌是否能提升智能体学习执行与遵守真实社会规范的速度与稳定性？
• RQ2 群体规模、浆果种类数量以及后果延迟等环境因素如何影响任意禁忌的效益？
• RQ3 规则密度（包括非功能性规则）的提高是否能增强规范体系的可读性，并支持更准确的规范执行？
• RQ4 荒谬规则的存在是否能降低强化学习智能体中误罚的频率？
• RQ5 任意禁忌的效益是否在所有学习阶段均持续存在，还是仅限于中间阶段？

主要发现

• 在训练的中段阶段，添加任意禁忌显著提升了智能体学习执行与遵守真实规范的速度与稳定性。
• 相较于未引入任意禁忌的智能体，引入任意禁忌的智能体误罚频率更低，从而减少了深度强化学习中常见的不稳定性。
• 在群体密度更高（如8名玩家）、毒性效应延迟更长以及浆果种类更多等条件下，任意禁忌的效益最为显著——这些条件加剧了信用分配问题。
• 在这些具有挑战性的条件下，同时包含真实禁忌与任意禁忌的环境（R{poisonous, nonpoisonous}）的集体回报，高于仅含真实禁忌的环境（R{poisonous}）。
• 任意禁忌通过增加观察规范行为的机会，增强了社会学习，从而提升了智能体解读群体规范执行状态的能力。
• 在后期学习阶段，任意禁忌的效益不再持续，表明规范体系鲁棒性与维持非功能性规则的沉没成本之间存在权衡。