[论文解读] Proxyeconomics, An agent based model of Campbell's law in competitive societal systems

Oliver Braganza|arXiv (Cornell University)|Mar 1, 2018

Auction Theory and Applications被引用 3

一句话总结

本文提出一种新颖的基于代理的模型，用以模拟在竞争性社会系统中，诸如发表数量或利润等代理度量如何成为目标，从而导致行为偏离真实目标。通过整合经济多任务处理理论与竞赛理论，并结合文化演化理论，该模型表明，对代理度量的过度依赖会削弱系统效率与目标实现，尤其是在高竞争和测量噪声的环境下。

ABSTRACT

In many areas of society we rely on competition to better achieve societal goals. Ideally, competition motivates effort and efficiently allocates resources. However, due to imperfect information, competition generally depends on quantitative proxy measures in order to assess performance. This leads to an increasing use of such quantitative proxies in modern societies. Examples include: in science, the publication count of an author, in healthcare, the number of patients treated or in business, the profit achieved. Importantly, some practices may optimize proxy performance but not the actual societal goal. In such cases, individual decisions and cultural practices may shift away from the societal goal and toward the proxy. Such processes have been described by a law attributed to Charles Goodhart or Donald T. Campbell, most pithily phrased as: 'When a measure becomes a target it ceases to be a good measure.' While the original mentions of this law address policy determination or education respectively, we propose it applies to any competitive societal system: Any proxy measure in a competitive societal system becomes a target for the competing individuals (or groups). Here, we construct an agent based model to explore the basic components and dynamics of such a process. The model combines an effort incentivization mechanism from economic multitasking theory and contest theory with a slower process of cultural evolution.

研究动机与目标

• 探究在竞争系统中对定量代理度量的依赖如何导致激励错配与目标位移。
• 建模个体努力、竞争与绩效度量文化演化之间的动态相互作用。
• 考察代理度量何时不再反映真实绩效，反而驱动次优行为的条件。
• 模拟当代理度量成为目标而非指标时，“系统操纵”行为的出现。
• 评估基于代理的评估对科学、医疗和商业等系统中社会目标实现的长期影响。

提出的方法

• 该模型采用基于代理的仿真框架，以代表在使用可度量代理的系统中竞争的个体（代理）。
• 根据经济多任务处理理论，代理根据其在多个绩效维度上的努力分配来获得激励。
• 应用竞赛理论来模拟基于代理绩效的竞争性奖励分配，以再现赢家通吃机制。
• 引入文化演化机制，根据观察到的成功程度逐步改变代理的行为与规范，以模拟实践如何根深蒂固。
• 模型引入测量噪声，以反映代理评估的不完美性，模拟现实世界中的数据误差。
• 关键变量包括竞争强度、代理可靠性以及代理与真实绩效目标之间的对齐程度。

实验结果

研究问题

• RQ1 在什么条件下，即使个体努力程度很高，代理度量仍会导致次优行为？
• RQ2 测量噪声如何影响代理绩效与实际社会目标之间的对齐程度？
• RQ3 文化演化在多大程度上长期强化了对有缺陷代理度量的使用？
• RQ4 竞争强度在多大程度上影响基于代理的系统中的目标位移程度？
• RQ5 该模型以何种方式展示了当代理度量成为目标时其有效性崩溃的现象？

主要发现

• 模型显示，当代理度量成为目标时，代理会越来越多地针对代理本身进行优化，而非针对潜在的社会目标，即使努力程度很高。
• 高强度竞争加剧了系统操纵的倾向，导致代理绩效与真实目标实现之间出现显著偏离。
• 测量噪声降低了代理的可靠性，加速了其作为绩效指标的有效性衰减。
• 文化演化强化了对有缺陷代理度量的使用，即使存在更好的度量，也难以实现转型。
• 模型证明，代理度量被用作目标的频率越高，其作为信息指标的有效性就越低，这在模拟环境中验证了坎贝尔定律。
• 即使个体努力程度很高，当代理度量与真实目标错位时，系统整体绩效仍会恶化，尤其是在竞争压力下。