[论文解读] Opponent Indifference in Rating Systems: A Theoretical Case for Sonas

Bodwin, Greg, Zhang, Forest|arXiv (Cornell University)|Feb 21, 2017

Artificial Intelligence in Games参考文献 18被引用 28

一句话总结

本文提出一种基于模型的方法，通过评估三种组件的预测能力，对多人在线战术竞技场（MOBA）游戏中玩家技能进行分解：玩家基础技能、英雄基础技能以及英雄特定玩家技能。基于《英雄联盟》和《Dota 2》的数据，采用统计模型分析发现，《英雄联盟》依赖于全部三种技能组件，而《Dota 2》则主要由英雄基础技能驱动，凸显了两款游戏在核心设计上的根本差异。

ABSTRACT

In competitive games, it is common to assign each player a real number rating signifying their skill level. A rating system is a procedure by which player ratings are adjusted upwards each time they win, or downwards each time they lose. Many matchmaking systems give players some control over their opponent’s rating; for example, a player might be able to selectively initiate games against opponents whose ratings are publicly visible, or abort a game without penalty before it begins but after glimpsing their opponent’s rating. It is natural to ask whether one can design a rating system that does not incentivize a rating-maximizing player to act strategically, seeking games against opponents of one rating over another. We show the following: - The full version of this "opponent indifference" property is unfortunately too strong to be feasible. Although it is satisfied by some rating systems, these systems lack certain desirable expressiveness properties, suggesting that they are not suitable to capture most games of interest. - However, there is a natural relaxation, roughly requiring indifference between any two opponents who are both "reasonably evenly matched" with the choosing player. We prove that this relaxed variant of opponent indifference, which we call P opponent indifference, is viable. In fact, a certain strong version of P opponent indifference precisely characterizes the rating system Sonas, which was originally proposed for its empirical predictive accuracy on the outcomes of high-level chess games.

研究动机与目标

• 理解《英雄联盟》和《Dota 2》等团队制MOBA游戏中玩家技能的潜在构成成分。
• 探究玩家基础技能、英雄基础技能以及英雄特定玩家技能是否独立影响对局结果。
• 开发并验证一种基于模型的方法，量化不同技能组件对对局结果的相对影响。
• 为《英雄联盟》与《Dota 2》之间的游戏设计差异如何塑造技能构成与玩家表现提供洞见。
• 支持公平匹配系统、外挂检测以及游戏与众包场景中高效团队组建的应用。

提出的方法

• 从《英雄联盟》和《Dota 2》的公开数据集中收集对局结果统计数据。
• 通过组合不同技能组件（玩家基础技能、英雄基础技能、英雄特定玩家技能）构建多种技能结构假设。
• 采用多种预测模型——逻辑回归（LR）、TrueSkill以及基线模型（BL-MC）——评估每种假设。
• 通过测试准确率和统计显著性检验（如配对t检验）比较模型性能，评估每种技能组件的增量贡献。
• 实施匿名化实验，检验结果对数据质量问题（尤其是《Dota 2》中的情况）的鲁棒性。
• 通过模型比较推断哪些技能组件是匹配结果的统计显著预测因子。

实验结果

研究问题

• RQ1 在MOBA游戏中，玩家基础技能、英雄基础技能或英雄特定技能中，哪一成分对对局结果的影响最为显著？
• RQ2 《英雄联盟》与《Dota 2》中，这些技能组件的相对贡献有何差异？
• RQ3 匹配系统或数据质量（如匿名化）在多大程度上影响玩家基础技能在技能分解中的可检测性？
• RQ4 技能分解模型是否能超越基线模型，提升对局结果的预测能力？
• RQ5 《英雄联盟》与《Dota 2》在游戏设计结构上的差异，如何影响特定技能组件的显著性？

主要发现

• 在《英雄联盟》中，玩家基础技能对对局结果预测有显著贡献，LR-P的测试准确率比基线BL-MC高出3.51%。
• 在《英雄联盟》中，英雄特定玩家技能进一步提升了预测准确率，LR-P-C-PC在所有模型中达到最高测试准确率。
• 在《Dota 2》中，玩家基础技能对基线模型无显著改进，LR-P的准确率与BL-MC几乎完全相同，表明其贡献微乎其微。
• 在《Dota 2》中，英雄特定技能的影响也微乎其微，当在LR-P基础上增加该组件时，准确率仅提升0.13%，且不具统计显著性。
• 在《Dota 2》中，英雄基础技能是主导因素，LR-C的测试准确率比《英雄联盟》高出4%以上，这一差距超出统计解释范围。
• 匿名化实验确认，《Dota 2》中玩家基础技能无法被检测并非由于数据质量问题，因为在《英雄联盟》中进行类似匿名化处理后，添加技能组件仍能带来显著性能提升。