[论文解读] Q-DeckRec: A Fast Deck Recommendation System for Collectible Card Games

Zhengxing Chen, Christopher Amato+4 more|arXiv (Cornell University)|Jun 26, 2018

Artificial Intelligence in Games参考文献 21被引用 4

一句话总结

Q-DeckRec 是一种基于强化学习的卡组推荐系统，通过学习策略在集换式卡牌游戏中高效构建胜率高的卡组。通过训练 Q-learning 代理在对手卡组之间进行泛化，其推理时间可控制在 10 秒以内——显著优于需要数小时的遗传算法，且在经过 3 天训练后，其胜率与遗传算法相当或更优。

ABSTRACT

Deck building is a crucial component in playing Collectible Card Games (CCGs). The goal of deck building is to choose a fixed-sized subset of cards from a large card pool, so that they work well together in-game against specific opponents. Existing methods either lack flexibility to adapt to different opponents or require large computational resources, still making them unsuitable for any real-time or large-scale application. We propose a new deck recommendation system, named Q-DeckRec, which learns a deck search policy during a training phase and uses it to solve deck building problem instances. Our experimental results demonstrate Q-DeckRec requires less computational resources to build winning-effective decks after a training phase compared to several baseline methods.

研究动机与目标

• 为解决现有集换式卡牌游戏（CCGs）卡组推荐方法计算成本过高的问题，特别是那些依赖反复模拟对局的方法。
• 开发一种快速、可扩展且适用于大规模部署或实时对战的卡组推荐系统。
• 通过强化学习学习一种可泛化的卡组构建策略，减少对领域特定启发式规则或昂贵评估函数的依赖。
• 在初始训练阶段后，实现对新卡组构建问题实例的高效推理，最大限度降低运行时计算成本。

提出的方法

• Q-DeckRec 将卡组构建建模为一个序列决策问题，其中每个状态表示玩家当前的卡组和对手的卡组，动作是卡牌的修改操作（添加、移除、替换）。
• 采用深度 Q 网络（DQN）结合多层感知机（MLP）来近似 Q 值函数，将状态-动作对映射到预期胜率。
• 系统通过大量模拟回合进行训练，每个回合从随机初始卡组开始，并通过应用动作来提升对固定对手卡组的胜率。
• 训练过程中，智能体通过经验回放和目标网络更新来最大化累积奖励，从而实现稳定学习。
• 训练完成后，该策略被部署用于实时生成卡组，推理计算成本极低，平均仅需 9.63 秒 CPU 时间。
• 该方法使用监督学习基线（MC-simulation）进行对比，该基线从卡牌特征预测胜率，但由于预测噪声过大，泛化能力较差。

实验结果

研究问题

• RQ1 基于强化学习的策略能否在极少实时计算开销下，生成集换式卡牌游戏中胜率高的有效卡组？
• RQ2 Q-DeckRec 在胜率和计算成本方面与传统元启发式方法（如遗传算法）相比表现如何？
• RQ3 预训练的 Q 网络在无需微调的情况下，能在多大程度上泛化到不同的对手卡组？
• RQ4 通过深度神经网络进行函数逼近，是否能实现在可能卡组状态空间中的高效泛化？
• RQ5 为何使用预测胜率的监督学习基线尽管 R² 分数较高，却无法生成有效卡组？

主要发现

• Q-DeckRec 实现的胜率与耗时 25 分钟的遗传算法（GA）相当，但每次推理仅需 9.63 秒 CPU 时间，计算成本降低了 1000 倍。
• 经过 3 天的训练阶段后，Q-DeckRec 生成的卡组在胜率上与 GA（25 分钟运行时间限制）无显著差异，效果相当。
• 监督学习基线（MC-simulation）的胜率峰值仅为 0.84，显著低于 Q-DeckRec 的表现，原因是其对噪声预测过度拟合。
• Q-DeckRec 智能体在状态空间中表现出良好的泛化能力，仅通过 62,000 次状态转移就完成了学习，远少于可能状态总数（约 1.97×10^50）。
• 该方法对噪声预测具有鲁棒性，因其学习的是序列策略，可避免选择那些因错误预测而胜率虚高的异常卡组。
• 通过从真实玩家卡组分布初始化回合而非随机状态，可进一步提升模型的样本效率，减少在无关状态区域的探索。