[论文解读] On Sex, Evolution, and the Multiplicative Weights Update Algorithm

Reshef Meir, David C. Parkes|arXiv (Cornell University)|Feb 17, 2015

Advanced Bandit Algorithms Research参考文献 18被引用 5

一句话总结

本文通过证明在重组前选择（RS）和选择前重组（SR）两种情况下，种群动态精确地镜像了乘法权重更新算法（MWUA）的边际分布，从而将性繁殖进化与MWUA之间的联系进行了推广。该研究无需假设弱选择或产品分布，揭示了性繁殖在一般适应度景观下实现了基因层面的无遗憾学习。

ABSTRACT

We consider a recent innovative theory by Chastain et al. on the role of sex in evolution [PNAS'14]. In short, the theory suggests that the evolutionary process of gene recombination implements the celebrated multiplicative weights updates algorithm (MWUA). They prove that the population dynamics induced by sexual reproduction can be precisely modeled by genes that use MWUA as their learning strategy in a particular coordination game. The result holds in the environments of \emph{weak selection}, under the assumption that the population frequencies remain a product distribution. We revisit the theory, eliminating both the requirement of weak selection and any assumption on the distribution of the population. Removing the assumption of product distributions is crucial, since as we show, this assumption is inconsistent with the population dynamics. We show that the marginal allele distributions induced by the population dynamics precisely match the marginals induced by a multiplicative weights update algorithm in this general setting, thereby affirming and substantially generalizing these earlier results. We further revise the implications for convergence and utility or fitness guarantees in coordination games. In contrast to the claim of Chastain et al.[PNAS'14], we conclude that the sexual evolutionary dynamics does not entail any property of the population distribution, beyond those already implied by convergence.

研究动机与目标

• 解决先前研究中在通过MWUA建模性进化时假设弱选择和产品分布所导致的不一致问题。
• 建立生物种群动态（RS与SR）与一种MWUA变体之间的普遍对应关系。
• 澄清性繁殖下基因的收敛性与遗憾特性，纠正早期关于种群层面适应度最大化的错误主张。
• 证明原始模型的假设与实际种群动态不一致，特别是在等位基因分布相关性方面。

提出的方法

• 利用条件概率与适应度加权平均，推导SR与RS种群动态下的基因边际等位基因分布。
• 引入一种在相关策略上运行的广义MWUA变体，证明其与性种群中基因的边际动态完全匹配。
• 使用数学归纳法与联合分布的递归分解，证明每个基因的边际分布均如同应用了无遗憾学习规则一般演化。
• 应用博弈论与学习算法中的已知收敛结果，证明在SR动态下，即使没有弱选择，每个基因的累积遗憾也保持有界。
• 通过实证表明，种群分布可与Wright流形（产品分布）显著偏离，从而否定了先前假设的有效性。
• 通过证明在一般适应度条件下RS与SR动态并不等价，调和了关于两者动态的相互矛盾解释。

实验结果

研究问题

• RQ1 在不假设弱选择或产品分布的前提下，乘法权重更新算法是否能准确描述性种群中基因边际动态？
• RQ2 在一般适应度矩阵下，SR与RS种群动态与MWUA的对应关系如何比较？
• RQ3 在不依赖弱选择或独立等位基因分布的前提下，能否保证个体基因在性进化中具有有界的累积遗憾？
• RQ4 种群分布与早期研究中声称的适应度最大化特性之间的真实关系是什么？
• RQ5 为何原始假设的产品分布与弱选择会导致与实际种群动态不一致？

主要发现

• 在SR与RS动态下，每个基因的边际分布均精确匹配乘法权重更新算法的更新规则，即使在无弱选择或产品分布假设下也成立。
• 该对应关系适用于任意数量的基因、任意适应度矩阵、任意重组率以及任意初始种群频率。
• 种群动态可显著偏离Wright流形（产品分布），从而否定了Chastain等人[2014]中的一个关键假设。
• 在SR动态下，由于底层MWUA变体的收敛特性，每个基因的累积遗憾均保持有界，即使没有弱选择。
• 实例表明，SR与RS动态可能收敛至不同均衡点，这与二者在一般条件下可互换的主张相矛盾。
• 原始主张中称性进化会最大化适应度总和与熵的组合，该说法缺乏支持——该过程仅暗示收敛，不蕴含额外的优化特性。