[论文解读] Water from Two Rocks: Maximizing the Mutual Information

Yuqing Kong, Grant Schoenebeck|arXiv (Cornell University)|Feb 24, 2018

Machine Learning and Algorithms参考文献 5被引用 7

一句话总结

该论文通过以最大化条件独立数据源之间的互信息为核心的的信息论框架，统一了机器学习中的协同训练与无需验证的预测获取。它提出了f-互信息增益作为一项稳健且可扩展的评估指标，避免了‘天真一致’问题，即使在无标注数据或真实标签验证的情况下，也能实现诚实预测与最优预测。

ABSTRACT

We build a natural connection between the learning problem, co-training, and forecast elicitation without verification (related to peer-prediction) and address them simultaneously using the same information theoretic approach. In co-training/multiview learning, the goal is to aggregate two views of data into a prediction for a latent label. We show how to optimally combine two views of data by reducing the problem to an optimization problem. Our work gives a unified and rigorous approach to the general setting. In forecast elicitation without verification we seek to design a mechanism that elicits high quality forecasts from agents in the setting where the mechanism does not have access to the ground truth. By assuming the agents' information is independent conditioning on the outcome, we propose mechanisms where truth-telling is a strict equilibrium for both the single-task and multi-task settings. Our multi-task mechanism additionally has the property that the truth-telling equilibrium pays better than any other strategy profile and strictly better than any other "non-permutation" strategy profile when the prior satisfies some mild conditions.

研究动机与目标

• 解决在无任何标注数据（Y）的情况下，仅依赖两个条件独立的数据源 X_A 和 X_B，对隐变量标签 Y 进行准确预测的挑战。
• 设计激励相容机制，从无真实标签访问的代理处获取高质量预测，确保诚实是严格均衡。
• 通过以互信息最大化替代基于一致性的奖励，克服‘天真一致’问题——即预测器收敛至相同且无信息量的预测。
• 提供一个统一的理论框架，通过信息论（特别是f-散度与互信息）连接多视图学习与同行预测。
• 通过可扩展的评估指标（如f-互信息增益）实现实际部署，该指标无需完整联合分布知识或对高维空间的归一化。

提出的方法

• 将协同训练与预测获取问题建模为优化任务，以在隐变量标签 Y 的条件下，最大化两个数据源 X_A 与 X_B 之间的互信息。
• 采用基于f-散度的互信息增益作为性能指标，该指标对高维输入具有鲁棒性，并避免了先前方法中常见的归一化问题。
• 将PS-gain与LSR-gain作为f-互信息框架的一般形式的特例，其中PS-gain需要在整个输入空间上进行归一化，而LSR-gain依赖生成模型。
• 通过建立预测器评估与奖励设计之间的对偶性，将f-互信息增益框架应用于学习与机制设计。
• 通过利用条件独立性与信息论激励机制，确保在机制设计设置中诚实陈述为严格均衡。
• 使用神经网络或其他参数化假设族来近似贝叶斯后验，从而在高维输入的真实世界数据上实现可扩展实现。

实验结果

研究问题

• RQ1 我们能否在无任何标注数据（Y）的情况下，仅使用两个条件独立的源 X_A 与 X_B，对隐变量标签 Y 进行最优预测的评估与学习？
• RQ2 如何设计激励机制，使代理在无真实标签访问的情况下提供诚实预测，同时确保诚实是严格均衡？
• RQ3 在协同训练与同行预测中，避免‘天真一致’问题的根本信息论原理是什么？
• RQ4 f-散度中凸函数 f 的选择如何影响互信息最大化框架的性能与收敛性？
• RQ5 在何种场景下，f-互信息增益可被实际应用，特别是在某一输入源具有高维性或无显式生成模型时？

主要发现

• f-互信息增益框架为PS-gain提供了一种可扩展且稳健的替代方案，避免了对高维输入空间进行归一化的需要。
• 当输入空间 X_B 为高维时（例如 100×100 图像），PS-gain 因需 2^100 的归一化而计算上不可行，而 f-互信息增益仍保持可计算性。
• 机制设计框架确保诚实陈述为严格均衡，并在温和先验条件下，其收益严格高于任何非置换策略组合。
• 所提出的框架通过表明预测器评估与奖励设计在互信息最大化下为对偶问题，统一了协同训练与预测获取。
• 在标签噪声设置中，当标签转移模型简单且低维时，PS-gain 与 f-互信息增益均适用。
• 该框架通过基于神经网络的假设族支持实际部署，该族可近似贝叶斯后验而不过拟合，前提是模型容量充分且具备泛化能力。