[论文解读] The minimum information principle for discriminative learning

Amir Globerson, Naftali Tishby|arXiv (Cornell University)|Jul 7, 2004

Statistical Mechanics and Entropy参考文献 14被引用 19

一句话总结

本文提出最小互信息（MMI）作为分类判别学习中最大熵的更优原则。通过优化输入与类别标签之间的互信息，该框架推广了最大熵方法，支持博弈论解释，并在基准任务上使分类器性能优于最大熵模型。

ABSTRACT

Exponential models of distributions are widely used in machine learning for classification and modelling. It is well known that they can be interpreted as maximum entropy models under empirical expectation constraints. In this work, we argue that for classification tasks, mutual information is a more suitable information theoretic measure to be optimized. We show how the principle of minimum mutual information generalizes that of maximum entropy, and provides a comprehensive framework for building discriminative classifiers. A game theoretic interpretation of our approach is then given, and several generalization bounds provided. We present iterative algorithms for solving the minimum information problem and its convex dual, and demonstrate their performance on various classification tasks. The results show that minimum information classifiers outperform the corresponding maximum entropy models.

研究动机与目标

• 为解决最大熵模型在判别分类中的局限性，提出更合适的信息论原则。
• 确立互信息作为判别学习最优准则，尤其在分类任务中。
• 构建一个统一框架，通过最小互信息原则推广最大熵。
• 通过博弈论和泛化界提供所提方法的理论基础。
• 设计用于求解最小信息问题及其凸对偶的迭代算法，实现实际应用。

提出的方法

• 提出最小互信息（MMI）原则作为判别分类器的优化目标。
• 推导MMI框架的博弈论解释，将分类问题建模为极小极大博弈。
• 开发用于求解原始最小信息问题及其凸对偶的迭代算法。
• 使用经验期望约束定义模型空间，类似于最大熵方法，但在互信息最小化框架下。
• 应用凸对偶性，推导出适合迭代求解器的可计算优化形式。
• 在多种分类任务上验证该框架的性能。

实验结果

研究问题

• RQ1 互信息能否作为判别分类中比熵更合适的理论信息准则？
• RQ2 最小互信息原则如何在分类中推广最大熵原则？
• RQ3 基于最小互信息原则训练的分类器具有哪些理论性质，如泛化界？
• RQ4 求解最小信息问题的迭代算法在实际中与最大熵模型相比表现如何？
• RQ5 最小互信息框架的博弈论解释是什么？

主要发现

• 最小互信息框架推广了最大熵原则，为判别学习提供了更合适的理论基础。
• 基于最小互信息的分类器在多种分类任务中优于其最大熵对应模型。
• 博弈论解释为判别学习提供了新视角，将其与对抗优化联系起来。
• 推导出泛化界，为框架的鲁棒性提供了理论支持。
• 原始问题与对偶问题的迭代算法收敛，并展现出实际有效性。
• 该框架提供了一个全面的信息论替代方案，相较于最大熵方法，具有更优的实证性能。