[论文解读] Semantic Information G Theory and Logical Bayesian Inference for Machine Learning

Chenguang Lu|arXiv (Cornell University)|Sep 3, 2018

Machine Learning and Algorithms被引用 5

一句话总结

本文提出语义信息G理论与逻辑贝叶斯推断（LBI），以应对高维数据及数据分布变化下的多标签机器学习挑战。通过在语义信道框架中用隶属函数替代传统似然函数，LBI 实现了各标签的独立、优化学习而无需重新训练；同时，信道匹配（CM）算法在高斯三分类问题中仅需2–3次迭代即可实现超过99%的互信息，并提升了不平衡混合模型中EM算法的收敛性。

ABSTRACT

An important problem with machine learning is that when label number n>2, it is very difficult to construct and optimize a group of learning functions, and we wish that optimized learning functions are still useful when prior distribution P(x) (where x is an instance) is changed. To resolve this problem, the semantic information G theory, Logical Bayesian Inference (LBI), and a group of Channel Matching (CM) algorithms together form a systematic solution. A semantic channel in the G theory consists of a group of truth functions or membership functions. In comparison with likelihood functions, Bayesian posteriors, and Logistic functions used by popular methods, membership functions can be more conveniently used as learning functions without the above problem. In Logical Bayesian Inference (LBI), every label's learning is independent. For Multilabel learning, we can directly obtain a group of optimized membership functions from a big enough sample with labels, without preparing different samples for different labels. A group of Channel Matching (CM) algorithms is developed for machine learning. For the Maximum Mutual Information (MMI) classification of three classes with Gaussian distributions on a two-dimensional feature space, 2-3 iterations can make mutual information between three classes and three labels surpass 99% of the MMI for most initial partitions. For mixture models, the Expectation-Maximization (EM) algorithm is improved and becomes the CM-EM algorithm, which can outperform the EM algorithm when mixture ratios are imbalanced, or local convergence exists. The CM iteration algorithm needs to combine neural networks for MMI classifications on high-dimensional feature spaces. LBI needs further studies for the unification of statistics and logic.

研究动机与目标

• 解决当标签数量超过两个且先验分布P(x)发生变化时，优化学习函数的困难。
• 克服标准方法（如逻辑回归、贝叶斯推断）在先验分布发生偏移时需重新训练的局限性。
• 构建统一的多标签学习框架，确保在不同数据分布下仍能保持优化的学习函数。
• 提升在成分不平衡或陷入局部最优的混合模型中，EM算法的收敛性与性能。
• 通过将神经网络与信道匹配算法结合，实现高维空间中高效、可扩展的学习。

提出的方法

• 提出语义信息G理论，使用真值函数或隶属函数替代似然函数，构建语义信道模型。
• 引入逻辑贝叶斯推断（LBI），使每个标签的学习相互独立，从而可直接从单一标注数据集进行优化。
• 开发信道匹配（CM）算法，通过隶属函数迭代最大化标签与类别之间的互信息。
• 将CM应用于最大互信息（MMI）分类，在三分类高斯问题中仅需2–3次迭代即可实现超过理论MMI的99%。
• 将EM算法改进为CM-EM，其在混合成分比例不平衡或存在强局部收敛陷阱的情况下优于标准EM。
• 将CM迭代与神经网络结合，实现高维特征空间中的分类，扩展了方法在复杂数据上的适用性。

实验结果

研究问题

• RQ1 在语义信道框架中，隶属函数能否替代似然函数，实现在先验分布变化下的稳定学习？
• RQ2 通过LBI实现的独立标签学习，能否在多标签设置中消除对每类单独标注样本的需求？
• RQ3 信道匹配算法能否在少数迭代内实现多分类问题下的近似最优互信息？
• RQ4 CM-EM算法是否能在成分不平衡或初始化不佳的混合模型中，提升标准EM的收敛性与性能？
• RQ5 将CM与深度神经网络结合，能否使该方法适用于高维特征空间？

主要发现

• 在二维空间的三分类高斯分类问题中，CM算法从大多数初始划分出发，仅需2–3次迭代即可使互信息超过理论最大互信息（MMI）的99%。
• 在混合成分比例不平衡或存在强局部收敛陷阱的混合模型中，CM-EM算法优于标准EM。
• 在G理论框架中，隶属函数使得优化的学习函数在先验分布P(x)发生变化时仍保持有效性。
• LBI可直接从单一标注数据集优化完整隶属函数集合，无需为每类准备独立的样本。
• CM-EM算法在具有挑战性的混合模型场景中表现出更优的稳定性和更快的收敛速度。
• 将CM与神经网络结合，可在高维特征空间中实现有效的MMI分类，显著扩展了该方法的实际应用范围。