[论文解读] Regularization Strategies and Empirical Bayesian Learning for MKL

Ryota Tomioka, Taiji Suzuki|arXiv (Cornell University)|Nov 13, 2010

Machine Learning and Algorithms参考文献 33被引用 14

一句话总结

该论文通过凹共轭对偶性，建立了一个统一框架，将多核学习（MKL）中基于核权重的正则化与基于块范数的正则化联系起来，并提出了一种经验贝叶斯MKL方法，通过最大化边际似然来学习核权重。该方法在保持与均匀核组合相当的准确率的同时，实现了相关核的自动选择，且Elastic-net MKL实现了稀疏性并提高了可解释性。

ABSTRACT

Multiple kernel learning (MKL), structured sparsity, and multi-task learning have recently received considerable attention. In this paper, we show how different MKL algorithms can be understood as applications of either regularization on the kernel weights or block-norm-based regularization, which is more common in structured sparsity and multi-task learning. We show that these two regularization strategies can be systematically mapped to each other through a concave conjugate operation. When the kernel-weight-based regularizer is separable into components, we can naturally consider a generative probabilistic model behind MKL. Based on this model, we propose learning algorithms for the kernel weights through the maximization of marginal likelihood. We show through numerical experiments that $\ell_2$-norm MKL and Elastic-net MKL achieve comparable accuracy to uniform kernel combination. Although uniform kernel combination might be preferable from its simplicity, $\ell_2$-norm MKL and Elastic-net MKL can learn the usefulness of the information sources represented as kernels. In particular, Elastic-net MKL achieves sparsity in the kernel weights.

研究动机与目标

• 通过凹共轭变换，系统地建立MKL中基于核权重的正则化与基于块范数的正则化之间的数学联系。
• 构建一个生成概率模型，用于可分核权重正则化器，以实现MKL的系统性贝叶斯方法。
• 提出一种经验贝叶斯学习算法，通过最大化边际似然实现核权重估计，从而实现数据驱动的核选择。
• 评估所提出的经 验贝叶斯MKL的性能，并与现有MKL方法在准确率和核权重稀疏性方面进行比较。
• 研究在不同正则化策略下，MKL中稀疏性、准确率与鲁棒性之间的权衡关系。

提出的方法

• 通过凹共轭运算形式化基于核权重的正则化与基于块范数的正则化之间的联系，实现两种公式的系统性映射。
• 将核权重建模为具有条件共轭先验的随机变量，从而实现可分MKL的层次化贝叶斯公式。
• 推导一种迭代优化算法，通过交替最小化凸子问题以最大化边际似然。
• 使用MacKay风格的更新方法实现经验贝叶斯MKL，确保收敛至局部最优解。
• 将所得的非凸正则化器映射为等价的块范数正则化器，为该方法行为提供理论依据。
• 在Caltech 101数据集上进行评估，使用1,760个核进行20次训练/测试划分，比较准确率与核权重模式。

实验结果

研究问题

• RQ1 如何通过数学对偶性系统地关联MKL中基于核权重的正则化与基于块范数的正则化？
• RQ2 能否为可分核权重正则化器构建一个生成概率模型，以实现经验贝叶斯学习？
• RQ3 与标准MKL方法（如ℓ₂-范数和Elastic-net MKL）相比，经验贝叶斯MKL在分类准确率和核权重稀疏性方面的性能如何？
• RQ4 在何种条件下，所提出的经 验贝叶斯MKL会产生稀疏核权重，这如何影响泛化性能？
• RQ5 边际似然最大化方法与MKL中块范数正则化结构之间存在何种关系？

主要发现

• Elastic-net MKL在分类准确率上与均匀核组合相当，同时显著减少了活跃核的数量——在'Cannon vs Cup'任务中仅选择了88个高斯RBF核和792个χ²核。
• 所提出的经 验贝叶斯MKL方法通过最大化边际似然学习核权重，产生一个非凸正则化器，倾向于稀疏解。
• ℓ₂-范数MKL的性能与均匀核组合相似，但不像Elastic-net MKL那样在核权重中诱导稀疏性。
• 经验贝叶斯MKL倾向于产生极稀疏的核权重，这可能解释了其在小样本数据集上表现较差，特别是当每类样本少于20个时。
• 在每类样本超过30个的数据集中，经验贝叶斯MKL的性能与ℓ₂-范数和Elastic-net MKL相当，表明在数据充足时具有更好的鲁棒性。
• 该方法成功地将经验贝叶斯正则化器映射为等价的块范数正则化器，验证了核权重与块范数公式之间理论对偶性的成立。