[论文解读] PAC-Bayesian Theorems for Domain Adaptation with Specialization to Linear Classifiers

Pascal Germain, Amaury Habrard+2 more|arXiv (Cornell University)|Mar 24, 2015

Domain Adaptation and Few-Shot Learning参考文献 36被引用 5

一句话总结

本文提出了一种新颖的PAC-Bayesian域自适应框架，利用基于分歧的伪距离，为随机Gibbs分类器推导出更紧致的一般化边界，尤其针对线性分类器。该框架提出了一种学习算法，在合成数据和真实世界的情感分析任务中均提升了性能，同时将理论扩展至多源域自适应，并提供了理论保证。

ABSTRACT

In this paper, we provide two main contributions in PAC-Bayesian theory for domain adaptation where the objective is to learn, from a source distribution, a well-performing majority vote on a different target distribution. On the one hand, we propose an improvement of the previous approach proposed by Germain et al. (2013), that relies on a novel distribution pseudodistance based on a disagreement averaging, allowing us to derive a new tighter PAC-Bayesian domain adaptation bound for the stochastic Gibbs classifier. We specialize it to linear classifiers, and design a learning algorithm which shows interesting results on a synthetic problem and on a popular sentiment annotation task. On the other hand, we generalize these results to multisource domain adaptation allowing us to take into account different source domains. This study opens the door to tackle domain adaptation tasks by making use of all the PAC-Bayesian tools.

研究动机与目标

• 在缺乏目标标签的情况下，为域自适应开发更紧致的PAC-Bayesian一般化边界。
• 将理论框架专门化至线性分类器，以增强实际适用性并实现高效学习。
• 将单源域自适应框架扩展至多源设置，支持使用多个源域。
• 设计一种利用新理论边界的算法，并展示其经验有效性。
• 提供一种统一的PAC-Bayesian方法用于域自适应，整合先验知识与分歧度量。

提出的方法

• 引入一种基于分类器之间平均分歧的新型伪距离，用于度量源域与目标域之间的分布差异。
• 通过结合源数据上的经验风险、目标数据上的分歧以及后验与先验分布之间的KL散度，推导出Gibbs分类器的更紧致PAC-Bayesian边界。
• 通过约束假设类并优化线性决策边界，将一般边界专门化至线性分类器。
• 提出一种最小化推导边界的学习算法，通过经验损失与分歧损失的加权组合，同时整合源风险与域差异。
• 通过将源分布建模为多个源域的混合，并相应调整伪距离，将框架扩展至多源域自适应。
• 使用集中不等式与重缩放技术，界定源域与目标域期望风险之间的差异，确保高概率一般化。

实验结果

研究问题

• RQ1 与现有分歧度量相比，基于分歧的伪距离是否能在域自适应中带来更紧致的PAC-Bayesian边界？
• RQ2 如何将PAC-Bayesian理论专门化至线性分类器，以实现高效且有效的域自适应？
• RQ3 所提出的框架能否扩展至同时处理多个源域的多源域自适应设置？
• RQ4 所推导的学习算法是否在真实世界的域自适应任务中实现了更好的一般化性能？
• RQ5 在多源域自适应设置中，使用源分布混合的理论依据是什么？

主要发现

• 基于平均分歧的所提伪距离相比先前方法，带来了更紧致的PAC-Bayesian边界，提升了泛化保证。
• 针对线性分类器的专门化边界，使得能够设计出在合成数据和真实世界情感分类任务中表现良好的高效学习算法。
• 实证结果表明，该算法在一项流行的情感标注任务中实现了显著的性能提升，证明了理论框架的实际价值。
• 多源域自适应的扩展成功推广了理论结果，使多个源域的使用成为可能，从而提升目标域性能。
• 理论分析证实，所推导的边界以高概率成立，明确依赖于KL散度、经验风险和分歧项。
• 该框架通过单一统一的目标函数，为平衡源风险、域差异与模型复杂度提供了合理方法。