[论文解读] Multiple-Source Adaptation for Regression Problems

Judy Hoffman, Mehryar Mohri+1 more|arXiv (Cornell University)|Nov 14, 2017

Domain Adaptation and Few-Shot Learning参考文献 24被引用 3

一句话总结

本文提出了一种用于回归任务中多源域自适应的分布加权预测器，采用DC-规划方法优化平方损失，实现对任意目标域混合分布的鲁棒性能。理论上和实证上均表明，即使目标混合分布未知，单一学习到的模型也优于基线模型，包括具有特权信息和领域自适应的模型。

ABSTRACT

We present a detailed theoretical analysis of the problem of multiple-source adaptation in the general stochastic scenario, extending known results that assume a single target labeling function. Our results cover a more realistic scenario and show the existence of a single robust predictor accurate for \emph{any} target mixture of the source distributions. Moreover, we present an efficient and practical optimization solution to determine the robust predictor in the important case of squared loss, by casting the problem as an instance of DC-programming. We report the results of experiments with both an artificial task and a sentiment analysis task. We find that our algorithm outperforms competing approaches by producing a single robust model that performs well on any target mixture distribution.

研究动机与目标

• 解决仅能访问多个源预测器而无法获取目标数据时的回归领域自适应挑战。
• 将多源自适应的理论保证从确定性场景扩展到随机场景，涵盖现实中的数据分布。
• 开发一种高效的优化方法，用于学习一个在任意源域混合分布下均表现良好的单一鲁棒预测器。
• 在人工数据和真实世界的情感分析任务上实证验证该方法，证明其优于现有基线模型。

提出的方法

• 将多源自适应问题表述为基于平方损失的DC-规划问题，实现高效优化。
• 采用源预测器的分布加权组合，权重通过最小化目标混合分布上的期望损失获得。
• 利用源域边缘分布的经验估计（如二元语法语言模型）来近似真实分布，而无需标签信息。
• 应用定点迭代法求解所得优化问题，避免对目标标签的依赖。
• 实现一种实用算法，学习一个对任意未知目标混合分布均有效的单一预测器。
• 将核方法与样本重加权（KMM）作为基线，尽管KMM在训练期间需要无标签目标数据。

实验结果

研究问题

• RQ1 能否学习到一个单一的鲁棒预测器，使其在回归任务中对任意多个源域的混合均表现良好？
• RQ2 如何将多源自适应的理论保证从确定性标签函数扩展到随机标签函数？
• RQ3 何种优化框架能够实现基于平方损失的分布加权预测器的高效计算？
• RQ4 当真实目标混合分布未知时，所提方法与基线方法相比表现如何？

主要发现

• 所提出的分布加权（DW）预测器在所有测试的目标混合分布中均优于所有基线模型，包括特权λ组合和KMM，涵盖单源和多源组合。
• 即使目标域为单一源域，DW的MSE仍低于源特定预测器，证明其在单个领域之外具有良好的泛化能力。
• 在情感分析任务中，DW在10次重复实验中平均MSE为0.142，标准差为0.018，优于均匀组合（0.178）和各源模型。
• 该算法成功学习到一个单一鲁棒模型，而无需使用无标签目标数据，而KMM则需依赖此类数据进行自适应。
• 实验结果证实，分布加权预测器的理论鲁棒性在不同混合分布下均能在实践中成立。
• DC-规划公式化方法实现了高效优化，使该方法在真实世界回归任务中具有实际可行性。