[论文解读] Unsupervised Sequence Classification using Sequential Output Statistics

Yu Liu, Jianshu Chen+1 more|arXiv (Cornell University)|Feb 25, 2017

Machine Learning and Algorithms被引用 9

一句话总结

该论文提出了一种基于序列输出统计的无监督序列分类方法，具体采用一种新颖的损失函数——经验-ODM（Empirical-ODM），以促进覆盖性行为，避免平凡解。该方法引入了一种随机对偶梯度（Stochastic Primal-Dual Gradient, SPDG）算法来优化具有挑战性的函数形式，在光学字符识别（OCR）和拼写纠正任务上，测试误差约为完全监督学习的两倍，展示了在无标注数据下强大的性能表现。

ABSTRACT

We consider learning a sequence classifier without labeled data by using sequential output statistics. The problem is highly valuable since obtaining labels in training data is often costly, while the sequential output statistics (e.g., language models) could be obtained independently of input data and thus with low or no cost. To address the problem, we propose an unsupervised learning cost function and study its properties. We show that, compared to earlier works, it is less inclined to be stuck in trivial solutions and avoids the need for a strong generative model. Although it is harder to optimize in its functional form, a stochastic primal-dual gradient method is developed to effectively solve the problem. Experiment results on real-world datasets demonstrate that the new unsupervised learning method gives drastically lower errors than other baseline methods. Specifically, it reaches test errors about twice of those obtained by fully supervised learning.

研究动机与目标

• 开发一种无监督序列分类学习方法，以避免对昂贵标注数据的依赖。
• 解决先前无监督方法的局限性，例如陷入平凡解或需要强生成模型。
• 利用序列输出统计（如N-gram语言模型）作为先验，指导分类器训练，而无需标注数据。
• 设计一种新型损失函数，具备更优的优化特性，以适用于无监督序列学习。
• 在真实世界的序列分类任务上验证所提方法的有效性。

提出的方法

• 提出一种基于匹配经验输出分布与预训练语言模型先验的新无监督损失函数——经验-ODM（Empirical-ODM）。
• 在损失函数中引入覆盖性特性，以降低收敛至平凡解的风险，优于先前方法。
• 开发一种随机对偶梯度（SPDG）算法，用于优化非凸、函数形式复杂的损失函数，实现有效训练。
• 将优化问题转化为对偶域，以降低损失函数景观中的高障碍。
• 采用基于SPDG算法的小批量随机优化策略，实现大规模数据集上的可扩展训练。
• 使用N-gram语言模型（2-gram、3-gram）作为序列先验，其训练独立于无标注文本数据。

实验结果

研究问题

• RQ1 能否设计一种损失函数，避免在无监督序列分类中依赖强生成模型而陷入平凡解？
• RQ2 如何有效利用序列输出统计（如语言模型）在无标注数据下训练序列分类器？
• RQ3 像SPDG这样的新型优化方法，能否克服无监督学习中非凸、函数形式复杂损失函数的挑战？
• RQ4 相较于一元模型先验，使用更高阶N-gram（2-gram、3-gram）在多大程度上提升性能？
• RQ5 无监督序列分类的性能在误差率上能多接近完全监督学习？

主要发现

• 在OCR数据集上，所提方法的测试误差率为9.59%，而完全监督学习为4.63%，误差率约为其两倍。
• 在拼写纠正数据集上，该方法的测试误差为1.94%，而监督学习为0.00%，同样显示出约两倍的误差率。
• 该方法显著优于[7]中先前的最先进方法，后者在OCR任务上即使经过超参数调优，误差率仍高达83.37%。
• 在四组测试数据中的三组中，使用3-gram语言模型的误差率低于2-gram模型，表明更丰富的序列先验可提升性能。
• 该方法对语言模型质量具有鲁棒性，使用领域内和领域外语言模型数据时性能相近（如OCR上分别为9.59%和10.17%）。
• SPDG算法成功优化了复杂损失函数，使模型收敛至有意义的解，而此前方法在相同条件下未能实现。