[论文解读] Piecewise Training for Undirected Models

Charles Sutton, Andrew McCallum|arXiv (Cornell University)|Jul 4, 2012

Topic Modeling参考文献 16被引用 146

一句话总结

本文通过在每个团上独立训练局部分类器，然后将它们组合成全局模型，提出了一种用于无向模型的分段训练方法。该方法通过最小化对数归一化常数的上界来证明其合理性，并在三个NLP数据集上表现出优于伪似然估计的准确率，且与全局训练方法性能相当。

ABSTRACT

For many large undirected models that arise in real-world applications, exact maximumlikelihood training is intractable, because it requires computing marginal distributions of the model. Conditional training is even more difficult, because the partition function depends not only on the parameters, but also on the observed input, requiring repeated inference over each training example. An appealing idea for such models is to independently train a local undirected classifier over each clique, afterwards combining the learned weights into a single global model. In this paper, we show that this piecewise method can be justified as minimizing a new family of upper bounds on the log partition function. On three natural-language data sets, piecewise training is more accurate than pseudolikelihood, and often performs comparably to global training using belief propagation.

研究动机与目标

• 为解决由于归一化常数难以计算而导致的大规模无向模型精确最大似然训练的不可行性。
• 为分区函数依赖于观测输入的条件模型开发一种可扩展的训练方法。
• 将按团训练局部模型（即分段训练）作为全局训练的合理替代方法进行理论论证。
• 在真实世界NLP数据集上，将分段训练与伪似然估计和基于信念传播的全局训练进行比较评估。

提出的方法

• 该方法在图模型的每个团上独立训练一个局部无向分类器。
• 将所有团学习到的权重合并为一个单一的全局模型。
• 该方法在理论上被证明为最小化一类新的对数归一化常数上界的优化方法。
• 通过变分推理技术推导出这些上界，以近似难以计算的归一化常数。
• 训练过程通过聚焦于局部团，避免了在整个模型上进行完整推理。
• 最终的全局模型通过聚合局部参数构建，无需联合优化。

实验结果

研究问题

• RQ1 对局部团进行分段训练是否能生成全局一致且准确的无向模型？
• RQ2 分段训练是否在理论上被证明为最小化对数归一化常数的上界？
• RQ3 分段训练在准确率上与伪似然估计和基于信念传播的全局训练相比如何？
• RQ4 当分区函数依赖于输入时，分段方法在条件模型中是否仍能保持性能？

主要发现

• 在评估的三个自然语言数据集上，分段训练的准确率均高于伪似然估计。
• 在预测性能方面，该方法与使用信念传播的全局训练方法表现相当。
• 理论分析表明，分段训练最小化了一类对数归一化常数的上界。
• 该方法具有可扩展性，并避免了训练过程中完整推理的计算负担。