[论文解读] On the accuracy of self-normalized log-linear models

Jacob Andreas, Maxim Rabinovich+2 more|arXiv (Cornell University)|Jun 12, 2015

Bayesian Modeling and Causal Inference参考文献 10被引用 7

一句话总结

本文首次对自归一化的对数线性模型进行了理论分析，表明自归一化在引入模型似然性上的损失是有限的，同时通过将未归一化的得分近似为概率，实现了高效的推理。研究建立了归一化因子方差的一般化泛化界，并指出高熵或低熵的预测分布比中间熵的分布更容易实现自归一化，实证结果验证了这些预测。

ABSTRACT

Calculation of the log-normalizer is a major computational obstacle in applications of log-linear models with large output spaces. The problem of fast normalizer computation has therefore attracted significant attention in the theoretical and applied machine learning literature. In this paper, we analyze a recently proposed technique known as "self-normalization", which introduces a regularization term in training to penalize log normalizers for deviating from zero. This makes it possible to use unnormalized model scores as approximate probabilities. Empirical evidence suggests that self-normalization is extremely effective, but a theoretical understanding of why it should work, and how generally it can be applied, is largely lacking. We prove generalization bounds on the estimated variance of normalizers and upper bounds on the loss in accuracy due to self-normalization, describe classes of input distributions that self-normalize easily, and construct explicit examples of high-variance input distributions. Our theoretical results make predictions about the difficulty of fitting self-normalized models to several classes of distributions, and we conclude with empirical validation of these predictions.

研究动机与目标

• 为了理解尽管在高维、复杂的输入空间中存在理论挑战，自归一化为何在实践中仍能奏效。
• 为了刻画自归一化模型中模型准确率与归一化因子近似误差之间的权衡。
• 为了识别出适合自归一化的输入分布类别，并构建在理论上证明困难的示例。
• 为了提供由自归一化引入的似然差距的理论界，弥合实证成功与理论解释之间的鸿沟。

提出的方法

• 将先前模型推广至包含连续和高维输入分布，将分析范围从离散有限输出空间扩展至更广泛场景。
• 推导出自归一化下对数归一化因子方差的一般化泛化界，将模型复杂度与近似稳定性相联系。
• 引入似然差距度量，以量化忽略真实归一化因子所导致的预测性能损失。
• 在合成实验中使用温度参数在低熵与高熵标签分布之间插值，实现对自归一化难度的受控研究。
• 将理论界应用于自归一化语言模型的真实数据，验证了在真实世界分布上的预测结果。
• 构建在理论上证明困难的自归一化分布，以探索该方法适用性的边界。

实验结果

研究问题

• RQ1 在何种输入分布条件下，自归一化在理论上可行且对模型准确率的损失最小？
• RQ2 似然差距（即自归一化模型与真实归一化模型之间的差异）如何随预测分布的熵变化而变化？
• RQ3 我们能否形式化刻画出近似可自归一化的分布集合，以及哪些特性使其适合这种近似？
• RQ4 似然差距的理论上限是否紧致？在额外的结构假设下是否可进一步改进？
• RQ5 难以自归一化的分布对小扰动是否稳定，这是否影响其实际相关性？

主要发现

• 当预测分布为高熵或低熵时，自归一化模型表现出有界的似然差距，而中间熵水平的差距更大。
• 当从均匀分布的期望Kullback-Leibler散度极小或极大时，似然差距最小化，与理论预测一致。
• 在合成数据和真实语言模型数据上的实证结果验证了：归一化准确率与似然损失之间的权衡遵循预测模式。
• 对归一化因子方差的理论界被证明具有信息量，且在模型参数具有谱特性或稀疏性假设时可获得更紧的界。
• 通过显式构造高方差输入分布，表明自归一化并非普遍适用，尤其在具有混合熵特性的分布上表现不佳。
• 本研究识别出若干开放问题，包括界紧致性的研究、近似可自归一化分布的刻画，以及困难情况在扰动下的稳定性。