[论文解读] Noise-Contrastive Estimation for Multivariate Point Processes

Hongyuan Mei, Tom Wan+1 more|arXiv (Cornell University)|Nov 2, 2020

Morphological variations and asymmetry参考文献 27被引用 9

一句话总结

本文提出一种噪声对比估计（NCE）方法，通过用观测事件与噪声采样事件之间的随机判别目标替代昂贵的最大似然估计（MLE），实现多变量点过程的高效训练。该方法在合成数据集和真实世界数据集上，以显著更少的函数评估次数和更短的运行时间，实现了与 MLE 相当的对数似然值。

ABSTRACT

The log-likelihood of a generative model often involves both positive and negative terms. For a temporal multivariate point process, the negative term sums over all the possible event types at each time and also integrates over all the possible times. As a result, maximum likelihood estimation is expensive. We show how to instead apply a version of noise-contrastive estimation---a general parameter estimation method with a less expensive stochastic objective. Our specific instantiation of this general idea works out in an interestingly non-trivial way and has provable guarantees for its optimality, consistency and efficiency. On several synthetic and real-world datasets, our method shows benefits: for the model to achieve the same level of log-likelihood on held-out data, our method needs considerably fewer function evaluations and less wall-clock time.

研究动机与目标

• 为解决多变量点过程中最大似然估计（MLE）带来的高计算成本问题，该问题源于对所有可能事件时间与类型的积分所导致的昂贵归一化常数。
• 将噪声对比估计（NCE）——此前用于未归一化模型和语言模型——扩展至具有理论保证的多变量点过程场景。
• 开发一种方法，在保持模型最优性、一致性和效率的同时，相比 MLE 显著减少训练时间和函数评估次数。
• 在合成数据集和真实世界数据集上对方法进行实证验证，证明其具有更快的收敛速度和具有竞争力的性能，同时计算成本更低。

提出的方法

• 通过训练模型区分观测到的事件序列与从噪声过程中生成的事件序列，将 NCE 适配于多变量点过程。
• 定义一个随机目标，将观测事件的似然与噪声采样事件的似然进行比较，从而避免在 MLE 中计算难以处理的归一化常数。
• 使用一个与模型参数无关且可高效采样的噪声分布 $ q $；即使 $ q $ 未经训练，该方法仍具有鲁棒性。
• 采用 NCE 的一种变体，包含两种策略：'始终重采样'（每次更新使用新噪声）和 '从不重采样'（复用噪声样本），后者表现出更高的效率。
• 引入超参数 $ C $ 以控制每个事件的噪声样本数量，平衡计算成本与训练信号质量。
• 使用神经网络建模强度函数 $ \ heta $，训练过程采用 Adam 优化器，并在验证集上调整超参数。

实验结果

研究问题

• RQ1 噪声对比估计能否有效应用于多变量点过程，以降低训练成本，同时保持模型质量？
• RQ2 噪声采样策略的选择（始终重采样 vs. 从不重采样）如何影响收敛速度和最终性能？
• RQ3 使用未经训练的噪声分布 $ q $ 对泛化能力和训练稳定性有何影响？
• RQ4 噪声样本数量 $ M $ 和计算成本因子 $ C $ 如何影响训练效率和模型性能？
• RQ5 在保持对保留数据相似对数似然的前提下，NCE 相比 MLE 能在多大程度上减少强度函数的评估次数和运行时间？

主要发现

• 在合成数据集和真实世界数据集上，NCE 方法实现了与 MLE 相当的对数似然值，但函数评估次数显著减少，运行时间也大幅缩短。
• 采用 '从不重采样' 的噪声采样策略使 NCE 在单位运行时间内的对数似然值超越 MLE，尤其当 $ M=1000 $ 时，得益于更低的采样开销。
• 使用未经训练的噪声分布 $ q $ 在某些数据集（如 BitcoinOTC、CollegeMsg）上导致收敛更慢且方差更高，但性能仍具竞争力。
• 将 $ C=1 $（每个噪声样本的强度函数评估次数更少）可带来显著提速，尤其在 IPTV 等大规模词汇量数据集上，且最终泛化性能未下降。
• 在 IPTV 数据集上，NCE 使用 $ C=1 $ 相比 $ C=49 $ 实现了显著提速，同时保持了相同的最终对数似然值，证明了效率提升且无性能损失。
• CollegeMsg 和 WikiTalk 数据集的学习曲线表明，使用神经网络 $ q $ 的 NCE 收敛速度与 MLE 相当，验证了其在多样化社交互动数据集上的鲁棒性。