[论文解读] Uncertainty Estimates for Ordinal Embeddings

Michael Lohaus, Philipp Hennig+1 more|arXiv (Cornell University)|Jun 27, 2019

Gaussian Processes and Bayesian Inference参考文献 27被引用 4

一句话总结

本文提出在仅有少量、噪声较大的三元组数据时，对序数嵌入使用自助法（bootstrap）和贝叶斯不确定性估计方法。通过生成嵌入的分布，该方法实现了对三元组预测、嵌入参数以及心理物理学应用的校准良好不确定性量化——尽管在测试场景中对主动学习的益处有限。

ABSTRACT

To investigate objects without a describable notion of distance, one can gather ordinal information by asking triplet comparisons of the form "Is object $x$ closer to $y$ or is $x$ closer to $z$?" In order to learn from such data, the objects are typically embedded in a Euclidean space while satisfying as many triplet comparisons as possible. In this paper, we introduce empirical uncertainty estimates for standard embedding algorithms when few noisy triplets are available, using a bootstrap and a Bayesian approach. In particular, simulations show that these estimates are well calibrated and can serve to select embedding parameters or to quantify uncertainty in scientific applications.

研究动机与目标

• 解决在仅有少量噪声三元组数据时，序数嵌入方法缺乏不确定性量化的问题。
• 开发校准良好且适用于现实世界科学和心理物理学应用的经验不确定性估计方法。
• 评估不确定性估计是否可用于指导嵌入维度等嵌入参数的选择。
• 评估不确定性估计在三元组选择中的主动学习应用价值。
• 提供一种实用框架，以在数据稀缺条件下量化序数嵌入结果的置信度。

提出的方法

• 通过重采样噪声三元组生成多个嵌入，计算点位置的经验方差，应用自助法。
• 使用具有高斯过程的贝叶斯非参数模型，推断感知函数的后验分布，并推导嵌入中的不确定性。
• 对嵌入进行归一化，以消除尺度和旋转不变性，确保自助法和贝叶斯样本之间的可比性。
• 通过计算自助样本中点的均值和标准差，量化每个数据点的不确定性。
• 利用不确定性估计对三元组进行排序和选择，以在主动学习设置中选取最具信息量的三元组。
• 通过多次试验中预测区间的覆盖率评估不确定性校准情况。

实验结果

研究问题

• RQ1 当仅有少量噪声三元组时，自助法和贝叶斯方法能否提供校准良好的序数嵌入不确定性估计？
• RQ2 不确定性估计在指导嵌入维度或其他超参数选择方面有多有效？
• RQ3 不确定性估计在多大程度上能提升序数嵌入任务中主动学习的性能？
• RQ4 在包含噪声人类感知数据的心理物理学实验中，不确定性估计表现如何？
• RQ5 不确定性估计对三元组响应中不同水平的噪声和感知变异性是否具有鲁棒性？

主要发现

• 自助法和贝叶斯不确定性估计具有良好的校准性，预测区间对真实三元组结果的覆盖率接近名义水平。
• 感知变异性越高（GP核的长度尺度越短），不确定性越大，反映出三元组响应的一致性降低。
• 当与自助法结合使用时，不确定性估计能成功指示合适的嵌入维度，尤其在低数据场景下表现良好。
• 尽管校准良好，不确定性估计在主动学习中改善有限，随机选择三元组常优于基于不确定性的选择。
• 在心理物理学应用中，该方法量化了有意义的不确定性，其中感知函数在不同观察者间存在差异，且三元组答案具有噪声。
• 该框架即使在仅有2,000个三元组的情况下，也能对点位置和三元组预测实现可靠的不确定性量化。