[论文解读] Thurstonian Boltzmann Machines: Learning from Multiple Inequalities

Truyen Tran, Dinh Phung+1 more|arXiv (Cornell University)|Aug 1, 2014

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 15

一句话总结

Thurstonian Boltzmann Machines (TBM) 通过将不同数据类型——二值、分类、有序、排序、右删失、区间和连续——统一建模为受不等式约束的潜在连续变量，实现了对这些数据类型的统一处理。该方法基于高斯RBM框架，利用不等式约束而非点观测值进行学习，从而在多模态和复杂调查数据上实现可扩展、可解释的建模，在手写数字识别、协同过滤和社交调查分析等任务中达到最先进性能。

ABSTRACT

We introduce Thurstonian Boltzmann Machines (TBM), a unified architecture that can naturally incorporate a wide range of data inputs at the same time. Our motivation rests in the Thurstonian view that many discrete data types can be considered as being generated from a subset of underlying latent continuous variables, and in the observation that each realisation of a discrete type imposes certain inequalities on those variables. Thus learning and inference in TBM reduce to making sense of a set of inequalities. Our proposed TBM naturally supports the following types: Gaussian, intervals, censored, binary, categorical, muticategorical, ordinal, (in)-complete rank with and without ties. We demonstrate the versatility and capacity of the proposed model on three applications of very different natures; namely handwritten digit recognition, collaborative filtering and complex social survey analysis.

研究动机与目标

• 在单一概率框架内统一建模多种数据类型——二值、分类、有序、排序、右删失、区间和连续。
• 通过使用潜在连续变量和不等式约束来表示证据，克服特定类型Boltzmann模型的局限性。
• 通过潜在变量上的共享协方差结构，自然建模异质数据类型之间的相关性。
• 为复杂社交调查分析提供一种可扩展、通用且可解释的框架，该领域在Boltzmann机文献中此前未被充分探索。
• 在不同领域中展示模型的通用性和竞争力：手写数字识别、协同过滤和社交调查分析。

提出的方法

• TBM 通过将可见层中的观测值替换为源自不同数据类型的不等式约束，扩展了高斯RBM。
• 每种数据类型被映射为一个或多个对潜在连续变量的不等式：例如，二值单元对应阈值化，分类选择对应最大效用约束，排序数据对应有序不等式。
• 能量函数定义在潜在高斯变量和二值隐藏单元之上，参数通过基于梯度的优化方法进行最大似然学习。
• 通过拉普拉斯近似和蒙特卡洛采样进行推理与学习，以处理不等式约束下的不可计算积分。
• 通过将每种数据类型的约束编码到统一的能量函数中，无需独立架构，即可实现混合数据类型的联合学习。
• 对于排序数据，模型使用从Gumbel分布潜伏效用中导出的Plackett-Luce分布，实现选择概率的高效计算。

实验结果

研究问题

• RQ1 单一Boltzmann机架构是否能在统一框架下有效建模广泛的数据类型，包括二值、分类、有序和排序数据？
• RQ2 对潜在连续变量的不等式约束如何作为多样化数据类型的通用且灵活的表示方式，替代点观测值？
• RQ3 TBM在无需专门设计的情况下，能否在手写数字识别和协同过滤等标准基准上实现具有竞争力的性能？
• RQ4 TBM能否为涉及混合数据类型和复杂约束的复杂社交调查数据提供可扩展且可解释的解决方案？
• RQ5 与特定类型模型相比，潜在变量和不等式约束的使用在模型可解释性和相关性建模方面有何改进？

主要发现

• TBM 在手写数字识别任务中达到具有竞争力的性能，与专为二值图像数据设计的模型相当或更优。
• 在协同过滤任务中，TBM 在隐式反馈数据上表现出色，能有效建模跨混合数据类型的用户偏好。
• 在复杂社交调查分析中，TBM 是首个能够以统一方式处理混合数据类型（包括有序、分类、排序、右删失和区间数据）的可扩展通用模型。
• 模型通过潜在空间上的共享协方差结构，自然实现了不同数据类型之间相关性的建模。
• 理论推导表明，该模型自然恢复了既有的Plackett-Luce排序模型和Gumbel-max技巧的分类选择模型，验证了其与现有框架的一致性。
• 实证评估证实，TBM 在多种数据模态间具有良好的泛化能力，且在切换数据类型时无需重新设计网络架构。