[论文解读] Predicting Pairwise Relations with Neural Similarity Encoders

Franziska Horn, Klaus‐Robert Müller|arXiv (Cornell University)|Feb 6, 2017

Neural Networks and Applications参考文献 56被引用 7

一句话总结

本文提出 SimEc，一种新颖的神经网络架构，通过学习从输入特征到嵌入表示的映射，实现低维、保持相似性的嵌入表示，使得嵌入向量的点积近似于成对相似性。与谱方法不同，SimEc 无需核函数即可实现样本外预测，能够处理缺失值，并支持非度量相似性与多关系预测，在基准数据集上达到最先进性能。

ABSTRACT

Matrix factorization is at the heart of many machine learning algorithms, for example, dimensionality reduction (e.g. kernel PCA) or recommender systems relying on collaborative filtering. Understanding a singular value decomposition (SVD) of a matrix as a neural network optimization problem enables us to decompose large matrices efficiently while dealing naturally with missing values in the given matrix. But most importantly, it allows us to learn the connection between data points' feature vectors and the matrix containing information about their pairwise relations. In this paper we introduce a novel neural network architecture termed Similarity Encoder (SimEc), which is designed to simultaneously factorize a given target matrix while also learning the mapping to project the data points' feature vectors into a similarity preserving embedding space. This makes it possible to, for example, easily compute out-of-sample solutions for new data points. Additionally, we demonstrate that SimEc can preserve non-metric similarities and even predict multiple pairwise relations between data points at once.

研究动机与目标

• 开发一种神经网络架构，从成对关系中学习保持相似性的嵌入表示，而无需依赖已知的核函数。
• 通过学习从输入特征到嵌入空间的直接映射，实现对新数据点的样本外预测。
• 有效处理相似性矩阵中的缺失值，优于传统谱方法。
• 支持同时预测非度量相似性与多个成对关系。
• 提供一种灵活、可训练的框架，其泛化能力超越标准核主成分分析与谱分解。

提出的方法

• SimEc 使用前馈神经网络学习从原始输入特征 xi 到低维嵌入向量 yi 的映射 f′: xi → yi。
• 模型最小化目标相似性矩阵 S 与嵌入向量点积之间的重构误差，即 min ||S − Y Yᵀ||²。
• 通过直接从目标矩阵 S 学习嵌入空间，支持度量与非度量相似性。
• 通过在训练过程中使用加权误差函数，模型可处理 S 中的缺失值。
• 对于多关系预测，SimEc 可通过将多个相似性矩阵堆叠为张量或求和为单个矩阵，联合学习多个相似性矩阵的嵌入表示。
• 该框架支持基于 Keras 的端到端 GPU 训练，实现高效推理与样本外泛化。

实验结果

研究问题

• RQ1 神经网络能否在不依赖已知核函数的情况下，学习支持样本外预测的保持相似性的嵌入表示？
• RQ2 与谱方法相比，神经模型在处理成对相似性矩阵中的缺失值时表现如何？
• RQ3 SimEc 能否有效学习并预测非度量相似性（如来自人类评分的相似性）？
• RQ4 SimEc 在单个模型中联合预测多个成对关系（如正向与负向相似性）的能力有多强？
• RQ5 模型从未知或非核基相似性源中学习的能力是否能提升下游任务的泛化能力与性能？

主要发现

• SimEc 在 MNIST 与 CIFAR-10 等基准数据集上表现优异，相似性重构性能与核主成分分析相当或更优。
• 即使目标相似性来源于未知过程（如人类评分），模型仍能成功实现样本外预测。
• SimEc 有效处理相似性矩阵中的缺失值，优于依赖完整矩阵的 SVD 基方法。
• 在堆叠或求和相似性矩阵（如 S₁ + S₂）上进行训练时，SimEc 有效保留了两者的特征信息，预测误差与在单个矩阵上训练的模型相当。
• 利用最后一层的权重矩阵 Wₗ 来预测各个相似性矩阵（如 S₁ 与 S₂）时，误差低于使用点积 Y Yᵀ 的方法，证明了模型在多关系学习方面的潜力。
• 该框架在真实世界应用中泛化良好，如药物-蛋白相互作用预测、推荐系统与心理物理学任务，其扩展形式（ConEc）已成功应用于上下文编码器。