[论文解读] Vec2Vec: A Compact Neural Network Approach for Transforming Text Embeddings with High Fidelity

Andrew Gao|arXiv (Cornell University)|Jun 22, 2023

Hate Speech and Cyberbullying DetectionComputer Science被引用 3

一句话总结

本文提出 Vec2Vec，一种轻量级神经网络，可高保真地将开源的 MPNet 嵌入向量（768维）映射到 OpenAI 的专有 text-ada-002 嵌入向量（1,536维）。该模型在 50,000 条食品评论上训练了 75 个周期，于未见测试数据上实现了 0.932 的平均余弦相似度，使向量搜索性能近乎一致，同时提供离线、私密且成本低廉的推理能力。

ABSTRACT

Vector embeddings have become ubiquitous tools for many language-related tasks. A leading embedding model is OpenAI's text-ada-002 which can embed approximately 6,000 words into a 1,536-dimensional vector. While powerful, text-ada-002 is not open source and is only available via API. We trained a simple neural network to convert open-source 768-dimensional MPNet embeddings into text-ada-002 embeddings. We compiled a subset of 50,000 online food reviews. We calculated MPNet and text-ada-002 embeddings for each review and trained a simple neural network to for 75 epochs. The neural network was designed to predict the corresponding text-ada-002 embedding for a given MPNET embedding. Our model achieved an average cosine similarity of 0.932 on 10,000 unseen reviews in our held-out test dataset. We manually assessed the quality of our predicted embeddings for vector search over text-ada-002-embedded reviews. While not as good as real text-ada-002 embeddings, predicted embeddings were able to retrieve highly relevant reviews. Our final model, Vec2Vec, is lightweight (<80 MB) and fast. Future steps include training a neural network with a more sophisticated architecture and a larger dataset of paired embeddings to achieve greater performance. The ability to convert between and align embedding spaces may be helpful for interoperability, limiting dependence on proprietary models, protecting data privacy, reducing costs, and offline operations.

研究动机与目标

• 通过替代对 OpenAI 的 text-ada-002 等专有嵌入 API 的依赖，实现在离线、私密且成本低廉的推理。
• 通过紧凑的神经网络弥合开源与专有嵌入空间之间的差距。
• 实现将 768 维的 MPNet 嵌入向量高保真地转换为 1,536 维的 text-ada-002 嵌入向量。
• 证明轻量级模型可在向量搜索等下游任务中保持语义相似性。
• 通过实现不同嵌入空间之间的互操作性，减少对封闭模型的依赖。

提出的方法

• 训练了一个简单的前馈神经网络，将 768 维的 MPNet 嵌入向量映射到 1,536 维的 text-ada-002 嵌入向量。
• 模型在包含 50,000 条线上食品评论的精选数据集上进行训练，数据包含配对的 MPNet 和 text-ada-002 嵌入向量。
• 使用均方误差损失函数，经过 75 个周期的训练，以最小化嵌入空间的差异。
• 最终模型 Vec2Vec 小于 80 MB，专为资源受限环境中的快速推理而设计。
• 通过在 10,000 条未见评论的保留测试集上计算余弦相似度来评估模型性能。
• 人工评估验证了预测嵌入向量在向量搜索任务中的检索质量。

实验结果

研究问题

• RQ1 紧凑的神经网络能否以高语义保真度准确地将开源的 MPNet 嵌入向量映射到专有的 text-ada-002 嵌入向量？
• RQ2 轻量级模型在下游检索任务中能在多大程度上复现大型专有嵌入模型的性能？
• RQ3 在未见数据上，预测嵌入向量与真实 text-ada-002 嵌入向量之间的余弦相似度如何？
• RQ4 预测嵌入向量是否能保持足够的质量以适用于实际的向量搜索应用？
• RQ5 在跨嵌入空间迁移中，模型大小、推理速度与嵌入保真度之间存在何种权衡？

主要发现

• 在包含 10,000 条未见评论的保留测试集上，Vec2Vec 模型在预测与真实 text-ada-002 嵌入向量之间实现了 0.932 的平均余弦相似度。
• 人工评估确认，预测嵌入向量能够检索到高度相关的评论，其性能接近真实的 text-ada-002 嵌入向量。
• 最终模型小于 80 MB，适用于离线或隐私敏感环境中的部署。
• 该模型展示了从 MPNet 到 text-ada-002 空间的强大迁移能力，且架构复杂度极低。
• 该方法无需访问专有模型或 API，即可实现嵌入空间之间的互操作性。
• 结果表明，通过在成对数据上训练的小型高效神经网络，可以实现高保真度的嵌入空间对齐。