[论文解读] Neighborhood Contrastive Learning for Scientific Document Representations with Citation Embeddings

Malte Ostendorff, Nils Rethmeier+3 more|arXiv (Cornell University)|Feb 14, 2022

Topic Modeling被引用 10

一句话总结

本文提出 SciNCL，一种用于科学文献表征的邻域对比学习方法，利用引文图嵌入生成连续的、非冲突的正样本与负样本。通过在引文嵌入空间中采样 k-近邻，SciNCL 在 SciDocs 基准上实现最先进性能（81.8 对比 SPECTER 的 80.0），即使仅使用 1% 的训练三元组，且在与通用领域大语言模型结合时，优于领域内预训练模型。

ABSTRACT

Learning scientific document representations can be substantially improved through contrastive learning objectives, where the challenge lies in creating positive and negative training samples that encode the desired similarity semantics. Prior work relies on discrete citation relations to generate contrast samples. However, discrete citations enforce a hard cut-off to similarity. This is counter-intuitive to similarity-based learning, and ignores that scientific papers can be very similar despite lacking a direct citation - a core problem of finding related research. Instead, we use controlled nearest neighbor sampling over citation graph embeddings for contrastive learning. This control allows us to learn continuous similarity, to sample hard-to-learn negatives and positives, and also to avoid collisions between negative and positive samples by controlling the sampling margin between them. The resulting method SciNCL outperforms the state-of-the-art on the SciDocs benchmark. Furthermore, we demonstrate that it can train (or tune) models sample-efficiently, and that it can be combined with recent training-efficient methods. Perhaps surprisingly, even training a general-domain language model this way outperforms baselines pretrained in-domain.

研究动机与目标

• 为解决科学文献表征中基于离散引文的对比学习的局限性，其中直接引文造成硬性截断，并可能导致正负样本之间的冲突。
• 通过利用引文图嵌入中的连续相似性信号，提升样本效率和表征质量。
• 证明控制采样难度并避免正负样本冲突，比领域内预训练更有效于科学 NLP 任务。
• 实现在仅更新偏置参数的情况下，高效微调通用领域语言模型，即使训练数据和计算资源极少。

提出的方法

• SciNCL 使用引文图嵌入作为连续的、无向的相似性信号，生成对比学习样本，替代离散的引文关系。
• 正样本与负样本从引文嵌入空间中的 k-近邻中选取，可通过配置的边界避免冲突。
• 该方法采用对比学习目标，使相似论文（正样本）在嵌入空间中更接近，而使不相似的样本（负样本）更远离。
• 困难负样本从正样本聚类周围的边界区域采样，以确保其具有挑战性但不发生冲突。
• 该方法可兼容任意预训练语言模型，包括通用领域模型如 BERT-Base 和 BERT-Large。
• 通过仅训练 1% 的三元组或使用 BitFit（仅训练偏置项），实现高样本效率，显著降低计算成本。

实验结果

研究问题

• RQ1 与离散引文关系相比，引文图嵌入提供的连续相似性信号是否能提升科学文献表征学习？
• RQ2 控制正负样本对之间的采样边界是否能带来更好性能并避免梯度崩溃？
• RQ3 SciNCL 是否能在仅使用 1% 的训练三元组或极少数参数更新（如 BitFit）的情况下实现最先进结果？
• RQ4 使用 SciNCL 微调通用领域语言模型，是否比使用 SciBERT 等模型进行领域内预训练更有效？

主要发现

• SciNCL 在 SciDocs 基准上取得 81.8 的新最先进得分，超越 SPECTER 的 80.0。
• 仅使用 1% 的训练三元组时，SciNCL 达到 80.8，比 SPECTER 的基线高 0.8 分，在某些设置下比最优三元组还高 1.0 分。
• 使用 BitFit（仅训练 0.1% 的参数）可得 81.2 分，证明其具有极高的参数效率。
• 使用 SciNCL 微调通用领域 BERT 模型的表现优于领域内预训练，包括 SPECTER，表明样本质量优于领域特定预训练。
• 当从训练中排除测试和验证论文时，该方法仍保持稳健，表明无数据泄露问题。
• SciNCL 的性能提升主要源于更优的采样策略，而非模型架构或预训练数据。