[论文解读] Revisiting Memory-Efficient Incremental Coreference Resolution.

Patrick Xia, João Sedoc+1 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling被引用 2

一句话总结

本文提出了一种内存高效、端到端可训练的增量共指消解方法，该方法使用上下文编码器和显式实体表示，在保持竞争性性能的同时，实现渐近的内存使用减少。通过流式方式对新跨度与现有实体表示进行评分，该模型实现了在长文档中可扩展的共指消解，且不损失准确性。

ABSTRACT

We explore the task of coreference resolution under fixed memory by extending an incremental clustering algorithm to utilize contextualized encoders and neural components. Our algorithm creates explicit representations for each entity, where given a new sentence, spans are proposed and subsequently scored against each entity representation, leading to emergent clusters. Our approach is end-to-end trainable and can be used to transform existing models, leading to an asymptotic reduction in memory usage while remaining competitive on task performance, which allows for more efficient use of computational resources for short documents, and making coreference more feasible across very long document contexts.

研究动机与目标

• 解决长文档共指消解中高内存消耗的挑战。
• 通过保持固定内存使用量，实现与文档长度无关的高效增量文本处理。
• 开发一种端到端可训练且可通过模块化转换与现有模型兼容的方法。
• 在显著减少共指消解系统内存占用的同时，保持竞争性性能。

提出的方法

• 该模型采用增量聚类方法，其中每个实体由显式、可学习的向量表示。
• 使用神经评分函数，将每个句子中的新跨度与现有实体表示进行评分。
• 使用上下文编码器（例如 BERT 类模型）在评分前生成上下文跨度表示。
• 通过将新跨度分配给最相似的现有实体或在无匹配超过阈值时创建新聚类，动态更新实体聚类。
• 整个系统是端到端可微的，支持跨度表示与实体聚类的联合优化。
• 该方法允许对现有架构进行最小修改的模型转换，实现在不损失性能的前提下减少内存占用。

实验结果

研究问题

• RQ1 在固定内存约束下，共指消解能否实现对超长文档的可扩展处理？
• RQ2 如何将增量聚类与上下文神经编码器结合，以在减少内存使用的同时保持性能？
• RQ3 现有共指模型在多大程度上可通过该方法实现内存效率优化？
• RQ4 在内存约束下，所提出方法与标准共指模型相比是否保持了竞争性性能？

主要发现

• 所提方法实现了渐近的内存减少，即内存使用量不随文档长度增长。
• 尽管内存占用减少，该模型在共指消解基准测试中仍保持了竞争性性能。
• 该方法是端到端可训练的，并可通过模块化转换与现有模型兼容。
• 通过将内存增长与文档大小解耦，该方法实现了长文档中高效共指消解。
• 显式实体表示与神经评分的结合，使得无需显式聚类启发式规则即可实现涌现的聚类行为。
• 该系统在涉及长上下文处理的实际应用场景中仍保持可扩展性和实用性。