[论文解读] TWEAC: Transformer with Extendable QA Agent Classifiers

Gregor Geigle, Nils Reimers+2 more|TUbilio (Technical University of Darmstadt)|Apr 14, 2021

Topic Modeling参考文献 32被引用 6

一句话总结

TWEAC 提出了一种元问题回答系统，通过可扩展、可扩展的基于 Transformer 的分类器，动态地从多样化的专业 QA 代理集合中选择最合适的代理。该系统仅使用每代理 1,000 个训练样本，即可实现 94% 的准确率，且在不进行完整微调的情况下可扩展至超过 100 个代理，从而在开放域设置中实现高效、准确且可扩展的 QA 路由。

ABSTRACT

Question answering systems should help users to access knowledge on a broad range of topics and to answer a wide array of different questions. Most systems fall short of this expectation as they are only specialized in one particular setting, e.g., answering factual questions with Wikipedia data. To overcome this limitation, we propose composing multiple QA agents within a meta-QA system. We argue that there exist a wide range of specialized QA agents in literature. Thus, we address the central research question of how to effectively and efficiently identify suitable QA agents for any given question. We study both supervised and unsupervised approaches to address this challenge, showing that TWEAC -- Transformer with Extendable Agent Classifiers -- achieves the best performance overall with 94% accuracy. We provide extensive insights on the scalability of TWEAC, demonstrating that it scales robustly to over 100 QA agents with each providing just 1000 examples of questions they can answer. Our code and data is available: https://github.com/UKPLab/TWEAC-qa-agent-selection

研究动机与目标

• 解决现有 QA 系统受限于狭窄领域或数据源的局限性。
• 实现一种元 QA 系统，能够从多样化代理集合中将问题路由到最合适的专用 QA 代理。
• 设计一种可扩展、可扩展且样本高效的系统，即使每代理的训练数据有限也能有效运行。
• 在包含数百个 QA 代理的真实且大规模条件下，评估代理选择的性能。
• 探索在不进行完整微调的情况下扩展模型以支持新代理的策略，确保实际部署的可行性。

提出的方法

• TWEAC 使用基于 Transformer 的分类器，通过微调来预测给定问题最相关的 QA 代理。
• 该模型基于句子编码器生成的问题嵌入和 BM25 特征进行训练，以捕捉语义和词汇相关性。
• 采用半对半采样策略，仅使用完整数据集的一小部分，即可实现新 QA 代理的增量式扩展，避免了完整的重新训练。
• 该系统将 QA 代理视为黑箱，仅关注问题到代理的映射，而不修改代理内部架构。
• 该方法支持监督和无监督的代理选择，且 TWEAC 在性能上优于基于相似度的基线模型。
• 该模型在两个大规模数据集上进行了评估：171 个 Reddit 子版块和 200 个 StackExchange 论坛，以模拟现实世界中的多样性。

实验结果

研究问题

• RQ1 如何在大量专业化代理的集合中，有效且高效地识别出最适合给定问题的 QA 代理？
• RQ2 当每代理仅提供极少的训练数据时，QA 代理选择模型在扩展至超过 100 个代理时，其准确性和可扩展性在多大程度上仍能保持？
• RQ3 微调后的 Transformer 模型是否能在无需完整重新训练的情况下，实现高准确率的代理选择并支持增量更新？
• RQ4 QA 代理之间的主题重叠如何影响模型性能？人类表现能否作为模型错误的基准？
• RQ5 在扩展代理集合时，何种训练策略能实现准确率与训练效率的最佳权衡？

主要发现

• TWEAC 在 Reddit 和 StackExchange 的评估设置中，均以 94% 的准确率识别出正确的 QA 代理，优于所有基线模型。
• 该模型仅需每 QA 代理 1,000 个标注样本即可保持高性能，展现出强大的样本效率。
• TWEAC 可稳健扩展至超过 100 个 QA 代理，随着代理数量的增加，性能仅略有下降。
• 半对半采样策略实现了高效的增量训练，训练时间保持恒定，显著减少了添加新代理时的完整重新训练需求。
• 约 10% 的错误由仅占 0.5% 的唯一代理对引起，主要原因是如 English Language Learner 和 English 等论坛之间的主题重叠。
• 在失败案例中，人工标注者仅能以 43% 和 55% 的准确率区分正确与错误的代理预测，表明此类错误本质上具有模糊性，难以完全避免。