[论文解读] Query-focused Extractive Summarisation for Biomedical and COVID-19 Complex Question Answering

Diego Mollá|arXiv (Cornell University)|Sep 5, 2022

Topic Modeling被引用 4

一句话总结

本文介绍了麦考瑞大学在BioASQ挑战赛中针对生物医学和COVID-19问答任务的查询聚焦型抽取式摘要方法。该方法使用DistilBERT和sBERT嵌入来评估候选句子与问题的相关性，得分最高的句子构成答案。主要发现是：在BioASQ10b训练数据的后半部分进行训练可提升性能，表明早期训练样本可能存在潜在偏差。

ABSTRACT

This paper presents Macquarie University's participation to the two most recent BioASQ Synergy Tasks (as per June 2022), and to the BioASQ10 Task~B (BioASQ10b), Phase~B. In these tasks, participating systems are expected to generate complex answers to biomedical questions, where the answers may contain more than one sentence. We apply query-focused extractive summarisation techniques. In particular, we follow a sentence classification-based approach that scores each candidate sentence associated to a question, and the $n$ highest-scoring sentences are returned as the answer. The Synergy Task corresponds to an end-to-end system that requires document selection, snippet selection, and finding the final answer, but it has very limited training data. For the Synergy task, we selected the candidate sentences following two phases: document retrieval and snippet retrieval, and the final answer was found by using a DistilBERT/ALBERT classifier that had been trained on the training data of BioASQ9b. Document retrieval was achieved as a standard search over the CORD-19 data using the search API provided by the BioASQ organisers, and snippet retrieval was achieved by re-ranking the sentences of the top retrieved documents, using the cosine similarity of the question and candidate sentence. We observed that vectors represented via sBERT have an edge over tf.idf. BioASQ10b Phase B focuses on finding the specific answers to biomedical questions. For this task, we followed a data-centric approach. We hypothesised that the training data of the first BioASQ years might be biased and we experimented with different subsets of the training data. We observed an improvement of results when the system was trained on the second half of the BioASQ10b training data.

研究动机与目标

• 开发一个稳健的端到端系统，用于在COVID-19和一般生物医学背景下进行复杂生物医学问答。
• 通过优化句子评分和检索阶段，提升查询聚焦型抽取式摘要的答案质量。
• 探究训练数据构成对模型性能的影响，特别是在存在潜在数据偏差的情况下。
• 评估不同嵌入模型（sBERT与tf.idf）和重排序策略在片段检索中的有效性。
• 确定数据驱动方法（如选择性使用训练数据）是否能优于标准训练方案。

提出的方法

• 该系统采用基于句子分类的抽取式摘要框架，根据候选句子与给定问题的相关性进行评分。
• 使用DistilBERT或ALBERT生成句子嵌入，通过平均池化词嵌入形成句子级别的表示。
• 将句子位置编码为离散标记，并与句子嵌入拼接，以提升模型性能。
• 使用具有ReLU和Sigmoid激活函数的多层感知机，将每个句子分类为相关或不相关，得分最高的n个句子构成最终答案。
• 在片段检索中，使用问题与句子嵌入之间的余弦相似度，sBERT在性能上优于基于tf.idf的向量。
• 在BioASQ10b阶段B中应用数据驱动策略，从训练数据开头逐步剪枝，以评估偏差和性能影响。

实验结果

研究问题

• RQ1 在生物医学问答中，使用sBERT嵌入是否能显著提升片段检索性能，相比tf.idf方法？
• RQ2 在BioASQ10b阶段B中，采用数据驱动方法（特别是仅在训练数据后半部分进行训练）是否能提升模型泛化能力和性能？
• RQ3 检索到的文档和片段的质量在多大程度上影响端到端问答系统中的最终答案质量？
• RQ4 当包含BioASQ10b训练集早期样本时，是否存在性能下降的证据，表明其存在数据偏差？
• RQ5 在完整与部分训练数据上训练时，不同超参数设置对模型性能的影响如何？

主要发现

• 使用sBERT嵌入进行句子相似度计算，在片段检索中显著优于基于tf.idf的方法，表明语义对齐效果更好。
• 在交叉验证中表现最佳的模型仅使用了BioASQ10b训练数据的后半部分，取得了ROUGE-SU4 F1为0.311的得分，而使用早期数据训练时得分较低。
• 尽管在交叉验证中后半部分数据表现优异，但提交的运行结果显示，使用全部数据或仅后50%数据训练的性能差异极小，两者在各批次中均达到相似的F1得分。
• 最终系统的输出在不同运行之间几乎完全相同，表明无论使用何种训练数据子集，预测结果均具有高度一致性。
• 超参数调优表明，dropout=0.6且训练1个周期在完整和部分训练数据设置下均取得最优结果。
• 结果表明，BioASQ10b训练数据的初始样本可能存在偏差或代表性不足，去除这些样本可提升性能。