[论文解读] Transformer-based Language Models for Factoid Question Answering at BioASQ9b

Urvashi Khanna, Diego Mollá|arXiv (Cornell University)|Sep 15, 2021

Topic Modeling参考文献 2被引用 4

一句话总结

本论文评估了在BioASQ9b挑战中针对事实型问答任务微调的ALBERT与DistilBERT模型，采用在SQuAD上的多任务微调及渐进式解冻技术。尽管参数量更少，DistilBERT在测试集第4和第5批中表现优于ALBERT，而渐进式解冻并未带来相比标准微调的显著准确率提升。

ABSTRACT

In this work, we describe our experiments and participating systems in the BioASQ Task 9b Phase B challenge of biomedical question answering. We have focused on finding the ideal answers and investigated multi-task fine-tuning and gradual unfreezing techniques on transformer-based language models. For factoid questions, our ALBERT-based systems ranked first in test batch 1 and fourth in test batch 2. Our DistilBERT systems outperformed the ALBERT variants in test batches 4 and 5 despite having 81% fewer parameters than ALBERT. However, we observed that gradual unfreezing had no significant impact on the model's accuracy compared to standard fine-tuning.

研究动机与目标

• 通过基于Transformer的模型迁移学习，提升生物医学问答中的事实型问答性能。
• 探究在低资源生物医学数据集（如BioASQ9b）上多任务微调的影响。
• 评估渐进式解冻是否相比标准微调能提升模型在事实型问答任务中的性能。
• 比较在BioASQ9b挑战中，更大的ALBERT与更小高效的DistilBERT模型的性能表现。

提出的方法

• 在BioASQ9b上微调前，先在SQuAD2.0上微调ALBERT，利用多任务学习提升适应能力。
• 在BioASQ9b上微调前，先在SQuAD1.1上微调DistilBERT，利用其更小的模型尺寸提升效率。
• 通过从底层开始逐步更新各层的方式，应用渐进式解冻技术。
• 将标准微调作为基线，与渐进式解冻进行对比。
• 使用BioASQ9b排行榜的多个测试批次中的平均倒数排名（MRR）评估模型性能。
• 通过配对t检验评估渐进式解冻与标准微调之间性能差异的统计显著性。

实验结果

研究问题

• RQ1 在SQuAD上进行多任务微调是否能提升在低资源BioASQ9b数据集上的性能？
• RQ2 在生物医学事实型问答任务中，DistilBERT是否能与ALBERT等更大模型实现相当的性能表现？
• RQ3 在本设置下，渐进式解冻是否能显著提升Transformer模型在MRR上的表现，相比标准微调？
• RQ4 在生物医学问答任务中，模型大小与准确率之间是否存在性能权衡？

主要发现

• 基于ALBERT的系统在测试集第1批中排名第一，在第2批中排名第四，表明其在早期测试集上表现强劲。
• DistilBERT在测试集第4和第5批中表现优于ALBERT，分别取得平均MRR 0.5399和0.5171，尽管其参数量减少了81%。
• 采用渐进式解冻的DistilBERT系统在MRR上与标准微调相比无统计显著提升，p值表明差异不显著。
• 解冻变体的平均MRR（0.5232）仅略高于标准微调的DistilBERT（0.5209），证实该技术未带来实质性收益。
• 先前在BioASQ7b中的研究结果支持当前发现，表明渐进式解冻在所有测试批次中并非始终带来收益。
• 本研究表明，高效模型如DistilBERT由于其高性能与低参数量，适用于移动设备和边缘计算环境中的生物医学问答应用。