[论文解读] Overview of the SciHigh Track at FIRE 2025: Research Highlight Generation from Scientific Papers

Tohida Rehman, Debarshi Kumar Sanyal+1 more|arXiv (Cornell University)|Jan 1, 2026

Biomedical Text Mining and Ontologies被引用 0

一句话总结

论文报告了 FIRE 2025 的 SciHigh 赛道，在该赛道中，团队使用 MixSub 数据集从摘要生成要点摘要；最佳 ROUGE-L F1 分数为 23.45%，来自微调的 Pegasus 模型。

ABSTRACT

`SciHigh: Research Highlight Generation from Scientific Papers' focuses on the task of automatically generating concise, informative, and meaningful bullet-point highlights directly from scientific abstracts. The goal of this task is to evaluate how effectively computational models can generate highlights that capture the key contributions, findings, and novelty of a paper in a concise form. Highlights help readers grasp essential ideas quickly and are often easier to read and understand than longer paragraphs, especially on mobile devices. The track uses the MixSub dataset \cite{10172215}, which provides pairs of abstracts and corresponding author-written highlights. In this inaugural edition of the track, 12 teams participated, exploring various approaches, including pre-trained language models, to generate highlights from this scientific dataset. All submissions were evaluated using established metrics such as ROUGE, METEOR, and BERTScore to measure both alignment with author-written highlights and overall informativeness. Teams were ranked based on ROUGE-L scores. The findings suggest that automatically generated highlights can reduce reading effort, accelerate literature reviews, and enhance metadata for digital libraries and academic search platforms. SciHigh provides a dedicated benchmark for advancing methods aimed at concise and accurate highlight generation from scientific writing.

研究动机与目标

• 通过要点摘要实现对科学贡献的快速理解。
• 为自动摘要要点的生成提供基准数据。
• 在多学科数据集上评估基于 Transformer 与检索的方案。
• 评估生成的要点摘要与作者撰写的要点摘要之间的对齐程度，并帮助读者获取信息。

提出的方法

• 使用包含摘要–要点对的 MixSub 数据集，覆盖多个领域。
• 对预训练语言模型（如 Pegasus、T5、BART）进行微调以生成要点摘要。
• 用 ROUGE-1、ROUGE-2、ROUGE-L 进行评估，按 ROUGE-L F1 进行排名。
• 提供带掩码真实要点的保留测试集，并发布评估代码以实现可重复性。
• 探索混合抽取式–生成式与检索增强策略。

实验结果

研究问题

• RQ1 自动模型是否能够从摘要中生成简明、类似作者的研究要点？
• RQ2 不同模型家族（抽取式、生成式、混合）在跨领域科学文本上的表现如何？
• RQ3 在 MixSub 上，SciHigh 的 ROUGE-L F1 的最佳做法是什么？
• RQ4 跨领域生成要点摘要与作者撰写要点摘要之间的对齐程度如何？

主要发现

• 参与队伍共十二支；最佳 ROUGE-L F1 为 23.45%（Text_highlights_gen 使用 Pegasus 基于模型）。
• 次佳 ROUGE-L F1 为 23.24%（AiNauts 使用抽取–生成方法）。
• 第3到第10名的分数在 23.02% 到 17.91% 之间，覆盖不同队伍与模型。
• 队伍采用了微调的 Transformer、抽取式排序以及检索增强方法的混合策略。
• 评估使用 ROUGE-1、ROUGE-2、ROUGE-L，最终排名基于 ROUGE-L F1。
• 该赛道确立了基准，并表明自动要点摘要可以帮助文献综述与元数据质量，同时也揭示了诸如跨句信息整合等挑战。