[论文解读] New Alignment Methods for Discriminative Book Summarization

David Bamman, Noah A. Smith|arXiv (Cornell University)|May 6, 2013

Natural Language Processing Techniques参考文献 17被引用 16

一句话总结

本文提出了两种基于隐马尔可夫模型（HMM）的新颖对齐方法，用于无监督判别式书籍摘要生成，以解决完整书籍与摘要之间极端的长度差异问题。段落模型通过词袋语言模型概率将文档段落与摘要句子对齐，而标记模型则将HMM对齐扩展至长篇、稀疏对齐的文档；两种方法在Project Gutenberg-Wikipedia数据集上（摘要与书籍长度比为1.2%）均提升了抽取式书籍摘要的性能。

ABSTRACT

We consider the unsupervised alignment of the full text of a book with a human-written summary. This presents challenges not seen in other text alignment problems, including a disparity in length and, consequent to this, a violation of the expectation that individual words and phrases should align, since large passages and chapters can be distilled into a single summary phrase. We present two new methods, based on hidden Markov models, specifically targeted to this problem, and demonstrate gains on an extractive book summarization task. While there is still much room for improvement, unsupervised alignment holds intrinsic value in offering insight into what features of a book are deemed worthy of summarization.

研究动机与目标

• 为解决长篇书籍与简短人工撰写摘要之间无监督对齐的挑战，传统词级对齐因极端长度差异而失效。
• 开发能够识别整个段落或章节可能对应单个摘要句子的对齐技术，而非假设词或短语之间的一对一对齐。
• 将通常在新闻文章上训练的判别式摘要方法适配至书籍摘要领域，该领域摘要与源文本的比率显著更低（平均为1.2%）。
• 探索无监督对齐在揭示哪些文本特征被认为对摘要最为关键方面的内在价值。
• 证明HMM-based对齐模型能够有效捕捉书籍文本摘要任务中的长距离、稀疏对齐关系。

提出的方法

• 段落模型将源书中连续的段落定义为HMM状态，观测值为摘要句子；发射概率基于摘要句子在段落上的词袋语言模型似然性计算得出。
• 标记模型将源文本中的单个标记视为HMM状态，摘要中的标记视为观测值，使用词汇身份和同义关系进行发射建模，转移概率通过距离分箱定义以建模稀疏对齐。
• 两种模型均使用HMM，其状态转移与发射概率通过期望最大化算法学习，且显式地对序列长度进行条件约束，以避免末端状态建模。
• 段落模型采用生成式方法，通过HMM似然性计算给定段落时摘要句子的概率，从而实现将长而连贯的段落与摘要内容对齐。
• 标记模型通过将转移限制在局部距离分箱内，将HMM对齐框架推广至长文档，提升了可扩展性与对齐准确性。
• 两种模型的推理均使用前向-后向算法计算对齐概率，参数学习通过EM算法进行，以最大化观测到的摘要-句子对齐的似然性。

实验结果

研究问题

• RQ1 HMM-based模型能否有效对齐长篇、低比率源文档（如书籍）与简短摘要，其中传统词级对齐方法失效？
• RQ2 对齐模型如何适应整个段落或章节可能对应单个摘要句子的事实，而非仅处理单个词或短语？
• RQ3 在书籍摘要中，摘要句子在源段落上的词袋语言模型概率在多大程度上提升了对齐质量？
• RQ4 针对稀疏、长文档对齐的通用HMM框架是否能在抽取式书籍摘要任务中超越标准对齐技术？
• RQ5 通过书籍与摘要的无监督对齐，能获得哪些关于摘要相关特征的洞察？

主要发现

• 段落模型通过利用词袋语言模型概率将连贯的源段落与摘要句子对齐，在抽取式书籍摘要性能上取得显著提升。
• 标记模型通过距离分箱转移机制将HMM对齐扩展至长篇稀疏对齐文档，相较于基线方法展现出更高的对齐准确性。
• 平均而言，摘要仅为对应书籍长度的1.2%，凸显了对标准对齐假设构成挑战的极端长度差异。
• 本研究表明，无监督对齐能够揭示文本中被认为值得摘要的关键特征，提供了超越性能指标的可解释性。
• 所提出的两种HMM-based方法在抽取式书籍摘要任务中均优于现有对齐技术，尤其在捕捉长距离、粗粒度对齐方面表现突出。
• 结果表明，相较于词级对齐，以段落级进行对齐建模对于有效书籍摘要至关重要，原因在于源文本的尺寸存在显著不均衡。