[论文解读] What to talk about and how? Selective Generation using LSTMs with Coarse-to-Fine Alignment

Hongyuan Mei, Mohit Bansal+1 more|arXiv (Cornell University)|Sep 2, 2015

Topic Modeling参考文献 29被引用 23

一句话总结

该论文提出了一种端到端、与领域无关的神经编码器-对齐器-解码器模型，采用LSTM结构并引入一种新颖的粗粒度到细粒度对齐机制，用于选择性生成——在不依赖专用特征或模板的情况下，联合执行内容选择与表面实现。该模型在WeatherGov数据集上取得了最先进性能，生成任务的BLEU相对提升59%，内容选择的F-1分数相对提升12%，并在RoboCup等低资源领域展现出良好的泛化能力。

ABSTRACT

We propose an end-to-end, domain-independent neural encoder-aligner-decoder model for selective generation, i.e., the joint task of content selection and surface realization. Our model first encodes a full set of over-determined database event records via an LSTM-based recurrent neural network, then utilizes a novel coarse-to-fine aligner to identify the small subset of salient records to talk about, and finally employs a decoder to generate free-form descriptions of the aligned, selected records. Our model achieves the best selection and generation results reported to-date (with 59% relative improvement in generation) on the benchmark WeatherGov dataset, despite using no specialized features or linguistic resources. Using an improved k-nearest neighbor beam filter helps further. We also perform a series of ablations and visualizations to elucidate the contributions of our key model components. Lastly, we evaluate the generalizability of our model on the RoboCup dataset, and get results that are competitive with or better than the state-of-the-art, despite being severely data-starved.

研究动机与目标

• 为解决从过定事件数据库中进行内容选择与表面实现联合优化的挑战。
• 开发一种与领域无关的端到端神经模型，避免依赖人工特征、语言资源或模板。
• 通过一种新颖的对齐机制，联合学习内容选择与表面实现，以提升生成质量和选择准确性。
• 评估模型在低资源领域（如RoboCup）的泛化能力，其中数据稀缺是主要挑战。
• 通过消融实验与可视化分析关键组件的贡献。

提出的方法

• 使用双向LSTM-RNN将一组完整的过定事件记录编码为密集表示。
• 引入一种粗粒度到细粒度的对齐机制：首先在低层次抽象上应用预选择器，再在高层次抽象上使用精炼器识别显著记录。
• 采用LSTM解码器，基于所选记录生成自由形式的自然语言描述。
• 在解码过程中利用基于注意力的对齐机制，将每个生成的词与相关事件记录关联，实现选择与生成的联合学习。
• 在解码过程中应用k近邻束滤波，利用余弦相似度检索相关训练样本，以提升生成质量。
• 在成对的数据库-描述语料上端到端训练整个模型，无需真实内容选择标注。

实验结果

研究问题

• RQ1 是否能够通过神经端到端模型，在不依赖领域特定特征或模板的情况下，联合学习内容选择与表面实现？
• RQ2 粗粒度到细粒度的对齐机制在降低搜索复杂度的同时，是否能有效提升选择准确性？
• RQ3 该模型在数据严重匮乏的低资源领域（如RoboCup）中，其泛化能力如何？
• RQ4 粗粒度到细粒度对齐器与k近邻束滤波对整体性能的贡献有多大？
• RQ5 模型的注意力机制如何反映生成文本与所选记录之间的对齐关系？

主要发现

• 在WeatherGov数据集上，该模型相比先前工作在BLEU得分上实现了59%的相对提升，创下生成质量的新SOTA记录。
• 内容选择的F-1分数达到81.58，相比先前方法相对提升了12%。
• k近邻束滤波进一步将测试BLEU提升至61.76（sBLEU）和71.23（cBLEU），优于主要的贪婪解码方法。
• 消融实验表明，粗粒度到细粒度对齐器与基于注意力的对齐机制均对性能有显著贡献。
• 可视化结果表明，模型在解码过程中能够学习关注语义相关的记录，注意力分布与输入事件记录具有有意义的对齐。
• 在数据极度匮乏的RoboCup数据集上，该模型的表现与最先进系统相当或更优，展现出强大的泛化能力。