[论文解读] Table-to-text Generation by Structure-aware Seq2seq Learning

Tianyu Liu, Kexiang Wang+3 more|arXiv (Cornell University)|Nov 27, 2017

Topic Modeling参考文献 19被引用 40

一句话总结

本文提出一种结构感知的序列到序列模型，用于表格到文本生成，通过字段门控LSTM编码器和双注意力机制（词级与字段级）增强内容与结构编码。该模型在WIKIBIO数据集上达到最先进性能，自动评估显著优于基线模型，通过有效建模表格内容的局部与全局定位，生成更连贯、信息更丰富的描述。

ABSTRACT

Table-to-text generation aims to generate a description for a factual table which can be viewed as a set of field-value records. To encode both the content and the structure of a table, we propose a novel structure-aware seq2seq architecture which consists of field-gating encoder and description generator with dual attention. In the encoding phase, we update the cell memory of the LSTM unit by a field gate and its corresponding field value in order to incorporate field information into table representation. In the decoding phase, dual attention mechanism which contains word level attention and field level attention is proposed to model the semantic relevance between the generated description and the table. We conduct experiments on the exttt{WIKIBIO} dataset which contains over 700k biographies and corresponding infoboxes from Wikipedia. The attention visualizations and case studies show that our model is capable of generating coherent and informative descriptions based on the comprehensive understanding of both the content and the structure of a table. Automatic evaluations also show our model outperforms the baselines by a great margin. Code for this work is available on https://github.com/tyliupku/wiki2bio.

研究动机与目标

• 解决从具有复杂、非均匀模式的结构化表格生成连贯且信息丰富的自然语言描述的挑战。
• 通过同时建模内容（字段-值对）与结构信息（记录顺序、字段相关性）来改进表格到文本生成。
• 克服先前模型依赖固定模式或独热编码的局限性，这些方法无法捕捉长距离依赖关系与结构细微差别。
• 实现有效的全局定位（选择需强调的表格记录）与局部定位（在生成过程中聚焦特定词语）的结合。
• 证明模型对表格记录顺序打乱具有鲁棒性，从而证明结构感知在表格到文本生成中的必要性。

提出的方法

• 在LSTM编码器中引入字段门控机制，将字段嵌入集成到单元状态中，实现对表格字段的结构化表示。
• 在解码器中采用双注意力机制：词级注意力用于与特定内容标记进行局部对齐，字段级注意力用于与表格字段进行全局对齐。
• 采用编码器-解码器框架，使用长短期记忆（LSTM）单元，其中编码器通过字段感知门控处理字段-值记录。
• 通过内容编码与词级注意力实现局部定位，以在生成过程中聚焦于相关词语。
• 通过字段编码与字段级注意力实现全局定位，以确定在描述中应优先考虑哪些表格记录。
• 在包含超过70万条维基百科人物传记及其关联简介框的WIKIBIO数据集上进行端到端训练。

实验结果

研究问题

• RQ1 序列到序列模型能否有效编码事实性表格的内容与结构布局，以提升文本生成质量？
• RQ2 将字段级信息整合到LSTM单元状态中，对生成描述的质量有何影响？
• RQ3 双注意力机制（词级与字段级）在多大程度上提升了生成文本与表格内容之间的对齐效果？
• RQ4 该模型在记录顺序被打乱的表格上是否具备良好泛化能力，表明其具备强大的全局定位能力？
• RQ5 在自动评估与定性评估指标上，该模型与强基线模型相比表现如何？

主要发现

• 该结构感知序列到序列模型在WIKIBIO测试集上达到44.28的BLEU分数与40.79的ROUGE分数，显著优于基线模型（vanilla seq2seq：40.04 BLEU，36.85 ROUGE）及使用字段与位置特征的模型（42.10 BLEU，38.97 ROUGE）。
• 在随机打乱记录顺序的表格上，该模型性能下降极小（BLEU下降仅0.61），表明其具备强大的全局定位能力，相较之下基线模型的下降幅度更大。
• 案例研究显示，该模型生成的描述能全面涵盖多个字段（如位置、 debut 日期、球队），而基线模型常遗漏关键信息或编造未提及的细节。
• 注意力可视化结果证实，双注意力机制能成功将生成的标记与相关表格字段及内容对齐，展示了有效的局部与全局定位能力。
• 该模型生成的描述更准确、信息更丰富，例如能正确识别球员所属球队与时间周期，且不会引入如“美国职业棒球大联盟”等错误或无依据的细节。