[论文解读] Table-to-Text Generation with Effective Hierarchical Encoder on Three Dimensions (Row, Column and Time)

Heng Gong, Xiaocheng Feng+2 more|arXiv (Cornell University)|Sep 5, 2019

Advanced Text Analysis Techniques参考文献 20被引用 4

一句话总结

本文提出了一种新颖的层次化编码器，用于表格到文本的生成，通过自注意力机制在行、列和时间三个维度上建模表格单元。它引入了一个单元融合门，以动态结合每个维度的显著表征，显著提升了事实一致性和流畅性，在 ROTOWIRE 基准测试中取得了最先进结果，相比强基线模型 BLEU 分数提升了 2.66。

ABSTRACT

Although Seq2Seq models for table-to-text generation have achieved remarkable progress, modeling table representation in one dimension is inadequate. This is because (1) the table consists of multiple rows and columns, which means that encoding a table should not depend only on one dimensional sequence or set of records and (2) most of the tables are time series data (e.g. NBA game data, stock market data), which means that the description of the current table may be affected by its historical data. To address aforementioned problems, not only do we model each table cell considering other records in the same row, we also enrich table's representation by modeling each table cell in context of other cells in the same column or with historical (time dimension) data respectively. In addition, we develop a table cell fusion gate to combine representations from row, column and time dimension into one dense vector according to the saliency of each dimension's representation. We evaluated our methods on ROTOWIRE, a benchmark dataset of NBA basketball games. Both automatic and human evaluation results demonstrate the effectiveness of our model with improvement of 2.66 in BLEU over the strong baseline and outperformance of state-of-the-art model.

研究动机与目标

• 解决现有表格到文本模型将表格编码为一维序列或记录集合的局限性，这些方法忽略了结构关系和时间关系。
• 通过在行、列和历史时间序列数据的上下文中建模表格单元，提升生成文本的事实准确性。
• 通过可学习的融合机制联合编码行、列和时间表征，提升内容选择与摘要生成能力。
• 建模球员随时间的表现，例如识别“双十”趋势，这需要访问当前表格之外的历史数据。

提出的方法

• 使用三个独立的自注意力网络，分别独立地对每个表格单元在其行、列和时间维度上进行编码。
• 应用可学习的单元融合门，基于各维度的显著性，将三维表征融合为单一的密集向量。
• 对行级表征进行平均池化，形成行级上下文表征，随后通过内容选择门过滤不相关的行。
• 使用标准的基于注意力的解码器，并结合内容选择门，以在文本生成过程中选择性地关注重要表格行。
• 通过使用同一球员在之前比赛中的历史值来建模时间序列数据，以表示每个单元。
• 在 ROTOWIRE 数据集上进行端到端训练，并通过自动评估与人工评估来衡量流畅性、连贯性与事实一致性。

实验结果

研究问题

• RQ1 在行、列和时间维度上建模表格单元是否能提升表格到文本生成中生成文本的质量？
• RQ2 联合编码行、列和时间表征如何影响内容选择与事实一致性？
• RQ3 可学习的融合门是否能有效结合多维表征以提升模型性能？
• RQ4 整合历史表现数据是否能增强模型生成球员趋势准确摘要（如“最近三场中的第二个双十”）的能力？
• RQ5 在自动评估与人工评估指标上，该模型与强基线模型及最先进模型相比表现如何？

主要发现

• BLEU 分数从基线的 14.19 提升至 16.85，相对提升 18.75%。
• 关系生成（RG）F1 分数从基线的 74.80% 提升至 91.46%，相对提升 22.27%。
• 内容选择（CS）F1 从 32.49% 提升至 41.21%，相对提升 26.84%，表明对相关表格记录的选择能力更强。
• 内容排序（CO）得分从 15.42 提升至 20.86，相对提升 35.28%，表明生成文本的结构连贯性更好。
• 人工评估确认，该模型生成的文本比神经基线模型（CC, NCP）和基于模板的系统更具语法正确性、连贯性与事实准确性。
• 定性分析表明，该模型能正确识别关键球员（如 Al Jefferson），并准确总结历史表现趋势，例如“最近三场比赛中的第二个双十”