[论文解读] Text as Environment: A Deep Reinforcement Learning Text Readability Assessment Model

Hamid Mohammadi, Seyed Hossein Khasteh+2 more|arXiv (Cornell University)|Dec 12, 2019

Text Readability and Simplification被引用 13

一句话总结

本文提出 RAIT，一种基于深度强化学习的模型，结合硬注意力机制与主动推理，以极简输入实现文本可读性评估，输入长度不足 BERT 的一半，即达到最先进准确率。通过强化学习动态选择信息丰富的文本窗口，RAIT 在 Weebit 和 Cambridge Exams 数据集上显著降低计算负载，同时保持高性能。

ABSTRACT

Evaluating the readability of a text can significantly facilitate the precise expression of information in written form. The formulation of text readability assessment involves the identification of meaningful properties of the text regardless of its length. Sophisticated features and models are used to evaluate the comprehensibility of texts accurately. Despite this, the problem of assessing texts' readability efficiently remains relatively untouched. The efficiency of state-of-the-art text readability assessment models can be further improved using deep reinforcement learning models. Using a hard attention-based active inference technique, the proposed approach makes efficient use of input text and computational resources. Through the use of semi-supervised signals, the reinforcement learning model uses the minimum amount of text in order to determine text's readability. A comparison of the model on Weebit and Cambridge Exams with state-of-the-art models, such as the BERT text readability model, shows that it is capable of achieving state-of-the-art accuracy with a significantly smaller amount of input text than other models.

研究动机与目标

• 解决现有文本可读性模型效率低下的问题，即尽管部分输入已足够准确评估，仍需处理整个文本序列。
• 通过限制自注意力机制仅作用于小而动态的输入窗口，降低基于 Transformer 模型的计算复杂度。
• 开发一种方法，利用强化学习智能选择最具有信息量的文本片段用于可读性分类。
• 在显著减少输入长度与推理延迟的前提下，保持与完整序列 BERT 模型相当的高准确率。
• 通过将领域分解应用于注意力机制，探索主动推理在自然语言处理任务中的可行性。

提出的方法

• 该模型采用硬注意力机制，使智能体每次仅能观察一小段连续的词序列，模拟‘阅读’过程。
• 利用强化学习训练智能体执行动作——‘向左移动’、‘向右移动’或‘停止’——以在文本中导航并选择最优观察窗口。
• 通过优化强化学习损失函数，使智能体的策略在最大化可读性预测准确率的同时，最小化所观察窗口的数量。
• 应用领域分解方法（DDM）将输入文本划分为子问题，通过强化学习实现全局解的聚合，整合部分表示结果。
• 模型整合预训练 BERT 编码器进行特征提取，强化学习智能体控制输入窗口的大小与位置。
• 公式 5 和 6 描述了全局解聚合策略，通过整合多个窗口的局部预测结果，形成最终的可读性判断。

实验结果

研究问题

• RQ1 强化学习智能体能否在不损失准确率的前提下，有效减少文本可读性评估的输入长度？
• RQ2 与固定窗口或完整序列注意力相比，通过主动推理实现的动态窗口选择在计算效率与准确率方面表现如何？
• RQ3 对自注意力机制进行领域分解在多大程度上可降低 Transformer 模型在可读性任务中的计算复杂度？
• RQ4 是否可利用半监督信号在极少标注数据下训练智能体，同时保持高性能？
• RQ5 该模型在不同文本类型与领域（如教育、医疗、社交媒体文本）之间是否具备良好的泛化能力？

主要发现

• RAIT 在 Weebit 和 Cambridge Exams 数据集上均达到最先进准确率，F1 分别为 0.943 和 0.762，即使仅使用 256 词输入窗口亦可实现。
• 当使用 64 词窗口时，推理延迟降低至 2.1ms，相较完整 BERT 的 12.6ms 显著减少，同时保持 93.8% 和 75.5% 的 F1 分数。
• 在输入长度受限条件下，RAIT 在性能上优于 BERT 与 ConvLSTM 模型，展现出在低资源场景下的卓越效率。
• 平均而言，RAIT 在 256、128 和 64 词窗口大小下分别仅观察 1.2、1.7 和 2.1 个窗口，表明其采样策略高效。
• 基于强化学习的全局聚合策略有效缓解了自注意力感受野受限带来的负面影响，即使上下文减少，仍能保持高准确率。
• RAIT 的完整窗口版本（100% 输入）在准确率上与标准 BERT 完全一致（Weebit 数据集上 F1 = 0.943），证实该方法在完整输入场景下也具有兼容性。