[论文解读] Visualizing and Understanding Curriculum Learning for Long Short-Term Memory Networks

Volkan Cirik, Eduard Hovy+1 more|arXiv (Cornell University)|Nov 18, 2016

Topic Modeling被引用 31

一句话总结

本文研究了在长短期记忆（LSTM）网络中用于序列预测任务的课程学习（CL），将单遍课程和婴儿步课程方案与随机洗牌进行比较。结果表明，课程学习，尤其是婴儿步课程，通过促进有益的内部表征，显著提升了LSTM在复杂任务（如包含连词的情感分析）中的性能，尤其在低数据环境下效果显著。

ABSTRACT

Curriculum Learning emphasizes the order of training instances in a computational learning setup. The core hypothesis is that simpler instances should be learned early as building blocks to learn more complex ones. Despite its usefulness, it is still unknown how exactly the internal representation of models are affected by curriculum learning. In this paper, we study the effect of curriculum learning on Long Short-Term Memory (LSTM) networks, which have shown strong competency in many Natural Language Processing (NLP) problems. Our experiments on sentiment analysis task and a synthetic task similar to sequence prediction tasks in NLP show that curriculum learning has a positive effect on the LSTM's internal states by biasing the model towards building constructive representations i.e. the internal representation at the previous timesteps are used as building blocks for the final prediction. We also find that smaller models significantly improves when they are trained with curriculum learning. Lastly, we show that curriculum learning helps more when the amount of training data is limited.

研究动机与目标

• 研究课程学习如何影响LSTM网络中的内部表征。
• 评估不同课程学习方案（特别是单遍和婴儿步）对LSTM性能的影响。
• 分析课程学习在小型模型和低资源训练场景中的优势。
• 理解课程学习如何影响复杂语言现象（如情感分析中的对比连词）的建模。

提出的方法

• 本研究采用两个基准数据集：一个合成的序列预测任务和斯坦福情感树库（SST）的五分类情感分类任务。
• 比较四种训练方案：随机洗牌（基线）、单遍课程、排序课程和婴儿步课程。
• 在每个标记后探测中间LSTM隐藏状态，以可视化情感极性如何随时间更新。
• 使用RMSprop优化，168个LSTM单元，并使用预训练的GloVe词嵌入；采用早停策略，patience=10。
• 在整体准确率和子任务准确率（如包含连词的句子）上评估性能，报告标准差。
• 通过改变训练数据量来评估数据效率，结果按数据比例绘制图表。

实验结果

研究问题

• RQ1 课程学习如何影响LSTM在序列处理过程中内部表征的动力学？
• RQ2 婴儿步课程方案是否在LSTM中构建更优的内部状态，优于其他方案？
• RQ3 课程学习在处理复杂语言现象（如对比连词）方面能带来多大程度的性能提升？
• RQ4 模型大小在多大程度上影响课程学习在LSTM中的收益？
• RQ5 课程学习是否在低资源训练设置中提供更大的性能增益？

主要发现

• 婴儿步课程方案在SST情感分析任务中取得了最高的整体准确率（47.37%），优于基线（46.83%）及其他方案。
• 对于包含连词的句子——尤其是涉及对比结构的句子——婴儿步模型的准确率达到46.07%，显著高于基线（43.88%）及其他方案。
• 可视化结果显示，婴儿步模型在对比句中观察到"spice"后能正确更新情感极性，表明其对冲突信号的处理能力更强。
• 小型模型在采用课程学习训练后表现出显著的性能提升，表明其在资源受限环境中的价值。
• 当训练数据有限时，课程学习带来的增益更大；随着数据量增加，不同方案间的性能差距逐渐缩小。
• 当使用完整训练数据时，单遍和婴儿步方案的性能趋于一致，表明课程学习的核心优势在于数据效率。