[论文解读] TextNAS: A Neural Architecture Search Space tailored for Text Representation

Yujing Wang, Yaming Yang+8 more|arXiv (Cornell University)|Dec 23, 2019

Topic Modeling参考文献 40被引用 4

一句话总结

TextNAS 提出了一种针对文本表示的定制化神经架构搜索空间，通过多路径集成结构整合了卷积、循环、池化及自注意力层。利用 ENAS 算法，它在文本分类和自然语言推理任务上发现了优于当前最先进模型的架构，在保持强迁移能力的同时实现了最先进性能。

ABSTRACT

Learning text representation is crucial for text classification and other language related tasks. There are a diverse set of text representation networks in the literature, and how to find the optimal one is a non-trivial problem. Recently, the emerging Neural Architecture Search (NAS) techniques have demonstrated good potential to solve the problem. Nevertheless, most of the existing works of NAS focus on the search algorithms and pay little attention to the search space. In this paper, we argue that the search space is also an important human prior to the success of NAS in different applications. Thus, we propose a novel search space tailored for text representation. Through automatic search, the discovered network architecture outperforms state-of-the-art models on various public datasets on text classification and natural language inference tasks. Furthermore, some of the design principles found in the automatic network agree well with human intuition.

研究动机与目标

• 为解决设计最优文本表示网络的挑战，尽管文献中已有多种架构，但该问题仍具挑战性。
• 证明搜索空间是 NAS 中的关键人类先验，而不仅仅是搜索算法本身。
• 设计一种面向文本的宏观级搜索空间，支持层混合与多路径集成。
• 实现文本分类和 NLI 任务中高性能、可迁移架构的自动发现。
• 验证自动发现的架构与人类直觉一致，并优于人工设计的基线模型。

提出的方法

• 基于有向无环图（DAG）设计一种支持卷积、循环、池化及自注意力层的宏观搜索空间。
• 引入多路径集成机制，使不同类型层可作为独立的特征提取器。
• 使用 ENAS 强化学习算法，以验证集准确率为奖励信号，搜索最优架构。
• 在最佳架构上进行网格搜索，以在验证集上调优超参数。
• 使用最佳超参数，从头开始在合并的训练与验证数据上训练最终架构。
• 在不重新运行搜索过程的前提下，将发现的架构迁移到其他文本任务中。

实验结果

研究问题

• RQ1 与通用或微观级搜索空间相比，定制化搜索空间是否能显著提升文本表示中的 NAS 性能？
• RQ2 在文本分类任务中，具有多路径集成的宏观搜索空间是否优于微观搜索空间？
• RQ3 通过 TextNAS 自动发现的架构是否能在下游文本分类和 NLI 任务上实现最先进性能？
• RQ4 自动发现的架构在多大程度上反映了人类设计的设计原则？
• RQ5 所发现的架构在不同文本数据集和任务间的可迁移性如何？

主要发现

• TextNAS 在除 Sogou 外的所有文本分类数据集上均实现了最先进测试准确率，其中在 YAHOO 数据集上达到 66.56% 的准确率，优于先前方法。
• 在 SNLI 和 MNLI-NLI 数据集上，TextNAS 分别取得 87.4% 和 74.9% 的准确率，显著优于 24 层 Transformer 模型（分别为 85.2% 和 70.4%）。
• 在所有评估的文本分类任务中，宏观搜索空间均优于微观搜索空间，尤其在 AMZ 数据集上性能提升高达 4.55%。
• 自动发现的架构展现出强大的可迁移性，在无需重新训练搜索过程的前提下，于多个下游任务中均取得最先进结果。
• TextNAS 发现的架构设计原则与人类直觉高度一致，例如结合 CNN 提取局部特征、RNN 进行序列建模、自注意力机制捕捉长距离依赖。
• 搜索过程高效且可扩展，支持在较小数据集上发现架构，随后迁移至更大数据集并持续获得性能增益。