[论文解读] Progress and Tradeoffs in Neural Language Models

Raphael Tang, Jimmy Lin|arXiv (Cornell University)|Nov 2, 2018

Topic Modeling参考文献 21被引用 5

一句话总结

本文研究了神经语言模型（NLMs）与传统Kneser-Ney（KN-5）语言模型之间的质量-性能权衡，表明最先进的NLMs如AWD-LSTM和QRNN在移动设备（如Raspberry Pi）上实现了2.5倍的困惑度降低，但推理延迟增加了49倍，能耗增加了32倍，凸显了显著的准确性提升所付出的性能代价。

ABSTRACT

In recent years, we have witnessed a dramatic shift towards techniques driven by neural networks for a variety of NLP tasks. Undoubtedly, neural language models (NLMs) have reduced perplexity by impressive amounts. This progress, however, comes at a substantial cost in performance, in terms of inference latency and energy consumption, which is particularly of concern in deployments on mobile devices. This paper, which examines the quality-performance tradeoff of various language modeling techniques, represents to our knowledge the first to make this observation. We compare state-of-the-art NLMs with "classic" Kneser-Ney (KN) LMs in terms of energy usage, latency, perplexity, and prediction accuracy using two standard benchmarks. On a Raspberry Pi, we find that orders of increase in latency and energy usage correspond to less change in perplexity, while the difference is much less pronounced on a desktop.

研究动机与目标

• 量化神经语言模型（NLMs）与非神经网络的Kneser-Ney（KN-5）语言模型在真实部署场景下的性能权衡。
• 评估模型复杂度对推理延迟和能耗的影响，特别是在Raspberry Pi等移动平台上的表现。
• 评估NLMs在困惑度和下一个词预测准确率方面的提升是否足以抵消其在移动应用中显著的计算开销。
• 在Penn Treebank和WikiText-103等多个基准上，对比AWD-LSTM和QRNN模型与KN-5模型的性能表现。
• 为语言建模中的质量-性能权衡提供实证证据，强调在资源受限环境中需考虑系统特性的模型选择策略。

提出的方法

• 将基于Kneser-Ney的5元语法模型（KN-5）与最先进的NLMs（AWD-LSTM和QRNN）进行对比，采用标准基准数据集（Penn Treebank和WikiText-103）。
• 在Raspberry Pi（ARM架构，代表移动设备）和桌面CPU/GPU平台上测量每查询的推理延迟和能耗。
• 以困惑度和R@3（3位召回率）为主要质量指标，其中R@3用作键盘应用中下一个词预测准确率的代理指标。
• 在验证集和测试集上，对KN-5、AWD-LSTM和QRNN等多种模型变体收集性能数据。
• 分析困惑度对数与R@3之间的关系，以评估困惑度是否可作为实际预测质量的可靠代理指标。
• 以每查询的延迟（ms/查询）、能耗（mJ/查询）、困惑度和R@3报告结果，以便直接比较质量与性能之间的权衡。

实验结果

研究问题

• RQ1 在移动硬件上，最先进的NLMs与非神经网络的KN-5模型相比，其推理延迟和能耗如何？
• RQ2 NLMs在困惑度上的改进在真实基准上能转化为多大程度的下一个词预测准确率（R@3）提升？
• RQ3 在移动设备与桌面系统上部署NLMs时，质量-性能权衡的规模有多大？
• RQ4 在不同语言模型和数据集上，困惑度与R@3之间的关系是否保持线性或可预测？
• RQ5 通过硬件加速能否缓解NLMs的性能开销？这种加速在桌面与移动平台上的权衡关系如何？

主要发现

• 在Raspberry Pi上，从KN-5到QRNN的困惑度降低了2.5倍，但推理延迟增加了49倍（从7 ms增至348 ms/查询），能耗增加了32倍（从6 mJ增至192 mJ/查询）。
• AWD-LSTM模型在Penn Treebank上相较KN-5实现了2.5倍的困惑度降低，但在Raspberry Pi上每查询需223 ms和295 mJ，分别比KN-5慢32倍、能耗高50倍。
• 在桌面环境下，NLMs在CPU上仅比KN-5慢9倍，在GPU上仅慢2倍，表明性能下降在移动平台最为严重。
• 在Raspberry Pi上，wt103-qrnn模型每预测一次需超过1.2秒，导致其在实时应用（如预测文本输入）中无法使用。
• 尽管困惑度显著改善，但R@3的提升幅度有限：在各数据集上仅提升了22%至34%，表明对键盘应用的实际收益有限。
• 困惑度对数与R@3之间的关系呈强线性（PTB上r² = 0.88，WT103上r² = 0.93），表明对数困惑度是下一个词预测质量的可靠代理指标。