[论文解读] Unified recurrent neural network for many feature types

Alexander Stec, Diego Klabjan+1 more|arXiv (Cornell University)|Sep 24, 2018

Time Series Analysis and Forecasting参考文献 12被引用 3

一句话总结

本文提出一种统一的循环神经网络（STLSTM），通过以不同频率更新特征的方式，原生支持五类不同特征类型——密集型、稀疏型、时间感知型、静态密集型和静态差分型特征。该模型通过分别更新稀疏与密集特征的隐藏状态，并灵活整合时间间隔信息，提升了异步时间序列建模的性能，实现了比标准RNN更快的收敛速度和更高的准确性。

ABSTRACT

There are time series that are amenable to recurrent neural network (RNN) solutions when treated as sequences, but some series, e.g. asynchronous time series, provide a richer variation of feature types than current RNN cells take into account. In order to address such situations, we introduce a unified RNN that handles five different feature types, each in a different manner. Our RNN framework separates sequential features into two groups dependent on their frequency, which we call sparse and dense features, and which affect cell updates differently. Further, we also incorporate time features at the sequential level that relate to the time between specified events in the sequence and are used to modify the cell's memory state. We also include two types of static (whole sequence level) features, one related to time and one not, which are combined with the encoder output. The experiments show that the modeling framework proposed does increase performance compared to standard cells.

研究动机与目标

• 解决标准RNN在处理具有异构特征更新频率的异步时间序列时的局限性。
• 开发一种原生支持五类不同特征类型（密集型、稀疏型、时间相关型及静态特征）的统一框架。
• 通过在RNN单元更新机制中差异化处理不同稀疏模式的特征，提升建模精度与训练效率。
• 将时间感知RNN扩展至支持除事件间间隔外的任意时间特征。

提出的方法

• 模型将隐藏状态拆分为密集与稀疏两部分，依据特征出现频率分别进行更新。
• 稀疏特征维持独立的隐藏状态与记忆状态，仅在特征被观测到时才进行更新。
• 时间特征通过灵活的衰减机制建模，支持多种差分特征，而不仅限于自上一时刻以来的时间间隔。
• 静态特征单独处理：静态差分特征经嵌入后用于单元内部计算，而静态密集特征经嵌入后与序列最终输出拼接。
• 该架构将五类特征类型整合进单一统一的RNN单元，支持端到端训练。
• 模型采用堆叠RNN层结构，底层使用STLSTM，高层使用标准LSTM，以实现分层表征学习。

实验结果

研究问题

• RQ1 在RNN单元中分离处理密集与稀疏特征，对异步时间序列建模性能有何影响？
• RQ2 统一的RNN框架能否在单一架构中有效建模多种特征类型，包括时间感知与静态特征？
• RQ3 与标准RNN及TLSTM相比，所提出的STLSTM单元在稀疏与非均匀采样数据上是否实现更快收敛与更高精度？
• RQ4 不同稀疏程度的特征如何影响STLSTM架构带来的性能增益？

主要发现

• STLSTM模型在40–50个周期内达到收敛，而标准TLSTM需70–80个周期，尽管因参数量增加导致每周期训练时间更长。
• 在合成数据上，当使用稀疏特征时，模型相比标准RNN实现2.5%的相对性能提升，且在最稀疏的特征子集中增益最大。
• 在真实世界的流失预测数据上，当使用客户特定与序列特定的稀疏特征（稀疏率0.03–0.3）时，模型表现出最大性能提升，表明对混合稀疏性的良好响应能力。
• 原始计数特征（如每个账户的总人数）带来的性能增益大于相对变化特征，后者可能已具备语义编码。
• 随着稀疏性增加，静态差分特征的引入带来更强的性能提升，凸显其在低频特征场景下的实用性。