[论文解读] Prediction with Unpredictable Feature Evolution

Bojian Hou, Lijun Zhang+1 more|arXiv (Cornell University)|Apr 27, 2019

Data Stream Mining Techniques参考文献 46被引用 6

一句话总结

该论文提出了一种名为不可预测特征演化预测（PUFE）的新框架，用于处理任意非同步特征演化下的在线学习问题。通过将不完全重叠期建模为矩阵补全问题，并采用自适应集成基模型方法，PUFE即使在新特征空间刚开始时也能达到与最佳基模型相当的性能，确保了在特征变化不可预测的真实流式数据场景下的鲁棒性。

ABSTRACT

Learning with feature evolution studies the scenario where the features of the data streams can evolve, i.e., old features vanish and new features emerge. Its goal is to keep the model always performing well even when the features happen to evolve. To tackle this problem, canonical methods assume that the old features will vanish simultaneously and the new features themselves will emerge simultaneously as well. They also assume there is an overlapping period where old and new features both exist when the feature space starts to change. However, in reality, the feature evolution could be unpredictable, which means the features can vanish or emerge arbitrarily, causing the overlapping period incomplete. In this paper, we propose a novel paradigm: Prediction with Unpredictable Feature Evolution (PUFE) where the feature evolution is unpredictable. To address this problem, we fill the incomplete overlapping period and formulate it as a new matrix completion problem. We give a theoretical bound on the least number of observed entries to make the overlapping period intact. With this intact overlapping period, we leverage an ensemble method to take the advantage of both the old and new feature spaces without manually deciding which base models should be incorporated. Theoretical and experimental results validate that our method can always follow the best base models and thus realize the goal of learning with feature evolution.

研究动机与目标

• 解决现有方法假设数据流中特征演化同步且可预测的局限性。
• 建模旧特征在任意时间消失、导致与新特征出现不完全重叠期的真实世界场景。
• 开发一种框架，能够在过渡期间恢复缺失的特征数据，并保持强大的预测性能。
• 确保模型在新特征空间初始阶段即具备鲁棒性，并在数据有限的情况下表现良好。

提出的方法

• 将不可预测的旧特征消失所导致的不完全重叠期建模为矩阵补全问题。
• 利用低秩矩阵恢复技术填补特征矩阵中的缺失条目，利用数据底层结构为低秩的特性。
• 建立理论边界，表明当观测条目数量满足 Ω(dr ln r) 时，可精确恢复目标矩阵，其中 d 为行数，r 为秩。
• 构建一组基模型（NOGD、ROGD-f、ROGD-u）的集成，并基于其历史表现，采用加权融合策略进行自适应组合。
• 将补全后的矩阵与当前完整的特征数据相结合，训练一个统一模型，以同时利用旧特征和新特征的信息。
• 采用时间变化的步长 τt = 1/(c√t) 的在线学习方法，以确保模型更新过程中的收敛性与稳定性。

实验结果

研究问题

• RQ1 当旧特征在数据流过渡期间不可预测地消失时，矩阵补全能否有效恢复缺失的特征数据？
• RQ2 在低秩假设下，为确保不完全重叠矩阵的精确恢复，最少需要多少观测条目？
• RQ3 自适应集成方法是否能在不可预测的特征演化设置中超越单一基模型？
• RQ4 所提出的 PUFE 框架是否能从新特征空间的初始阶段起，保持与最佳基模型相当的性能？
• RQ5 在可预测与不可预测的特征演化场景下，PUFE 与现有方法（如 FESL-c 和 FESL-s）相比表现如何？

主要发现

• 在 22 个实验案例中，PUFE 在 16 个案例中优于所有基线方法，展现出在合成数据集与真实世界数据集上的强大泛化能力。
• 在 3 个案例（german-P、german-U 和 RFID-P）中，PUFE 在 95% 置信水平下显著优于最佳基模型。
• PUFE 的平均累积损失在所有时间步均与最佳基线模型保持一致，即使在新特征空间的初始阶段也未出现性能下降。
• PUFE 在可预测与不可预测设置下均表现出稳健性能，在多数情况下优于 FESL-c 和 FESL-s，包括在可预测场景中亦表现更优。
• 理论分析证实，Ω(dr ln r) 个观测条目足以实现精确的矩阵恢复，为可靠的缺失数据补全提供了理论基础。