[论文解读] Reconstruction of Missing Big Sensor Data

Yongshuai Shao, Zhe Chen|arXiv (Cornell University)|May 3, 2017

Sparse and Compressive Sensing Techniques参考文献 27被引用 5

一句话总结

本文提出 ADMAC，一种基于张量的低秩逼近方法，采用交替方向乘子法（ADMM）来重建物联网网络中缺失的多属性传感器数据。该方法在低采样率及具有现实缺失模式的情况下，相较于现有矩阵与张量方法表现更优，通过利用时间、节点和传感器属性之间的联合低秩结构实现。

ABSTRACT

With ubiquitous sensors continuously monitoring and collecting large amounts of information, there is no doubt that this is an era of big data. One of the important sources for scientific big data is the datasets collected by Internet of things (IoT). It's considered that these datesets contain highly useful and valuable information. For an IoT application to analyze big sensor data, it is necessary that the data are clean and lossless. However, due to unreliable wireless link or hardware failure in the nodes, data loss in IoT is very common. To reconstruct the missing big sensor data, firstly, we propose an algorithm based on matrix rank-minimization method. Then, we consider IoT with multiple types of sensor in each node. Accounting for possible correlations among multiple-attribute sensor data, we propose tensor-based methods to estimate missing values. Moreover, effective solutions are proposed using the alternating direction method of multipliers. Finally, we evaluate the approaches using two real sensor datasets with two missing data-patterns, i.e., random missing pattern and consecutive missing pattern. The experiments with real-world sensor data show the effectiveness of the proposed methods.

研究动机与目标

• 解决由于通信不可靠或硬件故障导致大规模物联网传感器网络中缺失数据的挑战。
• 克服现有方法对时间或空间相关性假设过强的局限性。
• 开发一种鲁棒的数据重建框架，利用传感器数据内在的低秩结构，而无需预先了解相关性模式。
• 通过张量补全将基于矩阵的重建方法扩展至多属性传感器数据，捕捉时间、节点和传感器类型之间的跨模态相关性。
• 提出一种松弛变体（R-ADMAC），适用于张量仅在特定模式下为低秩的情况，提升实际应用的灵活性。

提出的方法

• 将传感器数据建模为一个三维张量，其模式分别代表时间、传感器节点ID和属性类型（如温度、湿度）。
• 通过使用 Tucker 分解模型进行秩最小化来实现张量补全，以利用所有模式下的低秩结构。
• 采用交替方向乘子法（ADMM）高效求解非凸张量补全问题。
• 引入一种松弛版本 R-ADMAC，其假设仅在特定模式下存在低秩结构，从而提升对真实世界数据的适应性。
• 在 ADMM 框架下交替更新因子矩阵与核心张量，以优化张量补全问题。
• 使用真实世界数据集（Intel Berkeley 和 Data Sensing Lab）在两种缺失数据模式下验证方法：随机缺失和连续缺失。

实验结果

研究问题

• RQ1 通过 ADMM 实现的低秩张量补全能否有效重建物联网网络中缺失的多属性传感器数据？
• RQ2 在不同采样率和缺失模式下，ADMAC 的性能与最先进的基于矩阵和张量的方法相比如何？
• RQ3 关于 Tucker 秩的先验知识对张量补全精度有何影响？ADMAC 如何缓解这一依赖性？
• RQ4 在何种场景下，松弛的 R-ADMAC 方法优于联合低秩模型（如 ADMAC 和 HaLRTC）？
• RQ5 所提出的方法对具有复杂、非均匀缺失模式的真实世界数据是否具有鲁棒性？

主要发现

• 当采样率超过 30% 时，ADMAC 在两个真实数据集上的性能与正确秩（rank-[2,2,2]）的 Tucker 分解相当。
• 使用错误的较高秩（rank-[5,5,2]）的 Tucker 分解性能表现差，凸显了此类方法对先验秩知识的敏感性。
• 在随机缺失模式下，ADMAC 在低采样率（<20%）时优于 HaLRTC，表明其对稀疏数据具有更强的鲁棒性。
• 在已知特定模式下具有低秩结构的合成数据上，R-ADMAC 性能更优；但在全联合低秩假设成立的真实数据上性能下降。
• 在连续缺失模式下，ADMAC 保持了强劲的性能，展现出对结构化数据丢失的鲁棒性。
• 所提出的方法在随机和连续缺失数据场景下均显著优于现有方法，验证了其在真实物联网应用中的有效性。