[论文解读] Uncertainty Quantification for Deep Context-Aware Mobile Activity Recognition and Unknown Context Discovery

Zepeng Huo, Arash Pakbin+7 more|arXiv (Cornell University)|Mar 3, 2020

Context-Aware Activity Recognition Systems被引用 7

一句话总结

本文提出了一种基于最大熵不确定性量化（UQ）的上下文感知深度学习框架——α-β网络，联合建模活动识别与上下文发现。通过整合基于聚类的预训练与UQ，该模型在基准数据集上的准确率和F1分数提升了10%，并能有效检测未知上下文，在公开和内部噪声数据集上均优于基线模型。

ABSTRACT

Activity recognition in wearable computing faces two key challenges: i) activity characteristics may be context-dependent and change under different contexts or situations; ii) unknown contexts and activities may occur from time to time, requiring flexibility and adaptability of the algorithm. We develop a context-aware mixture of deep models termed the {\\alpha}-\\b{eta} network coupled with uncertainty quantification (UQ) based upon maximum entropy to enhance human activity recognition performance. We improve accuracy and F score by 10% by identifying high-level contexts in a data-driven way to guide model development. In order to ensure training stability, we have used a clustering-based pre-training in both public and in-house datasets, demonstrating improved accuracy through unknown context discovery.

研究动机与目标

• 解决可穿戴系统中上下文依赖的活动识别挑战，其中上下文定义往往不完整或动态变化。
• 通过在推理过程中实现数据驱动的未知上下文发现，克服预定义上下文的局限性。
• 通过量化预测不确定性，提升模型在真实世界噪声环境中的鲁棒性与泛化能力。
• 通过基于聚类的预训练，确保混合专家架构中训练的稳定性并防止模型坍塌。
• 在包含真实传感器噪声和混淆运动模式的公开（UCI OPPORTUNITY）和内部数据集上，验证该框架的有效性。

提出的方法

• 提出α-β网络架构：α网络作为上下文检测器，通过门控机制输出上下文分布。
• β网络执行特定上下文的活动识别，每个识别出的上下文对应一个独立的专家网络。
• 应用最大熵学习（MEL）以量化所有模型参数的不确定性，从而实现对高不确定性未知上下文的检测。
• 将不确定性量化集成至模型中，当不确定性超过阈值时拒绝预测，从而增强鲁棒性。
• 在公开和内部数据集上使用基于聚类的预训练初始化α网络，以提升收敛速度并防止模型坍塌至单一专家。
• 利用UQ区分已知与未知上下文：已知上下文表现出集中分布的预测后验，而未知上下文则产生平坦且不确定的输出。

实验结果

研究问题

• RQ1 深度学习模型能否在不依赖预定义上下文标签的情况下，联合学习上下文感知的活动识别并发现未知上下文？
• RQ2 基于最大熵的不确定性量化在检测未知或分布外上下文方面，如何提升模型的鲁棒性？
• RQ3 基于聚类的预训练在多大程度上稳定了α-β网络架构的训练并防止模型坍塌？
• RQ4 与标准基线模型相比，该框架在真实世界噪声环境中的表现如何？
• RQ5 模型是否能仅通过不确定性评分有效区分已知与未知上下文？

主要发现

• 在UCI OPPORTUNITY数据集上，结合UQ的α-β网络相比基线模型，活动识别准确率和F1分数均提升了10%。
• 预训练使准确率从87%提升至96%，F1从0.87提升至0.96，证明其在防止模型坍塌方面具有关键作用。
• 在内部数据集上，α-β网络实现了84%的准确率和0.86的F1分数，尽管噪声水平更高，仍优于基线模型（80%准确率，0.80 F1分数）。
• 未知上下文可通过UQ可靠检测：其预测后验分布平坦且分散，而已知上下文则表现出集中分布。
• 当两个上下文被移除并视为未知时，模型仍能正确将其识别为高不确定性情况，证实其检测未见上下文的能力。
• 预训练在稳定α-β网络方面显著优于正则化，因为仅使用正则化在初始化不佳时无法维持性能。