[论文解读] Pillar Networks++: Distributed non-parametric deep and wide networks

Biswa Sengupta, Qian Yu|ArXiv.org|Aug 18, 2017

Human Pose and Action Recognition参考文献 23被引用 5

一句话总结

Pillar Networks++ 提出了一种分布式、非参数化的深度学习框架，通过在产品专家（PoE）架构中结合多个深度卷积网络（Inception 和 ResNet）与高斯过程分类器，实现了具备不确定性感知能力的可扩展视频动作识别。该方法在 HMDB-51 数据集上取得了 73.6% 的 SOTA 准确率，且无需依赖手工设计特征，相比之前的方法提升了 1.4%。

ABSTRACT

In recent work, it was shown that combining multi-kernel based support vector machines (SVMs) can lead to near state-of-the-art performance on an action recognition dataset (HMDB-51 dataset). This was 0.4\% lower than frameworks that used hand-crafted features in addition to the deep convolutional feature extractors. In the present work, we show that combining distributed Gaussian Processes with multi-stream deep convolutional neural networks (CNN) alleviate the need to augment a neural network with hand-crafted features. In contrast to prior work, we treat each deep neural convolutional network as an expert wherein the individual predictions (and their respective uncertainties) are combined into a Product of Experts (PoE) framework.

研究动机与目标

• 解决在相机角度、光照条件和视频质量高度可变的视频中识别动作的挑战。
• 通过结合深度神经网络与非参数贝叶斯模型，消除对手工设计特征的依赖。
• 通过分布式专家网络实现视频分类的水平可扩展性。
• 通过产品专家（PoE）框架整合多个深度网络专家的不确定性估计，提升预测鲁棒性。

提出的方法

• 每个深度神经网络（Inception 和 ResNet）作为独立专家，从 RGB 和光流输入中提取空间与时间特征。
• 将四个流（两个 Inception 和两个 ResNet 网络）的特征通过分布式高斯过程分类器进行融合。
• 产品专家（PoE）框架融合个体预测及其不确定性，提升鲁棒性与校准性。
• 采用拉普拉斯近似进行分布式 GP 设置下的推理，实现在标准 GPU 工作站上的高效计算。
• 通过插入额外的网络专家实现水平扩展，无需重新训练整个系统。
• 非参数贝叶斯建模支持在数据量较少时仍能有效学习，并在均值预测之外提供预测不确定性。

实验结果

研究问题

• RQ1 在不使用手工设计特征的前提下，分布式、非参数化的深度网络集成能否在 HMDB-51 动作识别基准上超越现有 SOTA 方法？
• RQ2 将多个深度网络专家与不确定性感知的高斯过程分类结合，如何提升预测的鲁棒性与准确性？
• RQ3 产品专家（PoE）框架在聚合多样化深度网络输出时，能在多大程度上缓解预测的过度自信问题？
• RQ4 分布式高斯过程能否实现可扩展、模块化的视频分类，并支持增量添加新的网络专家？
• RQ5 在贝叶斯 PoE 框架中，通过不确定性感知的模型平均，如何提升在具有挑战性、异构视频数据上的泛化能力？

主要发现

• Pillar Networks++ 在 HMDB-51 数据集上实现了 73.6% 的 top-1 准确率，创下新的 SOTA 性能记录。
• 该方法相比之前 SOTA 方法提升了 1.4 个百分点，包括使用手工设计 iDT 特征的方法。
• 该框架通过完全依赖 Inception 和 ResNet 网络的深度特征，消除了对手工设计特征的需求。
• 通过 PoE 框架整合不确定性估计，使得在各种视频条件下预测更加可靠且校准良好。
• 分布式 GP 架构支持水平可扩展性，可模块化地添加新网络专家，而无需重新训练整个系统。
• 该方法在具有高度质量差异、视角变化和运动复杂性的挑战性视频数据上表现出强大的泛化能力。