[论文解读] Revealing the Invisible with Model and Data Shrinking for Composite-database Micro-expression Recognition

Zhaoqiang Xia, Wei Peng+3 more|arXiv (Cornell University)|Jun 17, 2020

Anomaly Detection Techniques and Applications参考文献 44被引用 6

一句话总结

本文提出一种无参模块的循环卷积网络（RCN），包括宽扩张、残差连接和注意力单元，通过同时降低模型与输入数据复杂度，提升复合数据库中的微表情识别性能。该方法在MEGC2019数据集上优于最先进方法，通过降低学习复杂度与自动神经架构搜索策略，实现了对域偏移的更强鲁棒性。

ABSTRACT

Composite-database micro-expression recognition is attracting increasing attention as it is more practical to real-world applications. Though the composite database provides more sample diversity for learning good representation models, the important subtle dynamics are prone to disappearing in the domain shift such that the models greatly degrade their performance, especially for deep models. In this paper, we analyze the influence of learning complexity, including the input complexity and model complexity, and discover that the lower-resolution input data and shallower-architecture model are helpful to ease the degradation of deep models in composite-database task. Based on this, we propose a recurrent convolutional network (RCN) to explore the shallower-architecture and lower-resolution input data, shrinking model and input complexities simultaneously. Furthermore, we develop three parameter-free modules (i.e., wide expansion, shortcut connection and attention unit) to integrate with RCN without increasing any learnable parameters. These three modules can enhance the representation ability in various perspectives while preserving not-very-deep architecture for lower-resolution data. Besides, three modules can further be combined by an automatic strategy (a neural architecture search strategy) and the searched architecture becomes more robust. Extensive experiments on MEGC2019 dataset (composited of existing SMIC, CASME II and SAMM datasets) have verified the influence of learning complexity and shown that RCNs with three modules and the searched combination outperform the state-of-the-art approaches.

研究动机与目标

• 解决深度模型在复合数据库微表情识别中因域偏移导致的性能下降问题。
• 研究学习复杂度（特别是输入分辨率与模型深度）对复合数据集表征学习的影响。
• 设计一种轻量化、浅层结构的循环卷积网络（RCN），在降低过拟合风险的同时保持强表征能力。
• 引入三种无参模块（宽扩张、残差连接、注意力单元），在不增加参数量的前提下增强特征学习。
• 设计一种神经架构搜索（NAS）策略，自动发现最优模块组合，以提升鲁棒性与性能。

提出的方法

• 提出一种深度更浅、输入分辨率更低的循环卷积网络（RCN），以最小化模型与数据复杂度。
• 集成三种无参模块：宽扩张用于提升每层的感受野，残差连接用于稳定循环层的训练，注意力单元用于聚焦于与微表情相关的面部区域。
• 设计一种可微神经架构搜索（NAS）策略，探索三种模块的最佳组合，从候选架构中选择性能最优者。
• 在MEGC2019数据集上端到端训练与评估RCN及其变体，该数据集将SMIC、CASME II与SAMM数据集整合为单一复合基准。
• 采用不同分辨率的光流图表示（fs=60, 100, 200, 300），分析在输入复杂度降低条件下的计算效率与模型鲁棒性。
• 进行消融研究，验证各模块的贡献以及NAS优化架构的有效性。

实验结果

研究问题

• RQ1 降低输入分辨率与模型深度对复合数据库微表情识别中深度模型性能有何影响？
• RQ2 无参模块（宽扩张、残差连接、注意力单元）在不增加模型参数的前提下，能在多大程度上改善表征学习？
• RQ3 神经架构搜索策略能否有效识别这些模块的最优组合，以提升鲁棒性与准确率？
• RQ4 所提出的RCN在复杂度降低条件下，与MEGC2019复合数据库基准上的最先进方法相比表现如何？
• RQ5 域偏移对多数据集MER中深度模型有何影响？所提方法如何缓解此问题？

主要发现

• 低分辨率输入数据与浅层网络架构显著降低了复合数据库微表情识别中由域偏移引起的性能下降。
• 所提出的RCN结合无参模块在MEGC2019数据集上的准确率高于STSTNet、OFF-ApexNet与Dual-Inception，展现出更强鲁棒性。
• 注意力单元通过聚焦于与微表情相关的面部区域，减少无关面部动态的干扰，从而提升性能。
• NAS优化的架构（RCN-F）优于所有其他变体与最先进方法，证实了自动模块组合的有效性。
• 计算时间随光流图分辨率提高与参数量增加而上升，验证了数据与模型压缩可提升训练效率。
• 可视化结果表明，模型能正确识别多样本与表情（如惊讶、负面、正面）中的微表情，但当注意力被错误引导时会出现失败。