[论文解读] Multi-Task Learning by Deep Collaboration and Application in Facial Landmark Detection

Ludovic Trottier, Philippe Giguère+1 more|arXiv (Cornell University)|Oct 28, 2017

Face recognition and analysis参考文献 27被引用 11

一句话总结

本文提出 Deep Collaboration，一种用于卷积神经网络多任务学习的新型软参数共享机制，通过非线性侧向连接实现深度特定的特征共享。在面部关键点检测任务上评估，其性能优于 SOTA 方法如 Cross-Stitch 和 MTCNN，在 MTFL 数据集上达到 28.97% 的失败率，消融实验证实了相关任务对深度特定知识的迁移。

ABSTRACT

Convolutional neural networks (CNNs) have become the most successful approach in many vision-related domains. However, they are limited to domains where data is abundant. Recent works have looked at multi-task learning (MTL) to mitigate data scarcity by leveraging domain-specific information from related tasks. In this paper, we present a novel soft-parameter sharing mechanism for CNNs in a MTL setting, which we refer to as Deep Collaboration. We propose taking into account the notion that task relevance depends on depth by using lateral transformation blocs with skip connections. This allows extracting task-specific features at various depth without sacrificing features relevant to all tasks. We show that CNNs connected with our Deep Collaboration obtain better accuracy on facial landmark detection with related tasks. We finally verify that our approach effectively allows knowledge sharing by showing depth-specific influence of tasks that we know are related.

研究动机与目标

• 通过改进多任务学习中相关任务之间的知识迁移，解决深度学习中的数据稀缺问题。
• 克服硬参数共享的局限性，如噪声任务带来的干扰以及对共享特征的过度强调。
• 开发一种软参数共享机制，实现在任务特定特征学习的同时，实现有效、深度感知的知识共享。
• 通过实证验证，所提方法能够实现有意义的、深度特定的相关任务影响。
• 与现有 MTL 方法相比，展示在面部关键点检测任务上的优越性能。

提出的方法

• 提出一种可微分的协作模块，使用两种非线性变换：一种用于将任务特定特征聚合为全局特征，另一种用于将它们重新合并回任务特定的 CNN。
• 引入带有跳跃连接的侧向连接，实现在多个深度上的特征交换，实现任务的深度特定相关性。
• 采用软参数共享框架，每个任务拥有独立的 CNN，但通过协作模块而非共享层实现知识共享。
• 将协作模块作为即插即用的模块集成到现有 CNN 架构中，包括 MTCNN，无需对网络结构进行大规模修改。
• 采用类似残差结构的非线性变换，以捕捉任务之间的复杂非线性依赖关系。
• 通过消融实验测量相关任务对特征图的深度特定影响，验证该方法。

实验结果

研究问题

• RQ1 具有非线性、深度特定连接的软参数共享机制是否能提升面部关键点检测中的多任务学习性能？
• RQ2 所提出的 Deep Collaboration 机制是否能实现从相关任务到主任务的有效知识迁移？
• RQ3 在所提框架中，相关任务的影响如何随网络深度变化？
• RQ4 协作模块是否能在面部关键点检测中超越现有 MTL 方法（如 Cross-Stitch 和 MTCNN）？
• RQ5 知识共享机制是否对训练过程中任务贡献的随机变化具有鲁棒性？

主要发现

• 所提出的 Deep Collaboration 网络在 MTFL 数据集上达到 28.97% 的失败率，优于标准 MTCNN 的 37.85% 失败率。
• 关键点检测的平均误差降低至 0.0930，相比标准 MTCNN 的 0.0996 显著改善。
• 网络未能检测到人脸 79 次，而标准 MTCNN 为 112 次，表明检测鲁棒性得到提升。
• 消融实验确认，相关任务在特定深度影响了特征，其中 Block 5 的影响最大，该层输出高层抽象特征（如人脸朝向）。
• 结果表明，协作模块实现了有效的、深度特定的知识迁移，尤其在人脸旋转等高层因素方面，这些因素对关键点预测至关重要。
• 该方法对任务贡献的随机变化表现出鲁棒性，验证了知识共享机制的稳定性。