[论文解读] PureGaze: Purifying Gaze Feature for Generalizable Gaze Estimation

Yihua Cheng, Yiwei Bao+1 more|arXiv (Cornell University)|Mar 24, 2021

Gaze Tracking and Assistive Technology被引用 6

一句话总结

PureGaze 提出了一种即插即用的域泛化框架，用于视线估计，通过自对抗训练方案消除光照和身份等与视线无关的因素，从而净化视线特征。通过同时优化视线保留和面部图像重建，该方法在无需目标域数据的情况下实现了最先进的跨域性能，显著提升了在未见数据集上的泛化能力。

ABSTRACT

Gaze estimation methods learn eye gaze from facial features. However, among rich information in the facial image, real gaze-relevant features only correspond to subtle changes in eye region, while other gaze-irrelevant features like illumination, personal appearance and even facial expression may affect the learning in an unexpected way. This is a major reason why existing methods show significant performance degradation in cross-domain/dataset evaluation. In this paper, we tackle the cross-domain problem in gaze estimation. Different from common domain adaption methods, we propose a domain generalization method to improve the cross-domain performance without touching target samples. The domain generalization is realized by gaze feature purification. We eliminate gaze-irrelevant factors such as illumination and identity to improve the cross-domain performance. We design a plug-and-play self-adversarial framework for the gaze feature purification. The framework enhances not only our baseline but also existing gaze estimation methods directly and significantly. To the best of our knowledge, we are the first to propose domain generalization methods in gaze estimation. Our method achieves not only state-of-the-art performance among typical gaze estimation methods but also competitive results among domain adaption methods. The code is released in https://github.com/yihuacheng/PureGaze.

研究动机与目标

• 为解决视线估计模型在跨域设置下因光照和身份等域偏移因素导致的性能下降问题。
• 开发一种域泛化方法，提升模型鲁棒性，且无需访问目标域数据或标签。
• 设计一个即插即用模块，通过消除与视线无关的视觉因素，净化与视线相关特征，从而增强现有视线估计模型。
• 通过隐式方式净化视线特征，无需显式定义所有与视线无关的属性，从而实现在多样化环境中的更好泛化能力。

提出的方法

• 该方法采用包含两个竞争目标的自对抗框架：保留与视线相关的特征，以及重建原始面部图像。
• 视线保留任务通过在特征图上添加两层MLP的标准视线估计头实现。
• 重建任务通过对抗自编码器实现，从净化后的特征图重建输入图像。
• SA-Module（自对抗模块）是一个包含五层残差块的结构，其特征图通道数逐渐减少，旨在输出与输入分辨率一致的空间对齐特征图。
• 整体损失函数结合了视线估计损失和重建损失，超参数设置为 α=1, β=1, k=0.75，同时注意力图方差 σ²=20 像素。
• 该框架为即插即用设计，可无缝集成到任何现有的视线估计主干网络（如 ResNet-18）中，无需修改网络架构。

实验结果

研究问题

• RQ1 视线估计模型是否能在不访问目标域数据的情况下，实现对未见域的改进泛化？
• RQ2 自对抗框架在去除光照和身份等与视线无关因素方面，是否能有效净化视线特征？
• RQ3 特征净化是否能在极端光照条件和多样化数据集中带来可测量的性能提升？
• RQ4 所提出的即插即用模块是否能在不修改网络架构的前提下增强现有视线估计方法？
• RQ5 在跨数据集评估中，该方法的性能与标准视线估计方法及域自适应基线相比如何？

主要发现

• PureGaze 在多个基准测试中实现了最先进性能，优于标准视线估计方法和域自适应基线方法。
• 该方法在极端光照条件下显著提升了性能，在低光照和高光照簇中均观察到明显增益。
• 可视化结果证实，该方法成功从特征空间中消除了光照和身份相关因素，同时保留了与视线相关的信息。
• 即插即用的 SA-Module 能够直接且一致地增强现有视线估计模型，展现出广泛的兼容性和有效性。
• 消融实验表明，采用双目标的自对抗训练方案所学习到的特征比单任务基线更具泛化能力。
• 该方法在无需微调或目标域数据的情况下，仍能在多样化数据集中保持强性能，充分验证了其域泛化能力。