[论文解读] Recursive Chaining of Reversible Image-to-image Translators For Face Aging

Ari Heljakka, Arno Solin+1 more|arXiv (Cornell University)|Feb 14, 2018

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 8

一句话总结

本文提出了一种基于可逆生成对抗网络（GAN）的图像到图像翻译器的递归链式框架，用于在无配对训练数据的情况下建模多个年龄阶段的渐进式人脸衰老。通过在连续的年龄转换中重用已优化的变换器（例如，将25→35岁的变换器重新应用于35→45岁），实现了模型压缩，且性能损失极小，从而实现了准确、可解释且视觉逼真的衰老模拟，平均年龄估计误差低于4.5%。

ABSTRACT

This paper addresses the modeling and simulation of progressive changes over time, such as human face aging. By treating the age phases as a sequence of image domains, we construct a chain of transformers that map images from one age domain to the next. Leveraging recent adversarial image translation methods, our approach requires no training samples of the same individual at different ages. Here, the model must be flexible enough to translate a child face to a young adult, and all the way through the adulthood to old age. We find that some transformers in the chain can be recursively applied on their own output to cover multiple phases, compressing the chain. The structure of the chain also unearths information about the underlying physical process. We demonstrate the performance of our method with precise and intuitive metrics, and visually match with the face aging state-of-the-art.

研究动机与目标

• 将渐进式人脸衰老建模为在离散年龄域之间进行的一系列图像到图像的转换。
• 消除对同一人在不同年龄下成对训练数据的需求。
• 通过在多个年龄转换中递归应用训练好的变换器，实现模型链的压缩。
• 通过分析链中可重用变换器的特性，揭示可解释的发育模式。
• 通过迁移学习和辅助年龄估计，实现高保真度的人脸衰老，且性能下降最小。

提出的方法

• 构建一系列基于可逆GAN的图像到图像翻译器链，每个翻译器负责映射相邻年龄域之间（例如，25→35岁）的转换。
• 使用无配对图像到图像翻译方法，结合循环一致性GAN，学习在无配对数据下的可逆映射。
• 引入辅助人脸年龄估计器，用于评估变换器性能并指导链压缩的元训练。
• 在多个转换中重用性能最佳的变换器（例如，25→35岁）以压缩完整的转换链。
• 利用生成器的可逆性，隐式保留身份信息，无需显式的身份正则化。
• 采用元训练方案，对选定的变换器在多个转换上重新训练，实现递归重用，且精度下降最小。

实验结果

研究问题

• RQ1 基于可逆GAN的翻译器链能否在无配对的多个年龄域之间建模渐进式人脸衰老？
• RQ2 单个变换器在多个转换中递归应用，能在多大程度上压缩完整的转换链？
• RQ3 使用辅助年龄估计器在多大程度上提升了变换器在链中的选择性和可重用性？
• RQ4 链的结构能否揭示人脸衰老中可解释的、高层次的发育模式？
• RQ5 通过递归变换器重用压缩链，对年龄估计准确率的性能影响如何？

主要发现

• 链压缩后，验证集上的平均年龄估计误差低于4.5%（最大误差为3.2年）。
• 压缩导致的性能下降可忽略不计，各年龄组的年龄估计误差标准差在2.4至5.6之间。
• 单一变换器（如25→35岁）可成功用于多个转换（如35→45岁），显著减少了所需模型的数量。
• 辅助年龄估计器始终反映训练进展，且无需反向传播即可有效选择可重用的变换器。
• 视觉结果在真实感和阶段间差异性方面达到或超过当前最先进的人脸衰老方法。
• 递归链结构揭示了系统性且可解释的发育模式，例如皱纹的形成，即使变化细微亦可识别。