[论文解读] Regression with Conditional GAN

Karan Aggarwal, Matthieu Kirchmeyer+3 more|arXiv (Cornell University)|Jan 1, 2019

Gaussian Processes and Bayesian Inference参考文献 6被引用 5

一句话总结

本文探讨了条件生成对抗网络（CGAN）在小维输出回归任务中的应用，提出了一种通过引入输入噪声来更好地反映现实世界不确定性的隐式概率模型。尽管CGAN展现出潜力，但研究发现传统方法如混合密度网络（MDN）和XGBoost在似然和平均绝对误差方面分别优于CGAN，表明CGAN在回归任务中的训练稳定性和建模效率方面仍需进一步创新。

ABSTRACT

In recent years, impressive progress has been made in the design of implicit probabilistic models via Generative Adversarial Networks (GAN) and its extension, the Conditional GAN (CGAN). Excellent solutions have been demonstrated mostly in image processing applications which involve large, continuous output spaces. There is almost no application of these powerful tools to problems having small dimensional output spaces. Regression problems involving the inductive learning of a map, $y=f(x,z)$, $z$ denoting noise, $f:\mathbb{R}^n imes \mathbb{R}^k ightarrow \mathbb{R}^m$, with $m$ small (e.g., $m=1$ or just a few) is one good case in point. The standard approach to solve regression problems is to probabilistically model the output $y$ as the sum of a mean function $m(x)$ and a noise term $z$; it is also usual to take the noise to be a Gaussian. These are done for convenience sake so that the likelihood of observed data is expressible in closed form. In the real world, on the other hand, stochasticity of the output is usually caused by missing or noisy input variables. Such a real world situation is best represented using an implicit model in which an extra noise vector, $z$ is included with $x$ as input. CGAN is naturally suited to design such implicit models. This paper makes the first step in this direction and compares the existing regression methods with CGAN. We notice however, that the existing methods like mixture density networks (MDN) and XGBoost do quite well compared to CGAN in terms of likelihood and mean absolute error, respectively. Both these methods are comparatively easier to train than CGANs. CGANs need more innovation to have a comparable modeling and ease-of-training with respect to the existing regression solvers. In summary, for modeling uncertainty MDNs are better while XGBoost is better for the cases where accurate prediction is more important.

研究动机与目标

• 探究使用条件生成对抗网络（CGAN）解决小维输出空间（如 m=1 或少数输出）回归问题的可行性。
• 比较基于CGAN的回归与MDN和XGBoost等成熟方法在预测性能和训练难易度方面的表现。
• 评估CGAN是否能通过引入输入噪声 z 来有效建模回归中的不确定性，从而反映因输入缺失或噪声导致的真实世界随机性。
• 识别CGAN在回归任务中的局限性，并为未来在训练稳定性与建模精度方面的改进提供方向。

提出的方法

• 本文将回归问题建模为条件生成建模问题：y = f(x, z)，其中 x 为输入，z 为噪声，f 映射 R^n × R^k 到 R^m，且 m 较小。
• 采用CGAN框架，其中生成器学习在输入 x 和噪声 z 条件下生成输出 y，而判别器则用于区分真实与生成的 y 样本。
• 生成器通过对抗训练方式学习生成与真实数据无法区分的输出，从而隐式建模条件分布 p(y|x)。
• 训练目标遵循标准CGAN的极小化极大损失，其中生成器最小化 log(1 - D(G(x,z)))，判别器最大化 log(D(x,y)) + log(1 - D(x,G(x,z)))。
• 该方法在标准回归基准数据集上进行评估，通过似然和平均绝对误差等指标与MDN和XGBoost进行性能比较。
• 该方法将回归视为通过隐式建模实现的密度估计问题，避免了对显式似然表达式的依赖。

实验结果

研究问题

• RQ1 CGAN能否有效建模小维输出空间（如 m=1 或 m=2）的回归任务？
• RQ2 基于CGAN的回归在似然性方面与Mixture Density Networks（MDN）相比表现如何？
• RQ3 基于CGAN的回归在平均绝对误差和预测准确度方面与XGBoost相比表现如何？
• RQ4 在CGAN回归训练中，主要挑战是什么，特别是关于训练稳定性和收敛性方面？
• RQ5 通过将噪声作为输入的一部分进行建模，而非假设固定噪声分布，CGAN是否能更好地捕捉现实世界中的不确定性？

主要发现

• 混合密度网络（MDN）在似然性方面优于CGAN，表明MDN对输出真实条件分布的拟合更好。
• XGBoost在平均绝对误差方面表现更优，表明其在回归任务中更擅长实现精确的点预测。
• CGAN需要更多的训练资源，且训练过程稳定性较差，而MDN和XGBoost则更易训练且收敛更可靠。
• 尽管理论上可通过隐式噪声注入有效建模不确定性，但CGAN在实践中尚未达到现有回归求解器的性能水平。
• 本研究结论认为，CGAN需要在网络架构和训练流程方面进一步创新，才能实现与成熟回归方法相当的建模质量与训练效率。