[论文解读] PhaseDNN - A Parallel Phase Shift Deep Neural Network for Adaptive Wideband Learning

Wei Cai, Xiaoguang Li+1 more|arXiv (Cornell University)|May 3, 2019

Neural Networks and Applications参考文献 6被引用 6

一句话总结

PhaseDNN 提出了一种并行深度神经网络框架，通过在频域中引入相位偏移，实现对宽带函数中高频分量的均匀自适应学习。通过相位乘法将残差误差转移到较低频段，该框架中的每个 DNN 均能实现快速的低频收敛，从而在所有频带范围内高效逼近复杂、高维的函数。

ABSTRACT

In this paper, we propose a phase shift deep neural network (PhaseDNN) which provides a wideband convergence in approximating a high dimensional function during its training of the network. The PhaseDNN utilizes the fact that many DNN achieves convergence in the low frequency range first, thus, a series of moderately-sized of DNNs are constructed and trained in parallel for ranges of higher frequencies. With the help of phase shifts in the frequency domain, implemented through a simple phase factor multiplication on the training data, each DNN in the series will be trained to approximate the target function's higher frequency content over a specific range. Due to the phase shift, each DNN achieves the speed of convergence as in the low frequency range. As a result, the proposed PhaseDNN system is able to convert wideband frequency learning to low frequency learning, thus allowing a uniform learning to wideband high dimensional functions with frequency adaptive training. Numerical results have demonstrated the capability of PhaseDNN in learning information of a target function from low to high frequency uniformly.

研究动机与目标

• 解决标准 DNN 在学习目标函数高频分量时收敛缓慢的问题。
• 通过利用 F-原理（F-Principle），克服深度学习中频率依赖的收敛瓶颈，即 DNN 优先学习低频分量。
• 开发一种可扩展的并行架构，仅使用原始训练数据配合相位调制，即可实现宽频带内均匀学习。
• 通过重新排序或选择特定频带进行训练，实现频率自适应与空间自适应逼近。
• 与单个大型 DNN 相比，提升高维、宽带函数的训练效率与精度。

提出的方法

• 构建一系列中等规模的 DNN 并行训练，每个 DNN 负责在先前近似后残差误差中的特定频带。
• 通过将残差与复指数因子 $ e^{ ext{--}ioldsymbol{ heta}_j x} $ 相乘，对训练数据施加相位偏移，从而将高频内容有效映射至低频范围。
• 每个 DNN 在相位偏移后的数据上进行训练，将目标函数的高频分量近似为低频分量进行学习。
• 在频域（k 空间）中使用单位分解，将残差误差分解为非重叠的频带，实现针对性学习。
• 利用 F-原理：由于 DNN 对低频内容收敛迅速，相位偏移使得每个 DNN 尽管处理高频内容，仍能实现快速训练。
• 利用向量化计算与并行计算加速训练，卷积步骤约占总训练时间的 20%。

实验结果

研究问题

• RQ1 相位偏移训练数据是否能通过将高频学习任务转化为低频学习任务，使标准 DNN 高效学习高频分量？
• RQ2 在宽带函数逼近任务中，PhaseDNN 框架相较于单个大型 DNN，其收敛速度与精度如何？
• RQ3 通过选择性地在特定频带进行训练，PhaseDNN 在多大程度上可实现频率自适应学习？
• RQ4 在相位偏移数据变换过程中，为防止混叠，对数据密度有何条件限制？
• RQ5 能否通过将 DNN 局部化至输入域的特定区域，将 PhaseDNN 架构扩展以支持空间自适应学习？

主要发现

• PhaseDNN 在全频带范围内的测试误差为 0.06831，显著优于单个大型 DNN，后者在 5000 个周期后仍未收敛，损失值约为 100。
• 整个 PhaseDNN 系统的训练时间为 1790.17 秒（约 29.8 分钟），各 DNN 在 8 个频带区间内并行训练。
• PhaseDNN 框架中的每个 DNN 仅需 10 个训练周期，最快耗时 9.7 秒，最慢为 34.43 秒，表现出一致且快速的收敛性能。
• 该方法成功捕捉了从 $ ext{--}205 $ 到 $ 205 $ 的高频分量，包括 $ ext{--}203 $，测试图中显示了精确的重建效果。
• 卷积步骤（用于计算相位偏移后的训练数据）约占总训练时间的 20%，表明具有出色的计算效率。
• PhaseDNN 支持空间与频率自适应，DNN 可按任意顺序训练，并可根据先验知识或应用需求，针对特定频带或空间区域进行训练。