[论文解读] Residual Multiplicative Filter Networks for Multiscale Reconstruction

Shayan Shekarforoush, David B. Lindell+2 more|arXiv (Cornell University)|Jun 1, 2022

Advanced Electron Microscopy Techniques and Applications被引用 8

一句话总结

本论文提出残差乘法滤波网络（ResMFNs），一种基于坐标的神经网络架构，其包含跳跃连接和一种新颖的可控制频率初始化方案，能够实现多尺度信号重建中的粗到细优化。该方法在合成数据集上的单颗粒冷冻电镜（cryo-EM）重建中达到最先进性能，分辨率和姿态估计精度与cryoSPARC相当，同时通过保留低频结构实现了分层的多尺度学习。

ABSTRACT

Coordinate networks like Multiplicative Filter Networks (MFNs) and BACON offer some control over the frequency spectrum used to represent continuous signals such as images or 3D volumes. Yet, they are not readily applicable to problems for which coarse-to-fine estimation is required, including various inverse problems in which coarse-to-fine optimization plays a key role in avoiding poor local minima. We introduce a new coordinate network architecture and training scheme that enables coarse-to-fine optimization with fine-grained control over the frequency support of learned reconstructions. This is achieved with two key innovations. First, we incorporate skip connections so that structure at one scale is preserved when fitting finer-scale structure. Second, we propose a novel initialization scheme to provide control over the model frequency spectrum at each stage of optimization. We demonstrate how these modifications enable multiscale optimization for coarse-to-fine fitting to natural images. We then evaluate our model on synthetically generated datasets for the the problem of single-particle cryo-EM reconstruction. We learn high resolution multiscale structures, on par with the state-of-the art.

研究动机与目标

• 为解决冷冻电镜重建等反问题中不良局部极小值的挑战，通过在基于坐标的网络中实现粗到细的优化。
• 在多尺度训练过程中显式控制学习信号表示的频率谱，特别是针对多尺度重建。
• 设计一种训练策略，在拟合更精细尺度细节时保留粗尺度信号结构，避免对低层进行破坏性重训练。
• 在从噪声2D投影中重建大分子复合物的高分辨率3D结构方面，验证所提出架构的有效性。
• 通过定制的初始化方案实现层间频率带解耦，从而在坐标网络中实现高效分层学习。

提出的方法

• 提出ResMFNs，即带跳跃连接的乘法滤波网络（MFNs）变体，可在拟合精细尺度时保留粗尺度信号结构。
• 提出一种新颖的初始化方案，使每层的频率谱中形成分层的间隙，确保可控的重叠，从而实现各层对特定频率带的学习。
• 采用粗到细的训练策略，每个阶段学习一个独立的频率带，从最粗的尺度开始，逐步添加更精细的尺度。
• 利用跳跃连接将早期层中的低频信息与深层的高频细节相结合，保持跨尺度的保真度。
• 通过在合成2D投影上进行训练，将该架构应用于冷冻电镜重建，迭代优化3D结构和姿态参数。
• 使用傅里叶壳相关性（FSC）作为主要指标，评估重建分辨率和与真实3D图的匹配度。

实验结果

研究问题

• RQ1 基于坐标的网络能否在冷冻电镜重建等反问题中有效适应粗到细的优化？
• RQ2 在多尺度训练过程中，如何显式地在神经网络输出中实现频率控制？
• RQ3 跳跃连接能否在拟合更精细尺度细节时防止粗尺度信号保真度的退化？
• RQ4 与标准基线相比，分层初始化方案是否能实现更好的收敛性和3D重建分辨率？
• RQ5 ResMFNs在所有尺度均无完整监督的情况下，能在多大程度上实现冷冻电镜重建的最先进性能？

主要发现

• 所提出的ResMFN架构在两个合成冷冻电镜数据集上达到与cryoSPARC（当前最先进的冷冻电镜方法）相当的重建质量。
• 傅里叶壳相关性（FSC）分析表明，ResMFNs实现了高分辨率重建，其分辨率阈值在两个数据集上均达到或超过cryoSPARC。
• 姿态估计收敛准确，大多数图像与真实值的测地线距离低于几度，表明3D结构和方向的优化具有鲁棒性。
• 当仅在全尺度上训练而无粗到细监督时，网络会陷入局部极小值，证明了所提出的多尺度训练策略的必要性。
• 由于跳跃连接和可控制频率的初始化，该方法成功在各尺度上保持了粗尺度信号的保真度，避免了对低层的破坏性重训练。
• 消融研究证实，跳跃连接与分层初始化的结合对于有效多尺度学习和高分辨率重建至关重要。