[论文解读] NeuralFDR: Learning Discovery Thresholds from Hypothesis Features

Fei Xia, Martin Jinye Zhang+2 more|arXiv (Cornell University)|Nov 3, 2017

Gene expression and cancer classification参考文献 14被引用 10

一句话总结

NeuralFDR 提出了一种基于深度学习的方法，通过多维假设特征在多重检验中学习发现阈值，使用神经网络自适应地设定 p 值截断点。该方法以高概率控制错误发现率（FDR），并在合成数据和真实数据集上显著提升发现数量，优于当前最先进方法。

ABSTRACT

As datasets grow richer, an important challenge is to leverage the full features in the data to maximize the number of useful discoveries while controlling for false positives. We address this problem in the context of multiple hypotheses testing, where for each hypothesis, we observe a p-value along with a set of features specific to that hypothesis. For example, in genetic association studies, each hypothesis tests the correlation between a variant and the trait. We have a rich set of features for each variant (e.g. its location, conservation, epigenetics etc.) which could inform how likely the variant is to have a true association. However popular testing approaches, such as Benjamini-Hochberg's procedure (BH) and independent hypothesis weighting (IHW), either ignore these features or assume that the features are categorical or uni-variate. We propose a new algorithm, NeuralFDR, which automatically learns a discovery threshold as a function of all the hypothesis features. We parametrize the discovery threshold as a neural network, which enables flexible handling of multi-dimensional discrete and continuous features as well as efficient end-to-end optimization. We prove that NeuralFDR has strong false discovery rate (FDR) guarantees, and show that it makes substantially more discoveries in synthetic and real datasets. Moreover, we demonstrate that the learned discovery threshold is directly interpretable.

研究动机与目标

• 解决传统多重检验方法忽略与每个假设相关联的丰富多维特征的局限性。
• 开发一种灵活的端到端方法，学习将假设特征映射到发现阈值的非线性决策规则。
• 在独立性和弱依赖性假设下，即使面对复杂、连续或离散的特征，也能实现强 FDR 控制。
• 实现可解释的发现阈值，以传达生物学或领域特定的洞察。
• 在保持 FDR 控制的前提下，优于现有方法（如 Benjamini-Hochberg 和 IHW）的发现率。

提出的方法

• 将发现阈值参数化为多层感知机（MLP），将假设特征映射到 p 值截断点。
• 使用镜像技术在训练过程中稳健估计错误发现数，以提升 FDR 控制效果。
• 通过梯度下降端到端优化神经网络，并采用权重裁剪以确保稳定性。
• 利用理论保证证明在独立性和弱依赖性下 FDR 控制成立，且具有渐近有效性。
• 使用基于 k-簇的近似方法初始化网络，该方法源自 p 值与特征联合密度的最优阈值推导。
• 将学习问题形式化为极大极小优化问题，以在约束所有可能的零假设比例配置下的 FDP 的前提下，最大化发现能力。

实验结果

研究问题

• RQ1 神经网络能否有效学习非线性、依赖特征的发现阈值，从而在发现能力上超越恒定阈值方法？
• RQ2 在存在连续和多维假设特征的情况下，所提出的 NeuralFDR 方法是否能保持强 FDR 控制？
• RQ3 在真实数据和合成数据上，NeuralFDR 与 IHW 和 Benjamini-Hochberg 在发现率和 FDR 控制方面相比如何？
• RQ4 所学习的阈值函数是否具有可解释性，能够揭示底层数据结构或生物学机制的洞察？
• RQ5 哪些架构选择（如 MLP 深度）和训练策略（如权重裁剪、镜像技术）对 FDR 控制和性能最为有效？

主要发现

• NeuralFDR 在合成数据和真实数据集上均显著提升了发现数量，尤其在备择假设比例较高时表现更优，优于 BH 和 IHW。
• 该方法在独立性假设下以高概率保持强 FDR 控制，并在弱依赖性假设下渐近成立，理论已证明。
• 所学习的发现阈值具有直接可解释性，模型输出揭示了特征空间中的有意义模式，例如保守性或位置如何影响显著性。
• 实践中发现 10 层 MLP 表现最佳，而浅层网络效果较差，表明深度对捕捉复杂信号至关重要。
• 镜像技术使训练过程中对错误发现的估计更加稳健，有助于实现稳定的 FDR 控制。
• 最优阈值满足恒定似然比条件：$ f_{P\bf{X}}(1,\bf{x}) / f_{P\bf{X}}(t^*(\bf{x}),\bf{x}) = \text{const} $ 几乎必然成立，该条件指导了学习过程。