[论文解读] Rethinking Performance Measures of RNA Secondary Structure Problems

Frederic Runge, Jörg K. H. Franke+2 more|arXiv (Cornell University)|Dec 4, 2023

RNA and protein synthesis mechanisms被引用 4

一句话总结

本文提出使用Weisfeiler-Lehman（WL）图核作为评估RNA二级结构预测的更优替代指标，相较于F1分数和MCC等传统度量方法更具优势。与无法捕捉动态或假结RNA结构相似性的混淆矩阵类度量不同，WL通过基于图的相似性计算，能准确反映生物相关性，在RNA设计任务中表现出更高的评估保真度和实用性，并带来可测量的性能提升。

ABSTRACT

Accurate RNA secondary structure prediction is vital for understanding cellular regulation and disease mechanisms. Deep learning (DL) methods have surpassed traditional algorithms by predicting complex features like pseudoknots and multi-interacting base pairs. However, traditional distance measures can hardly deal with such tertiary interactions and the currently used evaluation measures (F1 score, MCC) have limitations. We propose the Weisfeiler-Lehman graph kernel (WL) as an alternative metric. Embracing graph-based metrics like WL enables fair and accurate evaluation of RNA structure prediction algorithms. Further, WL provides informative guidance, as demonstrated in an RNA design experiment.

研究动机与目标

• 为解决传统评估度量（如F1分数和MCC）在衡量RNA二级结构相似性时的局限性，特别是针对假结和多重组配碱基对等复杂特征。
• 证明基于混淆矩阵的度量可能产生误导性结果，例如在生物上相似的结构间被赋予零分或负分。
• 引入Weisfeiler-Lehman（WL）图核作为更具生物学意义的度量方法，以捕捉RNA结构中的结构和序列层面的相似性。
• 评估WL在实际应用中的实用性，特别是在指导基于学习的RNA设计算法方面。
• 探索使用可微分的WL代理模型，以实现深度学习模型在RNA结构预测中的端到端训练。

提出的方法

• 将RNA二级结构表示为无向图，其中核苷酸为节点，碱基对为边，从而支持基于图的分析。
• 应用Weisfeiler-Lehman（WL）图核，通过迭代聚合邻域信息来细化节点标签，以计算结构相似性。
• 将WL核得分用作连续且信息丰富的度量指标，用于比较预测结构与真实结构，替代二值化的混淆矩阵类度量。
• 将WL集成到libLEARNA RNA设计算法的评估循环中，取代汉明距离，以指导进化搜索。
• 训练基于图神经网络（GNN）的代理模型以近似WL距离，从而在深度学习训练过程中实现可微分的引导。
• 在双稳态RNA、突变体滑移模拟和序列突变情景下开展受控实验，将WL与F1、F1-shift和MCC进行比较。

Figure 1: Bi-stable RNA 20mer. The F1 score and MCC when comparing both folds is $0.0$ and $-0.026$ , respectively. The Weisfeiler-Lehman graph kernel provides a score of $0.25$ .

实验结果

研究问题

• RQ1 传统评估度量（如F1分数和MCC）能否可靠地衡量生物上相似的RNA二级结构之间的相似性，尤其是在涉及结构动态性或假结的情况下？
• RQ2 Weisfeiler-Lehman图核是否能比基于混淆矩阵的度量提供更准确、更具生物学意义的RNA二级结构相似性度量？
• RQ3 WL是否能通过在优化过程中提供更优的指导，从而提升基于学习的RNA设计算法的性能？
• RQ4 与现有度量相比，WL对生物上相关的结构变化（如碱基对位置移动、突变体滑移和序列突变）的响应如何？
• RQ5 基于GNN的WL代理模型在多大程度上能够实现深度学习模型在RNA结构预测中的可微分训练？

主要发现

• 在双稳态RNA 20聚体上，F1分数和MCC分别给出0.0和-0.026的评分，尽管两种构象具有完全相同的碱基配对模式，显示出其误导性。
• WL核正确识别了结构相似性，对双稳态RNA 20聚体的评分为0.25，证明其能够捕捉到具有生物意义的相似性。
• 在碱基对位置发生移动时，WL评分呈渐进下降（一次移动为0.519，两次移动为0.469），而F1和F1-shift则骤降至零，表明WL对结构变化具有更高的敏感性。
• 在突变体滑移模拟中，WL的相似性随滑移距离增加而逐渐降低，而F1-shift评分始终保持在1.0，表明其无法区分结构差异。
• WL能有效捕捉序列层面的变化，其评分随突变数量成比例下降，而F1、MCC和F1-shift均不具备此能力。
• 当用于指导libLEARNA RNA设计算法时，基于WL的评估（libLEARNA-WL）相比基于汉明距离的评估表现出更优性能，证明了其实际应用价值。

Figure 2: Example of structural shift. (Left) We show a 5SrRNA of Drosophila melanogaster (Middle) The same structure shifted by one position. (Right) The same structure shifted by two positions.