[论文解读] Recurrent Kernel Networks

Dexiong Chen, Laurent Jacob+1 more|arXiv (Cornell University)|Jun 7, 2019

Machine Learning in Bioinformatics被引用 10

一句话总结

本文提出循环核网络（RKNs），一种新型循环神经网络架构，通过引入对间隙敏感的基序匹配机制，将卷积核网络推广至连续松弛的子串核，实现了对生物序列中插入/缺失的建模。通过将Nyström方法嵌入RNN结构中，RKNs支持端到端反向传播训练或无监督核近似，实现了在蛋白质分类任务上的最先进性能，尤其在检测远距离同源关系方面表现优异。

ABSTRACT

Substring kernels are classical tools for representing biological sequences or text. However, when large amounts of annotated data are available, models that allow end-to-end training such as neural networks are often preferred. Links between recurrent neural networks (RNNs) and substring kernels have recently been drawn, by formally showing that RNNs with specific activation functions were points in a reproducing kernel Hilbert space (RKHS). In this paper, we revisit this link by generalizing convolutional kernel networks---originally related to a relaxation of the mismatch kernel---to model gaps in sequences. It results in a new type of recurrent neural network which can be trained end-to-end with backpropagation, or without supervision by using kernel approximation techniques. We experimentally show that our approach is well suited to biological sequences, where it outperforms existing methods for protein classification tasks.

研究动机与目标

• 为解决传统核方法在处理低序列相似性情况下的生物序列间隙问题，提出改进方案。
• 通过将卷积核网络推广至支持有间隙的基序匹配，弥合核方法与深度学习之间的鸿沟。
• 构建一种循环架构，通过再生核希尔伯特空间（RKHS）中的核近似，同时支持监督与无监督学习。
• 通过松弛子串核对插入与缺失进行建模，提升蛋白质分类性能，尤其在检测远距离同源关系方面。
• 在无限维RKHS中提供理论基础坚实且可解释的特征选择机制，通过可学习基序实现。

提出的方法

• 通过引入连续松弛机制，将错配核推广，允许在对齐位置实现非精确匹配，从而对序列基序中的间隙进行建模。
• 将核计算形式化为动态规划问题，并以循环神经网络（RNN）结构实现。
• 采用Nyström方法对无限维核映射进行近似，将其投影至有限维子空间，以实现高效学习。
• RNN结构通过在RKHS中动态聚合输入序列与可学习基序滤波器之间的相似性，计算序列表征。
• 采用一种受[28]启发的新技术，在RKHS中模拟最大池化操作，解决了理论核公式与实际神经网络层之间的不一致问题。
• 模型支持通过反向传播进行监督训练，以及通过无标签数据近似核映射实现无监督预训练。

实验结果

研究问题

• RQ1 能否从子串核的连续松弛中推导出一种显式建模生物序列中间隙的循环神经网络架构？
• RQ2 在蛋白质分类任务中，引入对间隙敏感的基序匹配机制相比标准核方法或神经网络基线，性能提升程度如何？
• RQ3 通过Nyström方法实现的无监督核近似，在无标签数据下能否有效训练RKNs？
• RQ4 在序列表征学习中，RKHS中的最大池化是否相比平均池化具有更好的泛化性能？
• RQ5 RKNs在检测蛋白质折叠分类中的远距离同源关系方面，是否能超越现有模型？

主要发现

• 在SCOP 2.06折叠分类基准上，RKNs使用512个滤波器，auROC达到0.871，auROC50达到0.629，优于CKN-seq及其他基线模型。
• 采用最大池化结构的模型（RKN max）在SCOP 2.06上达到84.4%的top-1准确率，显著优于相同参数量下的CKN-seq（84.11%）。
• 采用无监督预训练的RKNs达到80.5%的top-1准确率，证明了无标签条件下核近似方法的有效性。
• 引入间隙建模使折叠分类的top-1准确率提升1.5%，尤其在检测远距离同源关系方面优势明显。
• 在RKHS中使用最大池化始终优于平均池化，在多个基准上top-10准确率提升1.5%–2%。
• LA-kernel（采用BLOSUM62与最大池化）在SCOP 1.67上实现0.834 auROC与0.504 auROC50，优于错配核与GPkernel基线。