[论文解读] Soft edit distance for differentiable comparison of symbolic sequences

Evgenii Ofitserov, В. Я. Цветков+1 more|arXiv (Cornell University)|Apr 29, 2019

Algorithms and Data Compression参考文献 10被引用 4

一句话总结

本文提出了软编辑距离（Soft Edit Distance, SED），一种可微分、平滑的 Levenshtein 编辑距离近似方法，支持对符号序列进行基于梯度的优化。通过将序列表示为连续的编码矩阵，并应用带有温度参数 τ 的 softmin 操作，SED 支持高效的反向传播和通过递推关系实现的多项式时间计算，从而在生物信息学和自然语言处理中实现有效的序列聚类与一致性序列搜索。

ABSTRACT

Edit distance, also known as Levenshtein distance, is an essential way to compare two strings that proved to be particularly useful in the analysis of genetic sequences and natural language processing. However, edit distance is a discrete function that is known to be hard to optimize. This fact hampers the use of this metric in Machine Learning. Even as simple algorithm as K-means fails to cluster a set of sequences using edit distance if they are of variable length and abundance. In this paper we propose a novel metric - soft edit distance (SED), which is a smooth approximation of edit distance. It is differentiable and therefore it is possible to optimize it with gradient methods. Similar to original edit distance, SED as well as its derivatives can be calculated with recurrent formulas at polynomial time. We prove usefulness of the proposed metric on synthetic datasets and clustering of biological sequences.

研究动机与目标

• 解决由于非可微性导致在机器学习中优化离散编辑距离的挑战。
• 为可变长度符号序列的序列聚类和中心点计算提供基于梯度的优化方法。
• 开发一种连续、可微分的度量方法，近似编辑距离，同时保持其可解释性和计算效率。
• 通过用可微分替代品替代离散编辑距离，使标准机器学习算法（如 K-means）能够应用于序列数据。
• 提供一种可扩展的解决方案，用于生物信息学和自然语言处理中的大规模序列分析，克服传统动态规划在大规模数据上的局限性。

提出的方法

• 将符号序列表示为形状为 L×|G| 的连续 one-hot 编码矩阵，其中每一行为字母表 G 上的 softmax 概率向量。
• 通过在所有可能的编辑路径上使用 softmin 操作定义软编辑距离（SED），并按编辑代价的负指数加权，缩放温度参数 τ。
• 使用动态规划状态上的递推关系公式化 SED 及其梯度，类似于经典编辑距离但具备可微性。
• 引入辅助变量 αi,j 和 βi,j 以递归计算 SED 及其导数，从而实现通过序列比较过程的反向传播。
• 使用温度 τ < 0 控制最小操作的平滑度，当 τ → −∞ 时可恢复原始编辑距离。
• 通过编辑操作（匹配、插入、删除、替换）的加权和推导出 SED 及其梯度的闭式递推关系，实现多项式时间计算。

实验结果

研究问题

• RQ1 能否构建一种可微分的编辑距离近似方法，同时保留原始度量的可解释性和结构？
• RQ2 这种可微分度量能否实现对序列聚类和一致性序列检测的有效基于梯度的优化？
• RQ3 所提出的软编辑距离是否在保持可微性的同时，计算效率可与经典编辑距离相媲美？
• RQ4 在合成数据和真实生物序列聚类任务中，软编辑距离与标准编辑距离相比表现如何？
• RQ5 软编辑距离能否用于通过基于梯度的优化高效计算序列空间中的中心点？

主要发现

• 所提出的软编辑距离（SED）是 Levenshtein 编辑距离的平滑、可微分近似，支持在序列空间中进行基于梯度的优化。
• SED 及其梯度可通过动态规划状态上的递推关系在多项式时间内计算，类似于经典编辑距离。
• 该方法使基于梯度的算法（如 K-means）能够有效聚类可变长度的符号序列，而这些算法在使用离散编辑距离时会失效。
• 带有温度 τ 的 softmin 操作提供了离散最小值的连续松弛，使反向传播能够通过编辑路径选择过程。
• 在合成序列和生物序列上的实证评估表明，SED 支持准确的一致性序列检测与聚类，在优化稳定性方面优于非可微分替代方法。
• αi,j 和 βi,j 的递推关系使 SED 及其导数能够高效计算，使该方法在生物信息学和自然语言处理的大规模序列分析中具备可扩展性。