[论文解读] Viterbi Algorithm Generalized for n-Tape Best-Path Search

André Kempe|arXiv (Cornell University)|Dec 7, 2006

Algorithms and Data Compression参考文献 20被引用 5

一句话总结

本文将维特比算法推广至在n条带加权有限状态机（n-WFSM）中高效计算接受给定n元组输入字符串的最小或最大权重路径。通过将维特比算法的动态规划方法扩展以同时处理多个输入字符串，该方法在最坏情况下的时间复杂度为O(|s|ⁿ|E|log|s|ⁿ|Q|)，比标准的交集-最短路径方法更高效，显著提升了n元转换任务的性能。

ABSTRACT

We present a generalization of the Viterbi algorithm for identifying the path with minimal (resp. maximal) weight in a n-tape weighted finite-state machine (n-WFSM), that accepts a given n-tuple of input strings (s_1,... s_n). It also allows us to compile the best transduction of a given input n-tuple by a weighted (n+m)-WFSM (transducer) with n input and m output tapes. Our algorithm has a worst-case time complexity of O(|s|^n |E| log (|s|^n |Q|)), where n and |s| are the number and average length of the strings in the n-tuple, and |Q| and |E| the number of states and transitions in the n-WFSM, respectively. A straight forward alternative, consisting in intersection followed by classical shortest-distance search, operates in O(|s|^n (|E|+|Q|) log (|s|^n |Q|)) time.

研究动机与目标

• 解决在n条带加权有限状态机（n-WFSM）中寻找接受给定n元组输入字符串的最优（最小或最大权重）路径的问题。
• 通过(n+m)条带加权转换器同时处理n个输入和m个输出，实现对给定输入n元组的最佳转换的高效编译。
• 克服标准方法中涉及与单路径n-WFSM进行交集运算后使用经典最短路径算法所带来的高计算成本。
• 将原始专用于隐马尔可夫模型中单输入序列的经典维特比算法推广至n-WFSM中处理n元组输入字符串。

提出的方法

• 将维特比算法的动态规划框架扩展，以维护表示n个输入字符串中所有可能位置组合的状态集合。
• 在每一步中，通过考虑来自先前状态的所有传入转换，计算到达每个状态的最佳（最小或最大权重）路径，并使用优先队列（斐波那契堆）高效选择最佳前驱。
• 维护一个类似于网格的结构，其中每个节点对应一个状态和n个输入字符串中位置元组(i₁, ..., iₙ)，路径权重通过半环运算累积。
• 使用优先队列管理活动状态和转换，确保在每个阶段仅保留每个状态-位置组合的最佳路径，从而减少冗余计算。
• 直接在n-WFSM上应用该算法，避免了首先构建与单路径输入机的交集自动机的需要。
• 由于优先队列操作引入对数因子，通过使用斐波那契堆进行优化，实现了所述时间复杂度。

实验结果

研究问题

• RQ1 维特比算法能否被推广以高效地在n-WFSM中找到接受给定n元组输入字符串的最优路径，而非仅单个输入字符串？
• RQ2 与标准的交集-最短路径方法相比，该推广算法的时间复杂度如何？
• RQ3 在实践中，该方法是否优于经典替代方案，特别是在多条带转换任务中？
• RQ4 该算法的性能如何随输入条带数量和输入字符串长度的变化而扩展？

主要发现

• 所提出的广义维特比算法在最坏情况下的时间复杂度为O(|s|ⁿ|E|log|s|ⁿ|Q|)，比标准的交集-Dijkstra方法（复杂度为O(|s|ⁿ(|E|+|Q|)log|s|ⁿ|Q|)）在渐近意义上更优。
• 该算法通过直接在n条带结构上传播最佳路径，避免了昂贵的交集自动机构建过程，从而降低了时间和空间开销。
• 在词对齐任务（n=2）上的实证结果表明，时间复杂度略高于O(|s|²)，证实了理论上的缩放行为，并验证了该方法的实际效率。
• 该方法通过在n个输入条带上识别最优路径并提取相应的m个输出条带，实现了(n+m)条带加权转换器中的高效最佳路径转换。
• 在优先队列管理中使用斐波那契堆确保了对数时间操作，有助于实现最优的渐近时间复杂度。
• 该算法适用于以n-WFSM编码的任意有理n元关系，因此在自然语言处理、词素分析以及类似数据库的字符串关系处理中具有广泛适用性。