[论文解读] The Viterbi Algorithm: A Personal History

G. David Forney|ArXiv.org|Apr 6, 2005

Error Correcting Code Techniques参考文献 32被引用 55

一句话总结

本文记述了维特比算法（Viterbi algorithm, VA）的发明、最优性发现以及实际实现的个人经历，该算法最初是为卷积码译码而开发的。它揭示了VA如何从一种理论上次优的方法演变为通信及其他领域中最大似然译码的基础性算法，后来更成为隐马尔可夫模型在语音识别、计算生物学等领域的核心方法。

ABSTRACT

The story of the Viterbi algorithm (VA) is told from a personal perspective. Applications both within and beyond communications are discussed. In brief summary, the VA has proved to be an extremely important algorithm in a surprising variety of fields.

研究动机与目标

• 回顾维特比算法从理论工具演变为实用译码标准的个人与技术发展历程。
• 澄清一个误解：尽管维特比算法最终被广泛采用，但最初曾被认为不切实际。
• 通过个人回忆与技术演进的视角，记录关键洞见——特别是认识到VA是最优最大似然译码器——的过程。
• 强调该算法在通信领域之外的广泛影响，尤其是在语音识别与计算生物学中，作为隐马尔可夫模型译码的标准方法。
• 追溯该算法与动态规划、信念传播及其他推理方法在后续研究者工作中的概念统一。

提出的方法

• 维特比算法最初被构想为一种方法，用于通过递归路径匹配方法证明卷积码误码概率的渐近上界。
• 该算法使用网格图（trellis diagram）表示卷积码中所有可能的状态转移，仅保留每个状态最可能的路径（幸存路径）以降低复杂度。
• 其关键创新在于使用‘幸存路径’——每个时间步长到每个状态的最佳路径——将存储需求从 q^K 降低至 q^K 个状态，从而实现高效译码。
• 该算法后来被识别为网格图中最短路径问题的精确解，等价于在无记忆噪声下有限状态系统的最大似然译码。
• 吉姆·奥穆拉（Jim Omura）正式建立了其与动态规划的联系，将VA描述为一种仅向前递归的最优路径选择算法。
• 1973年的教程论文确立了该算法在隐马尔可夫模型（HMM）中的通用适用性，使其可用于语音识别及其他模式识别任务。

实验结果

研究问题

• RQ1 维特比算法如何从一种理论构造演变为卷积码的实用译码解决方案？
• RQ2 为何维特比算法最初被认为次优且不切实际，尽管其最终在通信领域占据主导地位？
• RQ3 是什么导致人们认识到维特比算法实际上是一种最优最大似然译码器？
• RQ4 该算法的采用如何扩展到通信领域之外，如语音识别与计算生物学？
• RQ5 维特比算法与信念传播、和积算法等其他推理算法在概念上实现了怎样的统一？

主要发现

• 维特比算法最初因存储需求过高而被认为次优且不切实际，尽管其于1967年提出。
• 通过认识到该算法解决了网格图中的最短路径问题，该算法被后来确认为最优最大似然译码器，作者于1967年的技术报告中首次给出正式证明。
• 杰里·赫勒（Jerry Heller）在1968–1969年于喷气推进实验室（JPL）的仿真结果证明了其实际可行性，仅用64状态码即实现了6 dB的编码增益。
• 维特比算法成为空间通信与话音带宽通信系统中卷积码译码的标准，优于序列译码与代数译码方法。
• 该算法推广至隐马尔可夫模型后，在语音识别与计算生物学中得到广泛应用，1973年的教程论文成为作者被引用最多的著作（734次引用）。
• 维特比算法后来被确认等价于基于图的译码中的最小和算法（min-sum algorithm），但其仅向前处理的特性使其在实时系统中比双向算法更具实用性。