[论文解读] The Unsupervised Acquisition of a Lexicon from Continuous Speech

Carl de Marcken|ArXiv.org|Dec 13, 1995

Natural Language Processing Techniques参考文献 31被引用 61

一句话总结

本文提出一种无监督算法，通过最小描述长度（MDL）框架，直接从原始连续语音中获取自然语言词典。通过建模语音的发音特征并应用分层递归压缩，该系统在无需先验知识或标注数据的情况下，学习到具有语言学意义的词汇、切分结果和语言模型——在TIMIT、Brown和CHILDES数据集上表现出色。

ABSTRACT

We present an unsupervised learning algorithm that acquires a natural-language lexicon from raw speech. The algorithm is based on the optimal encoding of symbol sequences in an MDL framework, and uses a hierarchical representation of language that overcomes many of the problems that have stymied previous grammar-induction procedures. The forward mapping from symbol sequences to the speech stream is modeled using features based on articulatory gestures. We present results on the acquisition of lexicons and language models from raw speech, text, and phonetic transcripts, and demonstrate that our algorithm compares very favorably to other reported results with respect to segmentation performance and statistical efficiency.

研究动机与目标

• 开发一种无监督学习算法，从原始连续语音中获取词典，无需先验语言知识或切分提示。
• 通过使用分层表示以克服先前语法归纳方法的局限性，从而促进语言学上合理的结构。
• 证明通过MDL实现的最优压缩可作为发现词汇和语言结构的合理基础。
• 展示该算法能够从多种输入类型（包括原始语音、文本和音标转录）中学习，并保持一致的性能表现。
• 通过首先建立稳健的词汇和语言模型学习，为无监督获取句法和语义奠定基础。

提出的方法

• 使用最小描述长度（MDL）框架，通过优化语音与词典的联合压缩，偏好紧凑且信息丰富的表示。
• 将语音表示为发音特征组的序列，将语音输入与符号化语言结构联系起来。
• 采用分层递归的字典编码方案，其中语言知识以其他语言知识的形式编码。
• 应用一种不依赖搜索历史的搜索策略，减少局部极小值问题，并支持已学习知识的动态重构。
• 通过迭代识别能最小化描述长度的重复模式，实现切分和词典获取。
• 将词边界和多词单位视为压缩过程中自然涌现的产物，允许习语表达作为单一单元被学习。

实验结果

研究问题

• RQ1 系统能否在没有任何先验语言知识或切分提示的情况下，从原始连续语音中学习到词典？
• RQ2 通过MDL实现的最优压缩能否作为发现语音中词汇和句法结构的合理基础？
• RQ3 与平面或非分层模型相比，分层递归压缩方法在捕捉语言学上有意义单位方面的有效性如何？
• RQ4 同一算法能否在文本、音标转录和原始语音上均实现一致的性能表现？
• RQ5 无监督学习的词典和语言模型在统计效率方面，能在多大程度上匹配或超越有监督方法或人工构建的替代方案？

主要发现

• 该算法成功从原始语音中获取了词典和语言模型，证明了监督训练并非核心词汇学习的必要条件。
• 切分性能在定量上表现强劲，并与语言学直觉高度一致，已在TIMIT、Brown和CHILDES数据集上得到验证。
• 所得语言模型展现出高统计效率，在压缩和预测任务中优于其他已报告的结果。
• 系统将多词单位（如'wanna'）作为单一词汇条目学习，比传统词典更真实地反映实际使用情况。
• 分层表示支持组合性与习语性表达，适用于机器翻译和语音识别任务。
• 这是首篇报道中直接从原始语音无先验知识学习词汇的工作，标志着无监督语言习得迈出了重要一步。