[论文解读] Unsupervised Language Acquisition

Carl G. de Marcken|ArXiv.org|Nov 12, 1996

Algorithms and Data Compression参考文献 114被引用 129

一句话总结

本文提出了一种无监督语言习得的计算理论，将语言学习建模为对随机生成语法的统计推断。通过使用语言参数的组合表示和基于内容的学习算法，将语法内容与表示形式分离，该方法在从未分割的语音和文本中学习词典、随机语法和语义映射方面实现了高准确率，其结果与人工标注的语言结构高度匹配，且监督程度极低。

ABSTRACT

This thesis presents a computational theory of unsupervised language acquisition, precisely defining procedures for learning language from ordinary spoken or written utterances, with no explicit help from a teacher. The theory is based heavily on concepts borrowed from machine learning and statistical estimation. In particular, learning takes place by fitting a stochastic, generative model of language to the evidence. Much of the thesis is devoted to explaining conditions that must hold for this general learning strategy to arrive at linguistically desirable grammars. The thesis introduces a variety of technical innovations, among them a common representation for evidence and grammars, and a learning strategy that separates the ``content'' of linguistic parameters from their representation. Algorithms based on it suffer from few of the search problems that have plagued other computational approaches to language acquisition. The theory has been tested on problems of learning vocabularies and grammars from unsegmented text and continuous speech, and mappings between sound and representations of meaning. It performs extremely well on various objective criteria, acquiring knowledge that causes it to assign almost exactly the same structure to utterances as humans do. This work has application to data compression, language modeling, speech recognition, machine translation, information retrieval, and other tasks that rely on either structural or stochastic descriptions of language.

研究动机与目标

• 开发一种基于原则的无监督计算模型，以解释儿童如何从未分割、未标注的输入中习得语言，且无需显式反馈。
• 最小化对学习环境的假设，特别是避免依赖语义知识或标注数据。
• 设计一种学习机制，通过将观察到的语言证据拟合到随机生成模型中，推断语法结构。
• 仅利用统计规律，从连续语音和文本中学习词典、语法和语义表征。
• 构建一个框架，通过基于描述长度的学习准则，在语言合理性与统计最优性之间取得平衡。

提出的方法

• 采用组合表示方法，其中话语和语法参数均由更简单的元素组合而成，支持多尺度模式捕捉。
• 使用随机生成语言模型，目标是找到使观察到的输入在统计上具有典型性的语法。
• 引入一种学习策略，通过操纵语法参数的“内容”而非其显式表示形式，避免在搜索空间中陷入局部最优。
• 应用最小描述长度（MDL）原则，平衡模型复杂度与数据拟合程度，偏好能良好压缩输入的语法。
• 对语义表征应用扰动算子以探索语言结构，支持对组合性与非组合性模式的学习。
• 实现多轮遍历输入数据的算法，基于统计似然性和描述长度优化语法参数。

实验结果

研究问题

• RQ1 学习者如何在没有任何显式监督的情况下，从未分割、未标注的语音或文本中习得语法结构？
• RQ2 何种条件需满足，才能使统计学习过程收敛到语言上合理的语法？
• RQ3 能否仅通过输入频率和分布模式，学习到同时捕捉音系、词汇和句法规律的语法？
• RQ4 如何设计语言参数的表征，以支持在多个语言尺度上的高效学习与泛化？
• RQ5 在仅使用无监督学习的情况下，能在多大程度上从未对齐或平行的文本数据中推断语义表征？

主要发现

• 该模型成功从未分割的文本中学习到词典和随机语法，其性能在客观指标上接近人工标注的语言结构。
• 即使缺乏显式语义监督，该学习算法在声音与语义表征之间映射方面也实现了高准确率。
• 组合参数表示使模型能够同时捕捉多个层次的语言抽象模式。
• 基于内容的学习策略通过将语法内容与语法形式解耦，避免了语法归纳中的常见搜索问题。
• 该框架支持从连续语音信号中学习，初步结果表明其在实际语音识别词典获取方面具有潜力。
• 该模型对输入噪声和参数不明确的情况表现出鲁棒性，支持在真实世界条件下实现无监督习得的可行性。