[论文解读] Tracing a Loose Wordhood for Chinese Input Method Engine

Xihu Zhang, Wei Chu+1 more|arXiv (Cornell University)|Dec 12, 2017

Natural Language Processing Techniques参考文献 27被引用 9

一句话总结

本文提出一种在线词汇获取模型（OMWA），该模型无需依赖固定词典即可动态学习中文输入法引擎中的词汇概率。通过利用用户输入选择结果实时迭代更新词汇概率，OMWA在未见领域语料上的表现与Google输入法等商业输入法相当，展现出对多样化输入风格的强大适应能力。

ABSTRACT

Chinese input methods are used to convert pinyin sequence or other Latin encoding systems into Chinese character sentences. For more effective pinyin-to-character conversion, typical Input Method Engines (IMEs) rely on a predefined vocabulary that demands manually maintenance on schedule. For the purpose of removing the inconvenient vocabulary setting, this work focuses on automatic wordhood acquisition by fully considering that Chinese inputting is a free human-computer interaction procedure. Instead of strictly defining words, a loose word likelihood is introduced for measuring how likely a character sequence can be a user-recognized word with respect to using IME. Then an online algorithm is proposed to adjust the word likelihood or generate new words by comparing user true choice for inputting and the algorithm prediction. The experimental results show that the proposed solution can agilely adapt to diverse typings and demonstrate performance approaching highly-optimized IME with fixed vocabulary.

研究动机与目标

• 为解决中文输入法引擎中手动维护词典所面临的成本高、灵活性差的问题。
• 将词汇性（wordhood）不视为严格的语言学定义，而视为用户在交互输入过程中可识别的、依赖上下文的概念。
• 开发一种在线学习算法，根据用户选择反馈实时调整词汇概率。
• 通过学习真实用户输入行为而非依赖静态语言模型，提升输入法的效率与适应性。
• 证明一种简单、在线学习的方法可在未见领域数据上达到甚至超越商业输入法的性能。

提出的方法

• 引入一种‘宽松词汇概率’度量，用于量化在输入过程中某一字符序列被用户识别为词汇的可能性。
• 采用在线学习算法，每次输入后利用用户选择反馈增量式更新词汇概率。
• 对所有n-gram（已知或未知）采用线性更新策略，无需预定义词典，从而实现动态词汇发现。
• 以基于三元语法的语言模型作为基线进行对比，OMWA通过用户交互学习不断优化预测结果。
• 在真实用户输入语料（如《人民日报》、TouchPal）上进行训练，并通过在测试集上的top-1和top-10准确率评估性能。
• 通过在领域边界后快速学习新输入模式，实现对语料分布变化的适应，而静态模型则表现不佳。

实验结果

研究问题

• RQ1 一种动态的、基于用户反馈的模型是否能在不依赖固定手动维护词典的前提下，学习中文输入法中的词汇概率？
• RQ2 在线词汇获取模型与Google输入法等商业输入法相比，尤其在未见领域数据上的性能如何？
• RQ3 在线学习方法在多大程度上能适应用户输入行为和输入风格随时间的变化？
• RQ4 当在不同文本领域间切换时（如新闻文章与非正式移动输入），该模型是否能保持鲁棒性？
• RQ5 即使缺乏显式的语言学监督，这种在线学习机制是否仍能发现语言上有效的词汇？

主要发现

• 在《人民日报》语料上，OMWA的top-1准确率达到64.41%，在TouchPal语料上达到57.12%，均优于离线三元语法基线模型。
• 在TouchPal语料上，OMWA的top-10准确率达到80.95%，超过Google IME在相同数据上的69.34%。
• OMWA在领域分布变化下表现出更强的鲁棒性：在领域边界后能快速适应新语料，而离线三元语法模型在未见领域段落中表现较差。
• 模型成功学习到高概率词汇如‘中国’（China）和‘发展’（develop），这些词汇在标准现代汉语中具有语言学有效性且高频出现。
• 尽管未采用商业级优化，OMWA在陌生语料上仍表现出与Google IME相当的竞争力，表明其具备强大的泛化能力与适应性。
• 随着学习积累，模型性能持续提升，在每次领域转换后能更快适应新输入模式。