[论文解读] Transfer Deep Learning for Low-Resource Chinese Word Segmentation with a Novel Neural Network

Jingjing Xu, Xu Sun|arXiv (Cornell University)|Feb 15, 2017

Natural Language Processing Techniques参考文献 26被引用 3

一句话总结

该论文提出了一种基于教师-学生神经网络的迁移学习框架，以提升低资源中文分词性能。通过在高资源数据上预训练教师模型，并以该模型的权重初始化学生模型，再结合加权数据相似性方法适应低资源数据集，该方法在PKU和CTB数据集上分别取得了96.1%和96.2%的SOTA F值，较先前方法分别提升了2.3%和1.5%。

ABSTRACT

Recent studies have shown effectiveness in using neural networks for Chinese word segmentation. However, these models rely on large-scale data and are less effective for low-resource datasets because of insufficient training data. We propose a transfer learning method to improve low-resource word segmentation by leveraging high-resource corpora. First, we train a teacher model on high-resource corpora and then use the learned knowledge to initialize a student model. Second, a weighted data similarity method is proposed to train the student model on low-resource data. Experiment results show that our work significantly improves the performance on low-resource datasets: 2.3% and 1.5% F-score on PKU and CTB datasets. Furthermore, this paper achieves state-of-the-art results: 96.1%, and 96.2% F-score on PKU and CTB datasets.

研究动机与目标

• 解决因标注训练数据不足导致低资源数据集上中文分词性能不佳的问题。
• 利用高资源语料（如MSR）提升模型在低资源数据集（如PKU和CTB）上的泛化能力。
• 开发一种迁移学习框架，将预训练教师模型的知识迁移至学生模型，以减少对随机初始化的依赖。
• 引入加权数据相似性方法，以缓解高资源与低资源语料在学生模型训练过程中的分布偏移问题。
• 通过小批量异步并行（MAP）学习加速训练，同时不损失模型性能。

提出的方法

• 使用新颖的统一全局-局部神经网络架构，在高资源语料（如MSR）上训练教师模型。
• 以教师模型训练后的权重初始化学生模型，提供优于随机初始化的起点。
• 利用精确率和召回率计算每个高资源样本与低资源数据集之间的加权数据相似性，以确定相关性。
• 根据误差率 $ e^t = 1 - \frac{2p^t r^t}{p^t + r^t} $ 和更新率 $ a^t = \frac{1}{2} \log \frac{1 - e^t}{e^t} $ 自适应地调整每个样本的学习率。
• 应用小批量异步并行（MAP）学习以加速训练，相比串行训练将训练时间减少了近5倍。
• 采用统一的全局-局部神经网络结构，结合双向LSTM与门控递归网络，以增强特征提取能力。

实验结果

研究问题

• RQ1 从高资源语料进行迁移学习是否能显著提升低资源数据集上的中文分词性能？
• RQ2 在知识迁移过程中，如何缓解高资源与低资源语料之间的分布偏移？
• RQ3 基于数据相似性的自适应学习率调度是否能提升低资源数据上的模型收敛速度与性能？
• RQ4 小批量异步并行学习是否可有效应用于神经网络分词任务，以加速训练且不造成性能下降？
• RQ5 所提方法在PKU和CTB等低资源基准数据集上相较于现有SOTA模型的性能优势有多大？

主要发现

• 所提方法在PKU数据集上取得96.1%的SOTA F值，在CTB数据集上取得96.2%的SOTA F值，优于先前的神经网络模型。
• 在低资源数据集上，与先前SOTA方法相比，该方法在PKU上提升了2.3个百分点的F值，在CTB上提升了1.5个百分点的F值。
• 当从MSR语料迁移知识时，教师-学生框架使PKU上的F值提升1.0个百分点，CTB上提升0.5个百分点。
• 加权数据相似性方法有效缓解了分布偏移，实现了从高资源到低资源数据的更优知识迁移。
• 小批量异步并行学习使训练速度相比串行训练提升了近5倍，同时保持了相同的F值性能。
• 与基线Bi-LSTM模型相比，该模型在PKU上将错误率降低了34.3%，在CTB上降低了26.3%，展现出在低资源数据上的强大泛化能力。