[论文解读] TLT-school: a Corpus of Non Native Children Speech

Roberto Gretter, Marco Matassoni+2 more|arXiv (Cornell University)|Jan 22, 2020

Linguistic Studies and Language Acquisition参考文献 31被引用 14

一句话总结

本论文介绍了 TLT-school，这是一个公开可用的非母语儿童语音语料库，收录了意大利学生在2017–2018年于意大利北部学校学习英语和德语时的语音数据。该语料库包含人工转录的口语回应、与CEFR（A1–B1）对齐的人工标注语言水平分数，以及详细的语言学标注，支持在存在噪声、语码混用和儿童语音变异等真实场景下的非母语语音识别与自动第二语言水平评估研究。

ABSTRACT

This paper describes "TLT-school" a corpus of speech utterances collected in schools of northern Italy for assessing the performance of students learning both English and German. The corpus was recorded in the years 2017 and 2018 from students aged between nine and sixteen years, attending primary, middle and high school. All utterances have been scored, in terms of some predefined proficiency indicators, by human experts. In addition, most of utterances recorded in 2017 have been manually transcribed carefully. Guidelines and procedures used for manual transcriptions of utterances will be described in detail, as well as results achieved by means of an automatic speech recognition system developed by us. Part of the corpus is going to be freely distributed to scientific community particularly interested both in non-native speech recognition and automatic assessment of second language proficiency.

研究动机与目标

• 创建一个大规模、公开可用的非母语儿童语音语料库，用于第二语言习得与自动语音评估研究。
• 收集并标注意大利9–16岁学生在学习英语和德语时的口语回应，重点关注语言水平与语音质量。
• 通过提供高质量转录与人工标注的指标，支持自动语音识别（ASR）与自动语言水平评分。
• 应对非母语、面向儿童的语音识别挑战，包括语码混用、背景噪声与自发性语音现象。
• 支持未来端到端自动评分系统的研究，以及针对非母语儿童语音的声学与语言模型改进。

提出的方法

• 数据采集于2017–2018年在意大利北部学校进行的课堂语言水平评估，对象为9–16岁学生。
• 在受控环境中使用固定时长麦克风录制口语回应，捕捉包含停顿、错误开始与中断的自发性语音。
• 对2017年部分录音进行了人工转录，采用标准化转录指南以确保一致性和准确性。
• 由人类专家使用与CEFR对齐的预定义水平指标对每段回应进行标注，包括语法正确性、词汇丰富度、发音、流利度与主题展开。
• 语料库包含口语与书面回应，计划进行标准化处理与匿名化，以去除个人信息或不当内容。
• 开发并评估了一套自动语音识别系统，以检验其在真实世界挑战下的性能表现。

实验结果

研究问题

• RQ1 如何系统性地收集与标注大规模、真实场景下的非母语儿童语音语料，以支持第二语言习得与自动评估研究？
• RQ2 在非母语儿童语音的自动语音识别中，主要挑战是什么，特别是语码混用、背景噪声与自发性语音现象？
• RQ3 人工标注的语言水平指标（与CEFR对齐）在多大程度上可被自动系统可靠预测？
• RQ4 如何通过引入语调、节奏等语调特征，提升对A2与B1水平第二语言学习者的自动评分效果？
• RQ5 如何改进语音采集方法，以减少第二语言产出中的语码混用与负面语言迁移？

主要发现

• TLT-school语料库包含9–16岁意大利学生在学习英语与德语时的口语回应，附有人工转录与与CEFR对齐的语言水平标注（A1、A2、B1）。
• 大量口语数据包含停顿、错误开始与词片段等自发性语音现象，真实反映了第二语言产出特征。
• 在开放式问题回答中，意大利语、英语与德语之间频繁出现语码混用。
• 由于固定时长录音间隔，背景噪声普遍存在，影响ASR性能，需采用鲁棒的建模技术。
• 自动语音识别系统初步结果显示，非母语发音、儿童语音模式与多语言语句显著挑战系统性能。
• 语料库正在准备公开发布，包含标准化转录、匿名化内容，并将评分映射至标准化评分量规（如TOEFL口语评分标准），以支持未来的ASR与自动评分挑战。