[论文解读] Prosody Modifications for Question-Answering in Voice-Only Settings

Aleksandr Chuklin, Aliaksei Severyn+4 more|arXiv (Cornell University)|Jun 11, 2018

Speech and dialogue systems参考文献 26被引用 7

一句话总结

本文提出通过语调调整——如音高提升、语速减慢和策略性停顿——来提升纯语音问答系统中答案的理解度。通过众包评估，研究发现通过语调强调答案关键部分能显著提高信息量和正确性，尤其当答案关键部分靠近句末时，结合语速减慢与音高提升的策略效果最佳。

ABSTRACT

Many popular form factors of digital assistants---such as Amazon Echo, Apple Homepod, or Google Home---enable the user to hold a conversation with these systems based only on the speech modality. The lack of a screen presents unique challenges. To satisfy the information need of a user, the presentation of the answer needs to be optimized for such voice-only interactions. In this paper, we propose a task of evaluating the usefulness of audio transformations (i.e., prosodic modifications) for voice-only question answering. We introduce a crowdsourcing setup where we evaluate the quality of our proposed modifications along multiple dimensions corresponding to the informativeness, naturalness, and ability of the user to identify key parts of the answer. We offer a set of prosodic modifications that highlight potentially important parts of the answer using various acoustic cues. Our experiments show that some of these prosodic modifications lead to better comprehension at the expense of only slightly degraded naturalness of the audio.

研究动机与目标

• 解决在无视觉提示（如加粗）的纯语音数字助理交互中有效呈现答案的挑战。
• 探究语调调整如何提升音频仅问答系统中用户对答案的理解与识别能力。
• 开发并验证一种可扩展的众包方法，用于评估语调特征对信息量、自然度和正确性的影响。
• 识别不同类型的答案在何种语调技术下受益最大，特别是基于答案在句子中的位置。

提出的方法

• 设计一项众包实验，让人工评分者聆听经过不同语调调整的音频响应，并从多个维度进行评估。
• 对来自 IBM 和 Google TTS 引擎的合成语音响应应用语调调整，包括停顿、语速降低、音高提升以及强调。
• 采用受控实验设置，评分者需提取关键答案部分，并对响应的信息量、正确性、自然度和感知努力程度进行评分。
• 使用统计检验（如配对 t 检验）分析结果，评估调整后响应与基线响应之间的差异是否具有显著性。
• 按答案长度、关键部分距句末位置以及 TTS 引擎分类分析结果，以识别语境依赖的效能差异。
• 使用条形图可视化信息量与正确性分布的变化，对比基线与调整后响应。

实验结果

研究问题

• RQ1 RQ1：我们能否通过众包量化语调调整在纯语音问答中的实用价值？
• RQ2 RQ2：语调调整技术对响应的信息量和感知自然度有何影响？
• RQ3 RQ3：哪类答案最受益于哪种语调调整技术？

主要发现

• 强调调整——特别是结合语速降低与音高提升——在 Google TTS 引擎上实现了信息量（+1.23，p<0.01）和正确性（+0.35，p<0.01）的最高统计显著提升。
• 语速降低显著提升了短句答案的信息量与正确性（p<0.05），尤其在 IBM TTS 引擎上表现更佳。
• 停顿在答案关键部分靠近句末时，显著提升了正确性（p<0.01）并降低了感知努力程度。
• 对于关键部分靠近句末的“简单”答案，Google TTS 引擎结合语速与强调调整后，正确性与信息量的提升最为显著。
• 多种语调特征的组合（如语速 + 音高 + 停顿）优于单一特征调整，表明在突出关键内容时存在协同效应。
• 尽管理解度有所提升，语调调整导致感知自然度略有下降，尤其是人工引入的停顿，但这一负面影响被任务性能的提升所抵消。