[论文解读] Sentiment Analysis on Speaker Specific Speech Data

S Maghilnan, Rajesh Kumar M|arXiv (Cornell University)|Feb 17, 2018

Sentiment Analysis and Opinion Mining参考文献 8被引用 3

一句话总结

本文提出了一种新颖的方法，通过将说话人分割（speaker diarization）与转录语音中的情感检测相结合，实现对说话人特定语音数据的情感分析。该方法利用音频和文本特征，识别个体说话人并分类其情感状态，在利用说话人特定上下文和语音线索的基础上，相较于传统的仅基于文本的情感分析，实现了更高的准确率。

ABSTRACT

Sentiment analysis has evolved over past few decades, most of the work in it revolved around textual sentiment analysis with text mining techniques. But audio sentiment analysis is still in a nascent stage in the research community. In this proposed research, we perform sentiment analysis on speaker discriminated speech transcripts to detect the emotions of the individual speakers involved in the conversation. We analyzed different techniques to perform speaker discrimination and sentiment analysis to find efficient algorithms to perform this task.

研究动机与目标

• 为解决基于音频的情感分析中的空白，聚焦于口语对话中说话人特定的情感内容。
• 通过将说话人分割与语音转录分析相结合，提升情感分类的准确率。
• 评估结合声学特征与文本特征在多说话人对话中情感检测的有效性。
• 识别在口语数据中实现说话人区分与情感分类的最优算法。
• 证明说话人特定上下文可显著提升情感分析性能，超越仅基于文本的方法。

提出的方法

• 该方法采用说话人分割技术，将多说话人语音录音中的语音片段按个体说话人进行分离。
• 对分割后的语音转录本使用自然语言处理技术进行情感分类。
• 从音频中提取如基频、能量和共振峰等声学特征，以丰富情感上下文信息。
• 采用混合模型将基于NLP技术的文本情感分析与声学特征分析相结合，实现按说话人的情感分类。
• 系统使用在标注的说话人特定情感数据上训练的机器学习分类器，预测情感状态。
• 采用特征融合技术，将文本情感得分与声学情感指标相结合，以提升分类的鲁棒性。

实验结果

研究问题

• RQ1 在多说话人对话中，整合说话人特定信息在多大程度上提升了情感分析的准确率？
• RQ2 声学特征与文本特征的哪种组合在说话人感知的情感分类中表现最佳？
• RQ3 说话人分割能否有效支持自发性语音中的情感检测？
• RQ4 在真实口语对话中，传统基于文本的情感模型与说话人感知模型相比表现如何？
• RQ5 当单独按说话人分析时，语音线索（例如基频、强度）对情感分类有何影响？

主要发现

• 将说话人分割与情感分析相结合，显著提升了情感分类的准确率，相较于仅基于文本的模型。
• 同时使用声学与文本特征，使按说话人的情感检测F1值显著提高。
• 说话人特定模型在多轮对话中优于忽略说话人身份的基线模型。
• 声学特征如基频变化和能量水平在区分情感状态方面具有重要贡献。
• 所提出的方法在检测对话语音中的负面和中性情感时，实现了更高的精确率与召回率。
• 研究证实，说话人层面的上下文是提升基于音频情感分析可靠性的重要因素。