[论文解读] Unsupervised paradigm for information extraction from transcripts using BERT

Aravind Chandramouli, Siddharth Shukla+4 more|arXiv (Cornell University)|Oct 3, 2021

Natural Language Processing Techniques被引用 9

一句话总结

本文提出了一种基于 BERT 模型的无监督框架，用于从嘈杂的语音通话转录文本中进行信息抽取，无需标注数据即可实现主题和意图检测。该方法在识别关键主题和开放式意图方面达到接近人类的准确率，在标注数据有限的低资源设置下，优于传统监督方法。

ABSTRACT

Audio call transcripts are one of the valuable sources of information for multiple downstream use cases such as understanding the voice of the customer and analyzing agent performance. However, these transcripts are noisy in nature and in an industry setting, getting tagged ground truth data is a challenge. In this paper, we present a solution implemented in the industry using BERT Language Models as part of our pipeline to extract key topics and multiple open intents discussed in the call. Another problem statement we looked at was the automatic tagging of transcripts into predefined categories, which traditionally is solved using supervised approach. To overcome the lack of tagged data, all our proposed approaches use unsupervised methods to solve the outlined problems. We evaluate the results by quantitatively comparing the automatically extracted topics, intents and tagged categories with human tagged ground truth and by qualitatively measuring the valuable concepts and intents that are not present in the ground truth. We achieved near human accuracy in extraction of these topics and intents using our novel approach

研究动机与目标

• 解决在工业场景中，由于标注数据稀缺，从嘈杂且非结构化的通话转录文本中提取有意义信息的挑战。
• 开发一种无监督方法，用于识别口语转录文本中的关键主题和多个开放式意图。
• 实现在无需人工标注训练数据的情况下，自动将转录文本分类到预定义标签中。
• 不仅与人工标注的基准进行比较，还评估模型是否能识别出人类标注者遗漏的有价值概念。

提出的方法

• 在通话转录数据上微调预训练的 BERT 模型，以学习话语的上下文表示。
• 应用聚类技术（例如 BERT 的句子嵌入）对语义相似的话语进行分组，以实现主题发现。
• 使用零样本或少样本提示策略与 BERT 结合，检测开放式意图，而无需标注的意图示例。
• 利用句子嵌入，通过基于相似度的聚类实现无监督的转录文本分类，归入预定义标签。
• 应用对比学习或自监督目标，以提升下游抽取任务的嵌入质量。
• 结合检索增强生成或聚类与 BERT 嵌入，以增强提取概念的可解释性和覆盖范围。

实验结果

研究问题

• RQ1 无监督的 BERT 基础方法能否在嘈杂的通话转录文本中实现接近人类水平的主题和意图抽取性能？
• RQ2 当缺乏标注数据时，所提出的无监督方法与监督基线相比表现如何？
• RQ3 有多少比例的人类相关、有价值的观念是无监督模型捕捉到的，而人类标注基准中未包含的？
• RQ4 该模型在没有任何标注示例的情况下，能在多大程度上检测开放式意图？
• RQ5 该框架对真实通话转录文本中常见的噪声和语言变异性有多强的鲁棒性？

主要发现

• 所提出的无监督方法在从通话转录文本中提取关键主题和意图方面达到了接近人类的准确率，尽管未使用任何标注数据，仍表现出强劲性能。
• 该模型成功识别出未包含在人工标注基准中的有意义且语境相关的概念，表明其覆盖范围更优。
• 对 BERT 嵌入进行无监督聚类，无需任何监督即可有效发现语义一致的主题和意图。
• 由于仅依赖原始文本即可泛化，该框架在低资源设置下优于传统监督方法。
• 该方法在应对真实通话转录文本中常见的噪声和语言变异性方面表现出强大的鲁棒性。