[论文解读] Towards Olfactory Information Extraction from Text: A Case Study on Detecting Smell Experiences in Novels

Ryan Brate, Paul Groth+1 more|arXiv (Cornell University)|Nov 17, 2020

Olfactory and Sensory Function Studies被引用 6

一句话总结

本文提出了一种半监督的基于模式的方法，用于检测英文文学文本中的嗅觉体验，通过使用语言特征（形容词/名词、动词/名词）进行迭代自举，以改进基于关键词的方法。组合后的模式集在高精度下显著提高了召回率，证明了从文学作品中自动提取嗅觉信息的可行性。

ABSTRACT

Environmental factors determine the smells we perceive, but societal factors factors shape the importance, sentiment and biases we give to them. Descriptions of smells in text, or as we call them `smell experiences', offer a window into these factors, but they must first be identified. To the best of our knowledge, no tool exists to extract references to smell experiences from text. In this paper, we present two variations on a semi-supervised approach to identify smell experiences in English literature. The combined set of patterns from both implementations offer significantly better performance than a keyword-based baseline.

研究动机与目标

• 为解决文本数据中缺乏识别嗅觉体验的工具，特别是英文文学文本中的问题。
• 为研究用途创建一个经过标注的英文文学文本嗅觉体验黄金标准数据集。
• 开发并评估一种半监督的模式学习方法，用于检测文本中的嗅觉引用。
• 探讨结合不同语言特征对（例如，形容词/名词与动词/名词）是否能提升检测性能。
• 评估使用迭代自举方法提取如嗅觉体验等细微感官表达的可行性。

提出的方法

• 作者从 Project Gutenberg 收集了 139 篇英文文学文本，构建了一个标注有嗅觉体验的数据集。
• 使用 spaCy 进行词性标注和依存句法分析，使用 NLTK 进行分词。
• 实施了两种半监督自举方法：一种使用形容词和名词作为特征对，另一种使用动词和名词作为特征对。
• 利用 20 篇文本的验证集，通过与黄金标准对比评估精确率和召回率，迭代优化模式集。
• 将最终的模式集进行合并，并与基于关键词的基线方法通过精确率-召回率曲线进行比较。
• 该方法依赖于语言上下文和共现模式，而非仅依赖词汇查找，从而能够检测隐喻性或明喻性的嗅觉引用。

实验结果

研究问题

• RQ1 半监督的模式学习能否有效检测文学文本中的嗅觉体验？
• RQ2 结合多个语言特征对（例如，形容词/名词与动词/名词）是否能提升检测性能？
• RQ3 基于模式的方法在召回率和精确率方面是否优于简单的基于关键词的基线方法？
• RQ4 不同种子词和验证阈值对提取模式的质量和数量有何影响？
• RQ5 人工标注的嗅觉体验在不同标注者之间的一致性如何，这对模型评估有何影响？

主要发现

• 两种方法（形容词/名词与动词/名词）的组合模式集在高精度水平下，显著优于基于关键词的基线方法的召回率（p < 0.05）。
• 在所有阈值下，形容词/名词方法在精确率和召回率方面均持续优于动词/名词方法。
• 两种方法针对的是互补的嗅觉表达集合，表明不同的语言特征捕捉了不同类型的嗅觉引用。
• 提取的模式数量迅速增长，但收益递减，表明由于低语义关联词的引入，模式发现效率较低。
• 研究发现，许多与嗅觉相关的术语也出现在非嗅觉语境中，增加了检测难度并降低了提取质量。
• 结果表明，使用多个共现特征（例如，两个语言特征同时使用）可能提高嗅觉体验检测的特异性。