[论文解读] Segmentation of Expository Texts by Hierarchical Agglomerative Clustering

Yaakov Yaari|arXiv (Cornell University)|Sep 26, 1997

Natural Language Processing Techniques参考文献 20被引用 81

一句话总结

本文提出了一种基于段落间词汇相似性的分层聚合聚类（HAC）方法，用于说明性文本的分割，采用词项向量余弦相似度作为相似性度量。该方法在与人工标注边界对比时，实现了87%的精确率和78%的召回率，优于TextTiling方法，并生成了分层结构，支持超越线性分割的智能文本探索。

ABSTRACT

We propose a method for segmentation of expository texts based on hierarchical agglomerative clustering. The method uses paragraphs as the basic segments for identifying hierarchical discourse structure in the text, applying lexical similarity between them as the proximity test. Linear segmentation can be induced from the identified structure through application of two simple rules. However the hierarchy can be used also for intelligent exploration of the text. The proposed segmentation algorithm is evaluated against an accepted linear segmentation method and shows comparable results.

研究动机与目标

• 开发一种无需依赖复杂语言特征的方法，以发现自由说明性文本中的分层话语结构。
• 评估仅通过词项向量相似度测量的词汇连贯性是否能有效识别话语边界。
• 证明分层聚类相比仅线性分割，能提供更丰富的结构信息。
• 将所提出的基于HAC的分割方法与TextTiling等现有方法及人工标注边界进行比较。
• 探索所得分层结构在诸如目录生成和智能文本浏览等任务中的实用性。

提出的方法

• 将段落视为聚类的基本单元，使用TF-IDF加权词项向量之间的余弦距离计算词汇相似性。
• 采用单链接合并策略应用分层聚合聚类，从单个段落开始，迭代合并最相似的段落对。
• 通过识别树状图中的“凹陷”（notch）和“悬崖”（cliff）结构进行边界检测，其中凹陷表示相邻聚类间相似性显著下降。
• 通过两条简单规则从层次结构中推导出线性分割：(1) 在凹陷处设置边界；(2) 若聚类为叶节点或摘要设置，则在悬崖处设置边界。
• 在构建词项向量前，使用词形分析对词语进行归一化，以减少噪声。
• 相似性测试基于词汇相似性，未来可扩展至概念向量或提示短语分析。

实验结果

研究问题

• RQ1 通过词项向量相似度测量的词汇连贯性，能否可靠识别说明性文本中的话语边界？
• RQ2 分层聚合聚类是否能产生比TextTiling等线性分割方法更丰富的结构信息？
• RQ3 基于HAC的分割方法在多大程度上与人工标注的话语边界一致？
• RQ4 分层结构能否支持如目录生成等高级文本探索任务？
• RQ5 不同结构模式（如设置段和总结段）在聚类层次结构中如何表现？

主要发现

• 与人工标注边界对比，基于HAC的分割方法实现了87%的精确率和78%的召回率，优于TextTiling的69%精确率和56%召回率。
• 该算法成功识别出如嵌套段落结构等分层结构，例如{17–18}是{14–18}的子部分，反映出主题关联性。
• 在段落过渡处观察到凹陷边界，表现为词汇连贯性显著下降，如在《Stargazers》文本中第3–4段和第18–19段之间。
• 在主要段落结束处检测到悬崖边界，如第18段之后，表明存在总结或结论段落。
• 在非连贯的“Genetics”文本中，该方法正确识别出主文章结束和独立子文章开始的位置，表现为第13、22、31、35和49段处的深层凹陷。
• 分层结构支持更丰富的文本探索，如推断主题分组和潜在章节标题，这是线性方法无法提供的。