[论文解读] Users and Assessors in the Context of INEX: Are Relevance Dimensions Relevant?

Jovan Pehcevski, James A. Thom+1 more|arXiv (Cornell University)|Jul 28, 2005

Information Retrieval and Search Behavior参考文献 17被引用 12

一句话总结

本文研究了INEX XML检索评估中使用的相关性维度，发现全面性（Exhaustivity）与特异性（Specificity）并非正交，用户将其感知为单一维度。作者基于评估员与用户的实证一致性，提出了一种简化的四点相关性量表——非相关、正合适、过宽、过窄，该量表在端点处一致性最高，表明其在XML检索评估中更具直观性和有效性。

ABSTRACT

The main aspects of XML retrieval are identified by analysing and comparing the following two behaviours: the behaviour of the assessor when judging the relevance of returned document components; and the behaviour of users when interacting with components of XML documents. We argue that the two INEX relevance dimensions, Exhaustivity and Specificity, are not orthogonal dimensions; indeed, an empirical analysis of each dimension reveals that the grades of the two dimensions are correlated to each other. By analysing the level of agreement between the assessor and the users, we aim at identifying the best units of retrieval. The results of our analysis show that the highest level of agreement is on highly relevant and on non-relevant document components, suggesting that only the end points of the INEX 10-point relevance scale are perceived in the same way by both the assessor and the users. We propose a new definition of relevance for XML retrieval and argue that its corresponding relevance scale would be a better choice for INEX.

研究动机与目标

• 分析评估员与用户在XML检索中对相关性的感知，特别是INEX相关性维度中的全面性与特异性。
• 研究INEX所用的10分相关性量表是否准确反映了用户与评估员的感知。
• 识别评估员与用户在相关性量表上达成一致的最高点。
• 提出一种新的、简化的相关性定义与量表，使其更符合XML检索中用户与评估员的行为。
• 评估该新相关性定义在未来的INEX评估流程（包括自动化评估工具）中应用的可行性。

提出的方法

• 对INEX 2004的相关性判断进行实证分析，比较评估员评分与用户反馈在CO（仅内容）主题上的表现。
• 使用INEX的两个维度——全面性与特异性——各四个等级进行分类，并合并为10分量表。
• 分析用户在两类主题（背景与对比）中的行为，以评估相关性感知的一致性。
• 识别评估员与用户之间达成最高一致性的点，重点关注10分量表的端点（非相关与高度相关）。
• 基于INEX等级的实证映射，提出一种新的四点相关性量表：非相关、正合适、过宽、过窄。
• 评估新相关性定义与INEX 2005中提出的自动化评估方法（如元素高亮与自动特异性计算）的兼容性。

实验结果

研究问题

• RQ1 INEX的两个相关性维度——全面性与特异性——是否被用户与评估员视为独立？
• RQ2 评估员与用户在INEX所用10分相关性量表上的共识程度如何？
• RQ3 INEX 10分相关性量表的哪些点上，评估员与用户达成最高一致？
• RQ4 是否可以使用简化后的四点相关性量表更好地反映用户与评估员在XML检索评估中的感知？
• RQ5 新相关性定义与INEX中新兴的自动化评估技术是否兼容？

主要发现

• INEX的两个相关性维度——全面性与特异性——并非正交；用户将其感知为单一维度，其等级之间存在强烈相关性。
• 评估员与用户在10分相关性量表的端点处达成最高一致：非相关与高度相关（正合适）。
• 10分量表的中间点，特别是E2S2、E2S1、E1S2与E1S1，感知不一致且一致性较低，表明其可用性差。
• 用户无法容忍冗余或重叠的信息，其相关性判断在相关组件之间重叠极小，表明其偏好非冗余结果。
• 所提出的四点相关性量表——非相关、正合适、过宽、过窄——相较于当前10分量表，提供了更简洁且一致的框架。
• 新相关性定义与自动化评估工具（如INEX 2005中提出的）兼容，可提升评估效率并更好地管理认知负荷。