[论文解读] QDEE: Question Difficulty and Expertise Estimation in Community Question Answering Sites

Jiankai Sun, Sobhan Moosavi+2 more|arXiv (Cornell University)|Mar 31, 2018

Expert finding and Q&A systems参考文献 4被引用 6

一句话总结

本文提出QDEE，一种语言无关的框架，通过竞赛图模型和社会痛苦度量，联合估计社区问答（CQA）平台中的问题难度与用户专业水平，以捕捉层级式专业水平增长。通过利用用户随时间演变的问题提问模式和文本特征，QDEE提升了冷启动阶段的问题难度估计与问题路由效果，实现高达45%的路由准确率——优于当前最先进方法。

ABSTRACT

In this paper, we present a framework for Question Difficulty and Expertise Estimation (QDEE) in Community Question Answering sites (CQAs) such as Yahoo! Answers and Stack Overflow, which tackles a fundamental challenge in crowdsourcing: how to appropriately route and assign questions to users with the suitable expertise. This problem domain has been the subject of much research and includes both language-agnostic as well as language conscious solutions. We bring to bear a key language-agnostic insight: that users gain expertise and therefore tend to ask as well as answer more difficult questions over time. We use this insight within the popular competition (directed) graph model to estimate question difficulty and user expertise by identifying key hierarchical structure within said model. An important and novel contribution here is the application of "social agony" to this problem domain. Difficulty levels of newly posted questions (the cold-start problem) are estimated by using our QDEE framework and additional textual features. We also propose a model to route newly posted questions to appropriate users based on the difficulty level of the question and the expertise of the user. Extensive experiments on real world CQAs such as Yahoo! Answers and Stack Overflow data demonstrate the improved efficacy of our approach over contemporary state-of-the-art models. The QDEE framework also allows us to characterize user expertise in novel ways by identifying interesting patterns and roles played by different users in such CQAs.

研究动机与目标

• 为解决在社区问答（CQA）平台中将问题路由至合适技能水平用户所面临的挑战。
• 利用用户专业水平进展与文本特征，估计新发布问题的难度（冷启动问题）。
• 在有向竞赛图中将用户专业水平与问题难度建模为分层结构。
• 通过将问题难度与用户专业水平等级相匹配，改进问题路由。
• 通过难度等级直方图与聚类分析，刻画用户回答行为模式。

提出的方法

• 将用户专业水平与问题难度建模为有向竞赛图，其中边表示从低难度/低专业水平向高难度/高专业水平的进展。
• 应用社会痛苦度量作为惩罚指标，以优化竞赛图中分层违反情况，从而优化难度与专业水平估计。
• 采用专业水平增长假设（EGA），推断用户随时间提问与回答更难的问题，形成单调进展。
• 通过结合EGA与文本特征（如标题、正文、标签）的混合模型，估计新问题的难度以获取上下文信息。
• 通过回答问题难度的直方图表示（分箱大小=3：简单、中等、困难）构建用户档案，以识别行为模式。
• 基于直方图表示对用户进行k-Means聚类，以发现用户类型（如猫头鹰、麻雀），依据其回答偏好。

实验结果

研究问题

• RQ1 如何在CQA中以语言无关的方式联合估计问题难度与用户专业水平？
• RQ2 能否利用用户专业水平随时间的单调进展来改善难度估计与问题路由？
• RQ3 社会痛苦度量在CQA平台的竞赛图中建模分层结构方面有多有效？
• RQ4 文本特征与估计难度在多大程度上能提升冷启动阶段的难度估计效果？
• RQ5 基于回答行为与难度偏好，CQA平台中的主要用户类型是什么？

主要发现

• QDEE框架在将新发布问题路由至合适用户方面，命中率最高达45%，显著优于基线方法。
• 语言感知模型（如QT）优于语言无关方法，但QDEE的混合语言无关与文本方法仍表现出高度有效性。
• 基于Q的路由策略（将问题难度与用户专业水平匹配）优于仅基于声誉或专业水平的策略，通过激活中层专家实现更优效果。
• QT模型中的参数β在0.6至0.8之间时效果最佳，表明文本特征与难度特征之间达到最优平衡。
• 仅有3%–10%的Stack Overflow用户被归类为“猫头鹰”（偏好难题的用户），而大多数用户为“麻雀”（为获取声誉而专注简单问题）。
• 对用户直方图档案的聚类揭示了不同的行为类型，包括专注型专家、全能型用户与初学者，证实了用户回答偏好的多样性。