[论文解读] The Size Conundrum: Why Online Knowledge Markets Can Fail at Scale

Himel Dev, Chase Geigle+3 more|arXiv (Cornell University)|Dec 1, 2017

Expert finding and Q&A systems参考文献 42被引用 4

一句话总结

本文使用柯布-道格拉斯生产函数，将 StackExchange 社区问答网站建模为知识市场，以分析内容生成动态。研究发现，较大的市场通常面临规模不经济——诸如回答率等健康度量指标随规模扩大而下降，这是由于回报递减以及高参与度用户非比例扩展所致，表明网站运营者必须设计与规模相适应的激励机制。

ABSTRACT

In this paper, we interpret the community question answering websites on the StackExchange platform as knowledge markets, and analyze how and why these markets can fail at scale. A knowledge market framing allows site operators to reason about market failures, and to design policies to prevent them. Our goal is to provide insights on large-scale knowledge market failures through an interpretable model. We explore a set of interpretable economic production models on a large empirical dataset to analyze the dynamics of content generation in knowledge markets. Amongst these, the Cobb-Douglas model best explains empirical data and provides an intuitive explanation for content generation through concepts of elasticity and diminishing returns. Content generation depends on user participation and also on how specific types of content (e.g. answers) depends on other types (e.g. questions). We show that these factors of content generation have constant elasticity---a percentage increase in any of the inputs leads to a constant percentage increase in the output. Furthermore, markets exhibit diminishing returns---the marginal output decreases as the input is incrementally increased. Knowledge markets also vary on their returns to scale---the increase in output resulting from a proportionate increase in all inputs. Importantly, many knowledge markets exhibit diseconomies of scale---measures of market health (e.g., the percentage of questions with an accepted answer) decrease as a function of number of participants. The implications of our work are two-fold: site operators ought to design incentives as a function of system size (number of participants); the market lens should shed insight into complex dependencies amongst different content types and participant actions in general social networks.

研究动机与目标

• 理解为何用户基数增长后，大规模在线知识市场（如 StackExchange）仍可能变得不健康。
• 使用经济生产函数对社区问答（CQA）平台的内容生成动态进行建模。
• 识别并探究当系统规模扩大时，市场健康度量指标是否以及如何恶化。
• 为网站运营者提供可随社区规模扩展的激励设计洞见。

提出的方法

• 将 StackExchange 上的内容生成建模为使用经济生产函数的生产过程。
• 测试多种函数形式（如柯布-道格拉斯、线性、幂函数）以找到预测内容产出（问题、答案、评论）的最佳拟合模型。
• 基于 125 个 StackExchange 站点的实证数据执行预测任务，以识别最优模型结构。
• 使用柯布-道格拉斯模型分析内容生产中的弹性、回报递减及规模报酬。
• 分析用户参与模式，包括参与度的幂律分布，以解释规模扩展失败的原因。
• 使用诸如有接受答案的问题占比和问题平均回答数等指标衡量市场健康度。

实验结果

研究问题

• RQ1 知识市场的规模如何影响其健康度与内容生产效率？
• RQ2 哪种经济生产模型最能解释大规模 CQA 平台中的内容生成动态？
• RQ3 用户参与度与内容依赖性等因素在知识市场中是否表现出恒定弹性或回报递减？
• RQ4 知识市场是否表现出规模不经济，即规模越大，健康度指标越下降？
• RQ5 用户参与度分布（尤其是高参与度用户）如何随系统规模扩展？

主要发现

• 柯布-道格拉斯模型在预测 125 个 StackExchange 站点的内容生成方面表现最佳，表明用户参与度与内容依赖性具有恒定弹性。
• 许多 StackExchange 市场表现出规模不经济，关键健康度指标（如拥有接受答案的问题占比）随用户数量增加而下降。
• 观察到回报递减：活跃答主数量的增量增加，带来的答产量增长逐步减小。
• 用户参与度的幂律分布持续存在，但指数随系统规模增大而减小，表明后期用户贡献强度低于早期采用者。
• 存在一个稳定的高参与度用户核心，但其占总用户数的比例并未随总用户数同比增加，导致市场健康度供需失衡。
• 该模型揭示，市场健康度并非随规模增长而自动改善——大规模市场可能随时间推移变得效率更低、响应更慢。