[论文解读] Recommenders with a mission: assessing diversity in newsrecommendations

Sanne Vrijenhoek, Mesut Kaya+4 more|arXiv (Cornell University)|Dec 18, 2020

Social Media and Politics参考文献 49被引用 8

一句话总结

本文提出了一套五项规范性多样性度量框架——碎片化（Fragmentation）、激活度（Activation）、表征性（Representation）、多元声音（Alternative Voices）和列表内距离（Intra-list Distance）——其理论基础源于民主理论，并被具体化为可操作的指标，用于实际评估新闻推荐系统。该框架将民主多元主义的规范性理想与计算度量相连接，使媒体组织能够通过针对特定模型的度量优化，将算法设计与社会价值对齐。

ABSTRACT

News recommenders help users to find relevant online content and have the potential to fulfill a crucial role in a democratic society, directing the scarce attention of citizens towards the information that is most important to them. Simultaneously, recent concerns about so-called filter bubbles, misinformation and selective exposure are symptomatic of the disruptive potential of these digital news recommenders. Recommender systems can make or break filter bubbles, and as such can be instrumental in creating either a more closed or a more open internet. Current approaches to evaluating recommender systems are often focused on measuring an increase in user clicks and short-term engagement, rather than measuring the user's longer term interest in diverse and important information. This paper aims to bridge the gap between normative notions of diversity, rooted in democratic theory, and quantitative metrics necessary for evaluating the recommender system. We propose a set of metrics grounded in social science interpretations of diversity and suggest ways for practical implementations.

研究动机与目标

• 弥合规范性民主理想中的多样性与当前用于评估新闻推荐系统的技术指标之间的差距。
• 将诸如协商包容、批判性参与和多元主义等抽象民主价值，转化为可用于算法评估的具体、可度量的指标。
• 为媒体组织提供一个决策框架，以选择与其特定民主模式（例如协商型、批判型、多元型）相一致的推荐系统设计方案。
• 通过参数化与相关性之间的权衡策略，实现多样性度量在现实推荐系统中的实际应用。
• 促进计算机科学、传播学与媒体法等学科之间的跨学科合作，以构建伦理基础坚实、可解释性强的推荐系统。

提出的方法

• 基于社会科学与民主理论，提出五项核心多样性度量：碎片化（Fragmentation）、激活度（Activation）、表征性（Representation）、多元声音（Alternative Voices）和列表内距离（Intra-list Distance）。
• 将每项度量映射至特定的民主模式（协商型、批判型、多元型），以确保算法设计与规范性价值保持一致。
• 采用价值驱动设计方法，将规范性多样性内嵌于推荐系统架构之中，而非将其视为事后评估的附加项。
• 提出一个决策框架，供媒体组织根据其编辑使命与民主模式选择合适的度量指标。
• 推荐在相关性与多样性之间进行权衡的策略，借鉴现有公平感知推荐系统的方法（例如，Mehrotra et al., 2018）。
• 提出一种工具，用于可视化和比较不同推荐系统之间的多样性度量，支持迭代式系统设计与评估。

实验结果

研究问题

• RQ1 如何将规范性民主理论中的多样性概念转化为可度量、可操作的指标，以应用于新闻推荐系统？
• RQ2 在算法化新闻推荐中，应评估哪些关键的技术与规范性维度的多样性？
• RQ3 如何通过不同的多样性度量集合，实现不同民主模式（协商型、批判型、多元型）的可操作化？
• RQ4 推荐准确率与规范性多样性之间存在何种权衡？这些权衡在系统设计中应如何系统性地管理？
• RQ5 媒体组织如何在保持其编辑使命一致的前提下，将这些度量应用于现实系统中？

主要发现

• 本文识别出五项具有规范性基础的独立多样性度量——碎片化（Fragmentation）、激活度（Activation）、表征性（Representation）、多元声音（Alternative Voices）和列表内距离（Intra-list Distance）——这些度量共同体现了新闻推荐中多样化的多种民主理想。
• 每项度量均与特定的民主模式相关联：例如，低碎片化与均等表征性符合协商型模式；而高激活度与反向表征性则符合批判型模式。
• 该框架使媒体组织能够通过选择反映其编辑使命与民主价值观的度量，做出有意识的设计决策。
• 作者证明，多样性并非单一概念，而是一种聚合性价值，其内涵取决于所选择的民主模式与内容目标。
• 所提出的度量设计为可在真实系统中实现，且相关性与多样性之间的权衡可通过现有算法技术进行管理。
• 该框架旨在作为讨论与调整的起点，而非僵化的标准，使媒体组织能够根据自身具体需求与约束，灵活定制度量指标。