[论文解读] Tournesol: A quest for a large, secure and trustworthy database of reliable human judgments

Lê Nguyên Hoang, Louis Faucon+14 more|arXiv (Cornell University)|May 29, 2021

Ethics and Social Impacts of AI参考文献 61被引用 5

一句话总结

Tournesol 提出一个开源平台，通过去中心化、保护隐私的方法，构建一个大规模、安全且可信的人类对内容质量判断的数据库，以训练符合伦理的推荐与内容审核算法。该系统利用集体人类评分，通过 Bradley-Terry 模型生成稳健、可扩展且可信的评分，旨在作为对齐人工智能与社会价值观的基础性资源。

ABSTRACT

Today's large-scale algorithms have become immensely influential, as they recommend and moderate the content that billions of humans are exposed to on a daily basis. They are the de-facto regulators of our societies' information diet, from shaping opinions on public health to organizing groups for social movements. This creates serious concerns, but also great opportunities to promote quality information. Addressing the concerns and seizing the opportunities is a challenging, enormous and fabulous endeavor, as intuitively appealing ideas often come with unwanted {\it side effects}, and as it requires us to think about what we deeply prefer. Understanding how today's large-scale algorithms are built is critical to determine what interventions will be most effective. Given that these algorithms rely heavily on {\it machine learning}, we make the following key observation: \emph{any algorithm trained on uncontrolled data must not be trusted}. Indeed, a malicious entity could take control over the data, poison it with dangerously manipulative fabricated inputs, and thereby make the trained algorithm extremely unsafe. We thus argue that the first step towards safe and ethical large-scale algorithms must be the collection of a large, secure and trustworthy dataset of reliable human judgments. To achieve this, we introduce \emph{Tournesol}, an open source platform available at \url{https://tournesol.app}. Tournesol aims to collect a large database of human judgments on what algorithms ought to widely recommend (and what they ought to stop widely recommending). We outline the structure of the Tournesol database, the key features of the Tournesol platform and the main hurdles that must be overcome to make it a successful project. Most importantly, we argue that, if successful, Tournesol may then serve as the essential foundation for any safe and ethical large-scale algorithm.

研究动机与目标

• 解决由不受控数据驱动的不可靠大规模推荐与内容审核算法所带来的日益增长的社会风险。
• 建立一个大规模、安全且可信的人类判断数据库，作为伦理人工智能发展的基础。
• 通过提供可扩展、透明且可问责的算法判断工具，赋能媒体从业者、公共卫生官员等中间社会机构。
• 通过基于人类验证的可靠判断来降低机器学习中数据中毒、操纵和偏见的风险。
• 实现稳健有益、与人类价值观对齐的伦理人工智能系统，包括语言模型和推荐引擎。

提出的方法

• 该平台使用二项式 Bradley-Terry 模型计算内容的成对比较，将人类评分转化为可扩展、归一化的评分。
• 贡献者匿名对内容对进行评分，确保隐私性，并减少个人偏好带来的偏差。
• 系统设计为去中心化，未来目标是将数据和计算存储在贡献者的设备上，以避免单点故障。
• Tournesol 采用零知识证明和可验证秘密共享等密码学技术，确保数据完整性和隐私性。
• 平台支持未来在视频元数据上集成自然语言处理技术，以将评分推广至未评分内容，提升可扩展性。
• 它旨在为每位用户支持多个本地学习模型，实现在保护隐私和信任的前提下实现个性化。

实验结果

研究问题

• RQ1 如何大规模地收集并维护一个大规模、安全且可信的人类判断数据库？
• RQ2 哪些技术和密码学机制能够确保去中心化人类判断系统中的隐私性和拜占庭容错性？
• RQ3 在利用元数据和自然语言处理技术的前提下，人类判断在多大程度上可推广至尚未评分的内容？
• RQ4 如何利用 Tournesol 的数据库来对齐大型语言模型，使其输出符合伦理且有益于社会？
• RQ5 在基于人类判断优化目标函数时，防止古德哈特定律（Goodhart’s law）和奖励黑客（reward hacking）的最有效方法是什么？

主要发现

• Tournesol 已成功在 https://tournesol.app 上推出一个功能完整的开源平台，用于收集和整理人类对内容质量的判断。
• 该平台使用二项式 Bradley-Terry 模型，将成对的人类比较转化为归一化、可扩展的评分，以反映集体判断。
• Tournesol 设计具备强大的隐私保障，包括支持零知识证明和可验证秘密共享，以保护贡献者并防止数据中毒攻击。
• 该项目将去中心化视为长期关键目标，目前正开展关于完全拜占庭容错的去中心化学习系统的相关研究。
• Tournesol 支持通过视频描述和元数据的自然语言处理技术，实现评分的未来泛化，尽管这需要比当前可用数据更大的数据集。
• 该平台被定位为解决人工智能对齐问题的基础性资源，尤其针对推荐与内容审核系统，通过将目标函数建立在人类验证的价值之上。