[论文解读] Using Artificial Intelligence to Accelerate Collective Intelligence: Policy Synth and Smarter Crowdsourcing

Róbert Bjarnason, Dane Gambrell+1 more|arXiv (Cornell University)|Jun 3, 2024

Big Data and Business IntelligenceBusiness, Management and Accounting被引用 3

一句话总结

本文介紹了 Policy Synth，這是一套由人工智慧驅動的工具包，可提升『更聰明的群體協作』——一種加速公共問題解決中集體智慧的方法。透過整合人工智慧以綜合專家意見與研究，該方法提升了方案品質、可擴展性與效率，並在一個真實世界案例研究中顯示，其成效顯著優於僅依賴專家群體協作的結果。

ABSTRACT

In an era characterized by rapid societal changes and complex challenges, institutions' traditional methods of problem-solving in the public sector are increasingly proving inadequate. In this study, we present an innovative and effective model for how institutions can use artificial intelligence to enable groups of people to generate effective solutions to urgent problems more efficiently. We describe a proven collective intelligence method, called Smarter Crowdsourcing, which is designed to channel the collective intelligence of those with expertise about a problem into actionable solutions through crowdsourcing. Then we introduce Policy Synth, an innovative toolkit which leverages AI to make the Smarter Crowdsourcing problem-solving approach both more scalable, more effective and more efficient. Policy Synth is crafted using a human-centric approach, recognizing that AI is a tool to enhance human intelligence and creativity, not replace it. Based on a real-world case study comparing the results of expert crowdsourcing alone with expert sourcing supported by Policy Synth AI agents, we conclude that Smarter Crowdsourcing with Policy Synth presents an effective model for integrating the collective wisdom of human experts and the computational power of AI to enhance and scale up public problem-solving processes. While many existing approaches view AI as a tool to make crowdsourcing and deliberative processes better and more efficient, Policy Synth goes a step further, recognizing that AI can also be used to synthesize the findings from engagements together with research to develop evidence-based solutions and policies. The study offers practical tools and insights for institutions looking to engage communities effectively in addressing urgent societal challenges.

研究动机与目标

• 解決傳統公共部門問題解決方法在應對複雜、緊急社會挑戰時的局限性。
• 開發一個可擴展且有效的框架，整合人類專業知識與人工智慧，以加速方案生成。
• 設計以人為本的人工智慧工具包，強化而非取代人類智慧在集體決策中的角色。
• 評估人工智慧增強對專家驅動群體協作流程的品質、速度與可擴展性之影響。
• 為希望在政策制定中實施人工智慧增強型集體智慧的機構，提供實用工具與洞見。

提出的方法

• Policy Synth 使用人工智慧代理自動化並增強『更聰明的群體協作』流程中的關鍵階段，包括問題定義、專家參與與方案綜合。
• 該工具包利用自然語言處理與檢索增強生成技術，將專家意見與外部研究及證據整合。
• 人工智慧代理被設計用於引導與結構化專家貢獻，確保內容的一致性、相關性與與政策目標的契合。
• 系統透過識別缺口、檢測不一致性並建議基於證據的改進，支援方案的迭代優化。
• 採用人機協同設計，確保人工智慧增強而非取代專家判斷與創造力。
• 該方法建立在一個真實世界案例研究之上，比較僅依賴專家群體協作與結合 Policy Synth 增強的專家群體協作之成果。

实验结果

研究问题

• RQ1 人工智慧如何有效整合至集體智慧流程中，以提升公共問題解決的速度與品質？
• RQ2 人工智慧增強在多大程度上提升了政策發展中專家群體協作的可擴展性與效率？
• RQ3 人工智慧代理是否能更有效地綜合專家意見與研究，以產生基於證據的政策方案，超越僅由人類完成的流程？
• RQ4 Policy Synth 的人機協同設計如何在提升集體智慧的同時，維持專家主導權？
• RQ5 與傳統方法相比，Policy Synth 在方案品質、解決時間與利益相關者參與度方面帶來哪些可量化的改進？

主要发现

• Policy Synth 透過將專家意見與相關研究綜合，顯著提升了方案品質，產生更具證據基礎且可執行的政策建議。
• 與僅依賴專家群體協作相比，人工智慧增強的流程縮短了解決時間，展現出更高的集體問題解決效率。
• 該工具包透過結構化、人工智慧引導的貢獻工作流程，提升了可擴展性，使更廣泛的專家參與成為可能。
• 案例研究顯示，人工智慧代理有效識別出專家提交內容中的缺口與不一致之處，進而產生更一致且全面的解決方案。
• 參與者表示，當人工智慧用於綜合與驗證貢獻時，對最終成果的信心更高，顯示信任度與可用性獲得提升。
• Policy Synth 的以人為本設計在強化集體智慧的同時，維持了專家的控制權，避免過度依賴自動化。