[论文解读] Towards Answering Open-ended Ethical Quandary Questions

Yejin Bang, Nayeon Lee+11 more|arXiv (Cornell University)|May 12, 2022

Topic Modeling被引用 7

一句话总结

本文提出了AiSocrates，一种基于大语言模型（LLM）的框架，用于生成对开放式伦理困境问题的多重视角回答。该框架采用两阶段方法——原则选择，随后基于原则生成答案——表明LLM能够生成与人类伦理学家在思辨质量上相当的答案，但在连贯性和论证充分性方面仍存在不足。

ABSTRACT

Considerable advancements have been made in various NLP tasks based on the impressive power of large language models (LLMs) and many NLP applications are deployed in our daily lives. In this work, we challenge the capability of LLMs with the new task of Ethical Quandary Generative Question Answering. Ethical quandary questions are more challenging to address because multiple conflicting answers may exist to a single quandary. We explore the current capability of LLMs in providing an answer with a deliberative exchange of different perspectives to an ethical quandary, in the approach of Socratic philosophy, instead of providing a closed answer like an oracle. We propose a model that searches for different ethical principles applicable to the ethical quandary and generates an answer conditioned on the chosen principles through prompt-based few-shot learning. We also discuss the remaining challenges and ethical issues involved in this task and suggest the direction toward developing responsible NLP systems by incorporating human values explicitly.

研究动机与目标

• 为解决开放式伦理困境问题的挑战，此类问题缺乏单一确定性答案，需要细致入微的多重视角推理。
• 超越类似‘预言式’的封闭式回答，通过模拟苏格拉底式对话的伦理推理方式，强调思辨过程而非直接给出答案。
• 评估LLM在生成基于伦理原则、受原则约束的伦理回答方面的能力，以体现多样化的道德框架。
• 揭示在伦理决策中部署自主AI系统所面临的风险，并倡导采用‘人在回路’的设计以维护道德主体性。
• 通过明确嵌入人类价值观并确保AI生成伦理推理过程的透明性，开启关于负责任AI的讨论。

提出的方法

• 将伦理困境生成式问答（GQA）任务分解为两个阶段：(1) 原则提供者，用于选择相关的伦理原则；(2) 基于原则的回答生成。
• 采用基于提示的 few-shot 学习，将LLM基于所选伦理原则进行条件化，以生成与特定道德框架一致的回答。
• 采用‘人在回路’设计，由人类代理手动选择伦理原则，以确保控制力并降低有害输出的风险。
• 引入相关性评分以推荐原则，但最终选择权仍由人类保留，以维护自主性。
• 在生成的回答末尾附加免责声明：'本回答由AI算法生成，请谨慎参考'，以传达警示与透明度。
• 使用完全自动化的流水线（AiSocrates）评估LLM性能的上限，而人工干预版本则确保安全与伦理责任。

实验结果

研究问题

• RQ1 LLM能否基于不同的伦理原则，为同一伦理困境生成多个连贯且可辩护的回答？
• RQ2 LLM生成的回答在深度、连贯性和道德推理质量方面，与人类伦理学家撰写的内容相比如何？
• RQ3 LLM在多大程度上能够通过呈现多个视角来模拟苏格拉底式思辨，而不过度预设单一‘正确’答案？
• RQ4 在输入具有争议性或有害性原则时，部署自主AI系统在伦理推理中面临哪些风险？
• RQ5 如何有意义地将人类监督整合到AI系统中，以维护道德责任并防止有害输出？

主要发现

• AiSocrates的完全自动化版本成功生成了与人类哲学家相当质量的多重视角伦理困境回答。
• 尽管如此，与人类伦理学家的回答相比，模型生成的回答在连贯性和论证充分性方面仍存在显著不足。
• 即使未被要求，生成的回答中仍包含医学和法律信息，凸显了在敏感领域中事实性错误的风险。
• 该系统能够基于不同伦理原则生成截然不同的回答，证实其具备基于原则的推理能力。
• 当输入具有争议性或有害性的原则时，模型可能生成相应的有害回答，凸显了严格输入控制与人类监督的必要性。
• 人工干预版本的AiSocrates通过确保人类在原则选择和输出评估中的主导作用，有效维护了伦理责任。