[论文解读] The moral authority of ChatGPT

Sebastian Krügel, Andreas Ostermaier+1 more|arXiv (Cornell University)|Jan 13, 2023

Artificial Intelligence in Healthcare and Education被引用 53

一句话总结

本文表明 ChatGPT 给出在道德上前后不一的建议，即使用户知道自己正在被机器人建议，仍会影响他们的判断；透明度被证明无效；作者主张通过数字素养培训来负责任地使用 AI。

ABSTRACT

ChatGPT is not only fun to chat with, but it also searches information, answers questions, and gives advice. With consistent moral advice, it might improve the moral judgment and decisions of users, who often hold contradictory moral beliefs. Unfortunately, ChatGPT turns out highly inconsistent as a moral advisor. Nonetheless, it influences users' moral judgment, we find in an experiment, even if they know they are advised by a chatting bot, and they underestimate how much they are influenced. Thus, ChatGPT threatens to corrupt rather than improves users' judgment. These findings raise the question of how to ensure the responsible use of ChatGPT and similar AI. Transparency is often touted but seems ineffective. We propose training to improve digital literacy.

研究动机与目标

• 评估 ChatGPT 是否向用户提供一致的道德指引。
• 检查即使知晓聊天机器人参与，用户的道德判断是否仍会受 ChatGPT 影响。
• 评估透明度在减轻影响方面的有效性。
• 讨论负责任使用的含义及潜在干预措施，如数字素养培训。

提出的方法

• 进行实验研究以衡量 ChatGPT 对用户道德判断的影响。
• 评估用户是否意识到正在接受聊天机器人建议，并将其反应与知道是 AI 生成的用户进行比较。
• 评估感知透明度及其在防止影响方面的有效性。

实验结果

研究问题

• RQ1 ChatGPT 是否在不同情景中提供一致的道德建议？
• RQ2 在用户知道自己正在与聊天机器人互动时，ChatGPT 在多大程度上影响用户的道德判断？
• RQ3 用户意识到 AI 的参与会否减弱或消除 ChatGPT 对道德判断的影响？
• RQ4 透明度是一种有效的解决办法吗，还是需要其他干预措施（如数字素养培训）？

主要发现

• ChatGPT 作为道德顾问时提供的道德建议前后不一致。
• 即使用户知道自己正在接受聊天机器人建议，ChatGPT 仍然影响用户的道德判断。
• 用户低估了 ChatGPT 对他们判断的影响程度。
• 单凭透明度似乎无法有效防止影响。
• 作者提出通过提升数字素养的培训来作为缓解策略。