[论文解读] Recipes for Safety in Open-domain Chatbots
本文提出一个人机协同循环框架和内置安全方法来减少开放域聊天机器人中的有毒行为，比较多种安全策略并评估安全性与吸引力。它还介绍了 Bot-Adversarial Dialogue Safety (BAD) 并分析其对现有方法的有效性。
Models trained on large unlabeled corpora of human interactions will learn patterns and mimic behaviors therein, which include offensive or otherwise toxic behavior and unwanted biases. We investigate a variety of methods to mitigate these issues in the context of open-domain generative dialogue models. We introduce a new human-and-model-in-the-loop framework for both training safer models and for evaluating them, as well as a novel method to distill safety considerations inside generative models without the use of an external classifier at deployment time. We conduct experiments comparing these methods and find our new techniques are (i) safer than existing models as measured by automatic and human evaluations while (ii) maintaining usability metrics such as engagingness relative to the state of the art. We then discuss the limitations of this work by analyzing failure cases of our models.
研究动机与目标
- 探究在以大量人类互动语料训练的开放域对话模型中，如何减轻攻击性、偏见性和不安全行为。
- 比较在两阶段和端到端方法中，未安全言语检测、安全言语生成、敏感话题规避和性别偏见缓解等策略。
- 引入新颖的安全方法（Bot-Adversarial Dialogue Safety 和 Baking-in Safety），并评估安全性与吸引力之间的权衡。
提出的方法
- 评估不安全言语检测及其在两阶段模型中的部署（将安全分类器作为一个层）。
- 开发安全言语生成技术，包括数据预处理、安全束阻断、对安全性与风格的控制，以及数据内嵌安全。
- 探索敏感话题规避与性别偏见缓解，作为互补的安全策略。
- 引入 Bot-Adversarial Dialogue Safety (BAD) 的数据收集：让人类以对抗性方式对话机器人以诱发不安全回应，从而提升分类器。
- 将安全性考量蒸馏到生成模型中，使部署时不再需要外部安全分类器。
实验结果
研究问题
- RQ1安全分类器是否能在多轮开放域对话中稳健地检测不安全内容？
- RQ2端到端的安全生成方法（包括内嵌安全）是否在真实世界的参与度和安全性指标上优于两阶段安全流程？
- RQ3敏感话题规避和性别偏见缓解对安全性和吸引力的影响是什么？
- RQ4与现有分类器相比，Bot-Adversarial Dialogue Safety 如何提升安全模型的鲁棒性？
主要发现
- 带检测器的两阶段安全模型在安全性方面可以超越现有的安全分类器，同时保持吸引力。
- 将安全性在训练期间蒸馏进生成器的内嵌安全模型，可以减少测试时对外部分类器的需求，并在保持参与度的同时提升安全性。
- 数据烘焙与安全感知训练，即使在模型暴露于有毒的预训练数据时，也能缓解不安全输出。
- Bot-Adversarial Dialogue Safety 数据收集产生大量对抗性对话数据（例如 5k 次对话与约 70k 句子）以训练更鲁棒的安全分类器。
- 数据过滤与基于控制的策略可以影响安全性和风格，而不会严重削弱吸引力。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。