[论文解读] The Expertise Problem: Learning from Specialized Feedback

Oliver Daniels-Koch, Rachel A. Freedman|arXiv (Cornell University)|Nov 12, 2022

Advanced Bandit Algorithms Research被引用 5

一句话总结

本文识别并形式化了强化学习人类反馈（RLHF）中的“专业能力问题”，即由于教师在不同领域专业知识的差异，其反馈可靠性也各不相同。作者扩展了一个基准测试以建模专业化教师，表明最先进的RLHF方法如PEBBLE在缺乏专业能力感知选择的情况下表现欠佳，并证明通过选择专家教师并使用领域内查询可显著提升性能，同时提供了一个开源框架以支持未来研究。

ABSTRACT

Reinforcement learning from human feedback (RLHF) is a powerful technique for training agents to perform difficult-to-specify tasks. However, human feedback can be noisy, particularly when human teachers lack relevant knowledge or experience. Levels of expertise vary across teachers, and a given teacher may have differing levels of expertise for different components of a task. RLHF algorithms that learn from multiple teachers therefore face an expertise problem: the reliability of a given piece of feedback depends both on the teacher that it comes from and how specialized that teacher is on relevant components of the task. Existing state-of-the-art RLHF algorithms assume that all evaluations come from the same distribution, obscuring this inter- and intra-human variance, and preventing them from accounting for or taking advantage of variations in expertise. We formalize this problem, implement it as an extension of an existing RLHF benchmark, evaluate the performance of a state-of-the-art RLHF algorithm, and explore techniques to improve query and teacher selection. Our key contribution is to demonstrate and characterize the expertise problem, and to provide an open-source implementation for testing future solutions.

研究动机与目标

• 形式化RLHF中的专业能力问题，其中反馈质量取决于教师身份和任务组件的特定性。
• 评估最先进的RLHF算法（如PEBBLE）在教师专业能力异质性条件下的表现。
• 探究是否可通过考虑专业能力的查询与教师选择策略，提升学习效率与奖励模型的准确性。
• 提供一个开源基准与实现，以支持未来对鲁棒、专业能力感知型RLHF方法的研究。

提出的方法

• 作者通过建模教师在任务不同组件上具有不同专业水平，形式化了专业能力问题，引入了一个多教师、多领域反馈框架。
• 他们扩展了现有的RLHF基准，加入通过算法定义的教师，这些教师在不同领域（如Reddit文章与CNN文章的摘要）中具有明确的专业水平差异。
• 本研究在新设置下评估了最先进的RLHF算法PEBBLE，对比了朴素的多教师训练与专业能力感知策略。
• 关键技术包括领域内查询选择（即比较同一领域的轨迹）以及为每个领域选择最专业的教师，以提升反馈质量。
• 奖励模型通过教师偏好标签与模型预测偏好概率之间的交叉熵损失进行训练，并假设教师行为符合Boltzmann理性。
• 性能通过智能体在环境中的最终策略表现进行衡量，并对查询与教师选择策略进行了消融实验。

实验结果

研究问题

• RQ1 在特定任务组件上，不同专业水平的教师，其反馈可靠性如何变化？
• RQ2 当反馈来自专业能力异质的教师时，标准RLHF算法（如PEBBLE）是否仍能有效泛化？
• RQ3 与平均使用所有教师相比，为每个任务组件选择最专业的教师是否能显著提升学习性能？
• RQ4 领域内查询（即比较同一领域的轨迹）在多大程度上能提升反馈质量与学习效率？
• RQ5 专业能力感知的教师与查询选择策略是否能在复杂复合任务中显著优于朴素的多教师RLHF？

主要发现

• 将PEBBLE简单扩展至多个专业化教师会导致性能下降，原因在于低专业水平教师提供的反馈不可靠。
• 为每个任务组件选择最专业的教师，相比不加区分地使用所有教师，能显著提升最终智能体的性能。
• 使用领域内查询（即在相同领域内比较轨迹）可提供更可靠的反馈，并加快收敛速度。
• 专家与非专家反馈之间的性能差距显著，低专业水平反馈会严重削弱奖励模型的泛化能力。
• 开源基准实现表明，由于专业能力导致的反馈方差是RLHF可扩展性与可靠性中此前被忽视的关键因素。
• 结果表明，未来RLHF系统必须显式建模并考虑教师专业能力，才能在复杂、多组件任务中实现鲁棒性能。