[论文解读] Report from the NSF Future Directions Workshop on Automatic Evaluation of Dialog: Research Directions and Challenges

Shikib Mehri, Jinho Choi+14 more|arXiv (Cornell University)|Mar 18, 2022

Topic Modeling被引用 24

一句话总结

本报告总结了 NSF Future Directions Workshop on Automatic Evaluation of Dialog 的讨论，概述当前状态、自动评测指标的局限性，以及未来研究的有前景方向。

ABSTRACT

This is a report on the NSF Future Directions Workshop on Automatic Evaluation of Dialog. The workshop explored the current state of the art along with its limitations and suggested promising directions for future work in this important and very rapidly changing area of research.

研究动机与目标

• 审查开放域对话的自动评估指标的当前状态及其局限性。
• 识别采用自动指标及评估其质量的实际问题。
• 讨论人工评估与自动评估的对比，以及如何最好地整合两种方法。
• 提出未来研究方向，包括对话指标的基准、数据集和细粒度评估。

提出的方法

• 总结对话的自动评估和人工评估的最新进展。
• 分析现有指标的局限性及其与人类判断的相关性。
• 讨论采用和标准化评估指标的实际考量。
• 提出指标基准、数据集以及细粒度评估方法的方向。

实验结果

研究问题

• RQ1 对话的自动评估指标的当前状态及其关键局限性是什么？
• RQ2 研究界应如何评估、基准测试和采用评估指标？
• RQ3 人工评估应在自动指标并行中扮演怎样的角色，以及如何有效地整合？
• RQ4 对于对话评估指标，哪些未来方向（包括数据集和细粒度评估）最具潜力？

主要发现

• 无参考对话指标已有所改进，但在范围、泛化能力和与人工判断的相关性方面仍受限。
• 需要基准/排行榜，以便在不同数据集和任务之间实现指标的一致比较。
• 评估数据集应规模大、多样化，并以多维度和细粒度进行注释，以支持泛化。
• 细粒度评估是必要的，将对话质量分解为可以建模并根据应用需求组合的维度。
• 新指标的采用受限于缺乏易用性、文档和社区基准；竞赛与标准化的代码库可改善采用程度。
• 建议组建一个工作组以创建和维护基准、数据集和评估标准，以维持进展。