[论文解读] TestAug: A Framework for Augmenting Capability-based NLP Tests

Guanqun Yang, Mirazul Haque+3 more|arXiv (Cornell University)|Oct 14, 2022

Adversarial Robustness in Machine Learning被引用 8

一句话总结

TestAug 是一种利用 GPT-3 自动生成多样化、有效的能力导向型 NLP 测试用例的框架，显著减少了人工工作量，同时提升了错误检测能力和测试用例的多样性。它使用 GPT-3 进行初始生成、模板扩展，并通过分类器过滤无效输出，实现至少 98% 的人工标注工作量减少，且在检测模型故障方面优于现有方法。

ABSTRACT

The recently proposed capability-based NLP testing allows model developers to test the functional capabilities of NLP models, revealing functional failures that cannot be detected by the traditional heldout mechanism. However, existing work on capability-based testing requires extensive manual efforts and domain expertise in creating the test cases. In this paper, we investigate a low-cost approach for the test case generation by leveraging the GPT-3 engine. We further propose to use a classifier to remove the invalid outputs from GPT-3 and expand the outputs into templates to generate more test cases. Our experiments show that TestAug has three advantages over the existing work on behavioral testing: (1) TestAug can find more bugs than existing work; (2) The test cases in TestAug are more diverse; and (3) TestAug largely saves the manual efforts in creating the test suites. The code and data for TestAug can be found at our project website (https://guanqun-yang.github.io/testaug/) and GitHub (https://github.com/guanqun-yang/testaug).

研究动机与目标

• 解决现有基于能力的 NLP 测试用例集构建方法存在的高人工成本和低多样性问题。
• 通过使用大语言模型自动化测试用例生成，减少对专家标注模板的依赖。
• 通过生成更多样化且有效的测试用例，提升行为测试的有效性，从而揭示更多模型故障。
• 开发一个可扩展的流水线，通过自动过滤无效的 GPT-3 输出来保持测试用例的正确性。

提出的方法

• 通过向 GPT-3 提供开发人员标注的种子测试用例作为提示，生成初始测试用例。
• 将 GPT-3 生成的测试用例扩展为可重用的模板，以提升测试用例集的覆盖率和多样性。
• 训练一个有效性分类器，以过滤掉 GPT-3 生成的错误或无效测试用例，确保仅保留高质量输出。
• 采用两阶段过滤流水线：首先使用分类器评估有效性；其次通过人工标注验证，以确保可靠性。
• 使用生成的测试用例集对 NLP 模型在多种语言能力（如否定、蕴涵和改写检测）上的表现进行评估。
• 将该框架集成到可重用的流水线中，支持通过额外的 GPT-3 查询实现测试用例集的迭代扩展。

实验结果

研究问题

• RQ1 GPT-3 是否能有效用于在极少人工输入的情况下自动化生成基于能力的 NLP 测试用例？
• RQ2 基于分类器的过滤机制在去除 GPT-3 生成的无效测试用例方面效果如何？
• RQ3 与现有基于人工模板的方法相比，TestAug 在多大程度上提升了测试用例的多样性？
• RQ4 与 CheckList 等现有框架相比，TestAug 是否能检测到更多模型错误？
• RQ5 与传统测试用例集构建方法相比，使用 TestAug 能节省多少人工标注工作量？

主要发现

• TestAug 的有效性分类器在情感分类和改写检测任务中成功率至少达到 90%，在自然语言蕴涵任务中达到 80%。
• 该框架将人工标注工作量减少了至少 98.0%，其衡量标准为新生成模板与人工创建模板的数量比。
• TestAug 生成的测试用例集规模是 CheckList 的 11.2 至 50.4 倍，模板数量至少多出 49.7 倍。
• 生成的测试用例检测到的错误多于现有方法，表明其对模型故障具有更高的敏感性。
• 人工标注者在测试用例有效性判断上的一致性较高，各任务的 Cohen’s kappa 值在 0.741 至 0.812 之间。
• 该框架在测试用例多样性和错误检测能力方面显著优于 CheckList，同时保持了高质量的输出。