[论文解读] Self-QA: Unsupervised Knowledge Guided Language Model Alignment

Xuanyu Zhang, Qing Yang|arXiv (Cornell University)|May 19, 2023

Topic Modeling被引用 5

一句话总结

Self-QA 提出了一种无监督框架，通过利用大规模无监督知识而非人工编写的种子数据，生成高质量、领域特定的指令微调数据。通过在两个阶段中使用知识引导的指令生成和机器阅读理解，该方法生成了准确、多样化且格式正确的问答对，显著减少了人工标注工作量，同时提升了模型在特定领域任务上的性能。

ABSTRACT

Large-scale language models like ChatGPT and GPT-4 have gained attention for their impressive conversational and generative capabilities. However, the creation of supervised paired question-answering data for instruction tuning presents formidable challenges. This endeavor necessitates substantial human effort for data annotation and wrestles with issues concerning data quality, diversity, accuracy, and other related factors. To overcome these obstacles, we introduce an innovative framework named Self-QA, which replaces the traditional practice of human-written instruction seeds with a vast amount of unsupervised knowledge, enabling the model to generate a larger quantity of correct and domain-specific instruction data. The effectiveness of our proposed method is demonstrated through experiments conducted on unsupervised corpora from various domains.

研究动机与目标

• 解决大规模语言模型指令微调数据人工标注成本高和可扩展性差的问题。
• 消除先前自我对齐方法中依赖少量人工编写的指令种子数据的依赖。
• 利用无监督知识源生成多样化、正确且领域特定的指令数据。
• 通过利用结构化和非结构化的无监督语料，提升指令微调模型的准确性和可靠性。
• 实现端到端、可扩展的指令数据生成，同时保持格式正确性和内容保真度。

提出的方法

• 使用无监督语料——包括结构化和非结构化数据——作为指令生成的主要知识来源。
• 采用两阶段流水线：首先从知识中生成遵循指令的提示，然后通过机器阅读理解生成答案。
• 应用基于规则的启发式方法和后处理过滤器，以去除错误、无法解析或违反格式的输出。
• 指导模型避免使用指示代词和外部引用，以确保问答对的自包含性。
• 使用生成的指令数据对 BLOOM-7B 进行微调，以评估其在特定领域任务上的性能。
• 以参数化形式将知识集成到模型中，实现无需外部检索系统的端到端训练。

Figure 1: The pipeline of Self-QA .

实验结果

研究问题

• RQ1 无监督知识源能否有效替代自我对齐框架中的人工编写指令种子？
• RQ2 在无监督条件下，自生成的指令数据在多大程度上能保持正确性和领域特定性？
• RQ3 与单阶段生成相比，两阶段生成过程（指令 + 答案）在输出质量和格式遵循方面表现如何？
• RQ4 生成的指令数据能否提升微调模型在特定领域问答任务上的性能？
• RQ5 后处理过滤器在确保自生成指令数据的可靠性和可解析性方面发挥什么作用？

主要发现

• Self-QA 有效从无监督知识中生成指令微调数据，消除了对人工编写种子数据的需求。
• 在 Self-QA 生成数据上微调的模型能正确回答领域特定问题（例如，DXM 成立日期和总部位置），而 ChatGPT 则给出错误答案。
• 后处理过滤器能有效去除格式违规和语义错误的输出，显著提升数据质量。
• 两阶段生成过程相比单阶段替代方案，生成了更高质量、更准确且格式更规范的指令-答案对。
• 该方法实现了可扩展的、领域特定的指令数据生成，相比先前的自我对齐方法，其正确性和多样性均有提升。
• 该框架表明，参数化知识集成可在无需外部检索系统的情况下支持可靠的指令微调。

Figure 2: Examples of transformation of unsupervised structured data.