[论文解读] Towards an AI to Win Ghana's National Science and Maths Quiz

George Boateng, Jonathan Abrefah Mensah+5 more|arXiv (Cornell University)|Aug 8, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本论文介绍了NSMQ AI项目，这是一项开源倡议，旨在开发一种人工智能，通过掌握语音转文字转录、问题回答以及带有加纳口音的文本转语音合成，从而在加纳全国科学与数学竞赛（NSMQ）中获胜。该系统展示了使用微调大语言模型（LLM）和端到端文本转语音技术实现实时谜题理解与响应生成的能力，目前已朝着2023年谜题环节的现场首秀稳步推进。

ABSTRACT

Can an AI win Ghana's National Science and Maths Quiz (NSMQ)? That is the question we seek to answer in the NSMQ AI project, an open-source project that is building AI to compete live in the NSMQ and win. The NSMQ is an annual live science and mathematics competition for senior secondary school students in Ghana in which 3 teams of 2 students compete by answering questions across biology, chemistry, physics, and math in 5 rounds over 5 progressive stages until a winning team is crowned for that year. The NSMQ is an exciting live quiz competition with interesting technical challenges across speech-to-text, text-to-speech, question-answering, and human-computer interaction. In this ongoing work that began in January 2023, we give an overview of the project, describe each of the teams, progress made thus far, and the next steps toward our planned launch and debut of the AI in October for NSMQ 2023. An AI that conquers this grand challenge can have real-world impact on education such as enabling millions of students across Africa to have one-on-one learning support from this AI.

研究动机与目标

• 开发一种人工智能，使其在加纳全国科学与数学竞赛（NSMQ）这一高风险现场科学与数学竞赛中，表现超越顶尖人类选手。
• 解决语音转文字转录中的关键挑战，包括加纳口音的准确性、针对谜题的快速而精准的问题回答，以及具备区域语言特征的自然语音文本转语音输出。
• 为非洲教育背景下的AI建立一个真实世界基准，以应对师资短缺和师生比例过高的学习障碍。
• 通过展示一种人工智能在时间压力下掌握复杂多线索科学与数学谜题的能力，实现非洲学生一对一AI辅导的可扩展性。
• 建立一个开源的端到端系统，集成语音转文字（STT）、问题回答（QA）和文本转语音（TTS）功能，用于现场竞赛表现，计划部署于2023年NSMQ谜题环节。

提出的方法

• 该系统采用基于网络应用的处理流程，集成语音转文字（STT）、问题回答（QA）和文本转语音（TTS）模块，以实时处理现场谜题线索并作出回应。
• 在语音转文字方面，团队基于过往NSMQ音频和转录文本对开源Whisper模型进行微调，以提升加纳口音语音的转录准确率并降低延迟。
• 问题回答系统采用两阶段方法：首先使用Sentence-BERT在科学语料库上进行语义检索，随后通过Falcon-7b-instruct结合提示工程进行生成式答案生成。
• 文本转语音系统采用VITS端到端模型，并基于两名加纳说话者的语音样本进行微调，以生成自然且口音准确的语音输出。
• 该处理流程设计为可自动检测谜题开始时刻，并根据置信度分数和线索推进情况优化响应时机。
• 系统已部署于云托管的网络应用中，支持低延迟推理，同时具备演示模式和现场竞赛模式。

实验结果

研究问题

• RQ1 人工智能系统是否能在类似加纳NSMQ的现场高压力科学与数学竞赛中达到人类水平的表现？
• RQ2 如何将语音转文字模型适配以实现对加纳英语口音的谜题语音进行低延迟、高准确率的转录？
• RQ3 在面对逐步变得具体的多线索谜题时，人工智能应采用何种策略以平衡响应速度与准确性？
• RQ4 在有限微调数据条件下，文本转语音模型能否生成科学准确、自然节奏且带有加纳口音的语音？
• RQ5 统一的开源AI处理流程在NSMQ最终谜题环节中，其表现能在多大程度上超越人类学生？

主要发现

• NSMQ AI系统成功利用微调后的Whisper模型实现实时转录带有加纳口音的谜题线索，显著降低了词错误率并减少了延迟。
• 采用提示工程的Falcon-7b-instruct问题回答管道对NSMQ谜题生成了高相关性的正确答案，证明了在科学语境下生成式问题回答的可行性。
• 基于VITS的文本转语音模型在两名加纳说话者样本上进行微调后，生成的语音平均意见分（MOS）接近真实语音，表明其具备出色的自然度和口音保真度。
• 系统实现了对谜题开始时刻的自动检测，并整合了置信度评分以指导最优响应时机，有效减少了过早或错误回答。
• 初步评估表明，端到端处理流程可实现实时处理与响应谜题，且性能指标通过数据驱动的模型微调持续提升。
• 该项目已建立一个全面的开源框架，包含STT、QA和TTS的模块化组件，支持社区协作与未来可扩展性。