[论文解读] Stan: An LLM-based thermodynamics course assistant

Eric M. Furst, Vasudevan Venkateshwaran|arXiv (Cornell University)|Mar 4, 2026

Topic Modeling被引用 0

一句话总结

Stan 是一个基于大型语言模型（LLM）的双用途工具链，用于热力学课程，将学生问题基于教材和讲义记录进行锚定，同时提供教师分析，全部在本地硬件上运行，采用开源模型。

ABSTRACT

Discussions of AI in education focus predominantly on student-facing tools -- chatbots, tutors, and problem generators -- while the potential for the same infrastructure to support instructors remains largely unexplored. We describe Stan, a suite of tools for an undergraduate chemical engineering thermodynamics course built on a data pipeline that we develop and deploy in dual roles: serving students and supporting instructors from a shared foundation of lecture transcripts and a structured textbook index. On the student side, a retrieval-augmented generation (RAG) pipeline answers natural-language queries by extracting technical terms, matching them against the textbook index, and synthesizing grounded responses with specific chapter and page references. On the instructor side, the same transcript corpus is processed through structured analysis pipelines that produce per-lecture summaries, identify student questions and moments of confusion, and catalog the anecdotes and analogies used to motivate difficult material -- providing a searchable, semester-scale record of teaching that supports course reflection, reminders, and improvement. All components, including speech-to-text transcription, structured content extraction, and interactive query answering, run entirely on locally controlled hardware using open-weight models (Whisper large-v3, Llama~3.1 8B) with no dependence on cloud APIs, ensuring predictable costs, full data privacy, and reproducibility independent of third-party services. We describe the design, implementation, and practical failure modes encountered when deploying 7--8 billion parameter models for structured extraction over long lecture transcripts, including context truncation, bimodal output distributions, and schema drift, along with the mitigations that resolved them.

研究动机与目标

• 为热力学的学生问题提供基于教材内容的检索增强生成（RAG）系统。
• 通过处理讲义记录转化为摘要、问题、困惑信号和趣闻，提供面向教师的分析。
• 确保所有组件在本地可控硬件上运行，采用开源权重模型以保障隐私与可重复性。
• 解决实际部署挑战，如领域术语转录、幻觉抑制与模式漂移。
• 在共享数据骨架（讲义与教材索引）上支持学生与教师的双工作流。

提出的方法

• 构建两层硬件架构：用于批处理的GPU工作站（转录与索引），以及用于本地推断的互动查询笔记本电脑。
• 从书末索引和从PDF中提取的目录树构建结构化的教材表示。
• 采用双路径术语提取（正则表达式+本地LLM）来搜索索引并应用最大分数合并以选取Top匹配。
• 通过从前方检索条目中组装一个带有明确章节/小节/页码引用的受限上下文来支撑LLM生成的学生答案。
• 使用LLM驱动的分析管线对讲义记录进行处理，生成每讲摘要、问题、困惑信号与趣闻，输出JSON。
• 通过解码器层级控制、上下文隔离与后处理等三层缓解策略来降低转录幻觉，显著减少重复片段。
• 将领域提示的Whisper转录与机构ASR转录进行对比，以评估领域术语的一致性与上下文准确性。
• 倡导直接USB音频采集或对机构录音的开放API访问，以绕过厂商锁定。

实验结果

研究问题

• RQ1 如何设计一个基于LLM的助手，使其在 grounding 热力学查询时以教材和讲义内容为基础，同时避免幻觉？
• RQ2 教师面向的分析是否可从讲义转录中获得，以支持课程反思与改进，而不暴露原始数据？
• RQ3 在高校课程中本地、开源模型工具的实际部署有哪些硬件、隐私、版权等考量？
• RQ4 领域感知的转录和双路径提取如何影响 grounding 质量与检索相关性？

主要发现

• 本地开源模型栈（Whisper large-v3、Llama 3.1 8B）结合两层硬件架构，实现转录、索引和交互查询，无需云端API。
• 领域词汇提示能提升对专门热力学术语的转录准确性，相较于通用转录降低了错识别。
• 通过三层缓解策略（解码器惩罚、上下文隔离、后处理）使转录幻觉从6.4%降至0.02% 。
• 机构ASR转录在词数和领域术语频率方面与领域提示的Whisper相似，但前者在保留周边上下文方面稍差。
• 学生端管线采用双路径术语提取（正则+LLM）并结合最大分数合并，牢靠地将查询映射到结构化教材索引。
• 教师端管线在RTX 4090上可在15分钟内生成每讲摘要、问题、困惑信号与趣闻，支持学期级别分析。
• 直接对每讲进行处理与开源硬件的使用降低了对云服务和厂商系统的依赖，有助于隐私与可重复性。