[论文解读] The Responsible Foundation Model Development Cheatsheet: A Review of Tools & Resources

Shayne Longpre, Stella Biderman+21 more|arXiv (Cornell University)|Jun 24, 2024

Geotechnical Engineering and Soil Stabilization被引用 4

一句话总结

本文介紹了《负责任基础模型開發指南》，這是一份涵蓋數據來源、模型訓練、評估與部署等環節的250多項工具與資源的精心整理清單。該指南識別出在道德、多語言及多模態支援方面的關鍵缺口，強調透明度、可重現性與系統級評估，以指導文本、視覺與語音模態的責任基礎模型開發。

ABSTRACT

Foundation model development attracts a rapidly expanding body of contributors, scientists, and applications. To help shape responsible development practices, we introduce the Foundation Model Development Cheatsheet: a growing collection of 250+ tools and resources spanning text, vision, and speech modalities. We draw on a large body of prior work to survey resources (e.g. software, documentation, frameworks, guides, and practical tools) that support informed data selection, processing, and understanding, precise and limitation-aware artifact documentation, efficient model training, advance awareness of the environmental impact from training, careful model evaluation of capabilities, risks, and claims, as well as responsible model release, licensing and deployment practices. We hope this curated collection of resources helps guide more responsible development. The process of curating this list, enabled us to review the AI development ecosystem, revealing what tools are critically missing, misused, or over-used in existing practices. We find that (i) tools for data sourcing, model evaluation, and monitoring are critically under-serving ethical and real-world needs, (ii) evaluations for model safety, capabilities, and environmental impact all lack reproducibility and transparency, (iii) text and particularly English-centric analyses continue to dominate over multilingual and multi-modal analyses, and (iv) evaluation of systems, rather than just models, is needed so that capabilities and impact are assessed in context.

研究动机与目标

• 應對人工智能應用與貢獻者快速擴張背景下，對責任基礎模型開發日益增長的需求。
• 系統性地調查並整理從數據來源到部署的完整模型開發生命週期中的工具與資源。
• 突出當前實踐中的關鍵缺口，特別是在道德數據處理、多語言與多模態支援，以及可重現評估方面。
• 透過 documented 工具與指南，促進透明度、環境意識與責任釋放實踐。
• 鼓勵將完整系統（而非僅模型）納入評估，透過整合現實世界情境、防護機制與使用者互動。

提出的方法

• 精心整理出涵蓋10個開發階段（資料來源、準備、訓練、評估、環境影響與模型釋放等）的250多項工具與資源，由社群驅動。
• 依模型開發生命週期建立結構化框架，設有專屬區塊涵蓋資料、模型與部署階段。
• 對現有工具進行批判性審查，識別出支援不足的領域，如道德數據審計、多語言資料支援與系統級評估。
• 強調文件記錄、可重現性與透明度，建議早期且持續的文件記錄、開放的評估腳本與環境影響追蹤。
• 提倡系統級評估，將部署情境、輸入/輸出過濾器與使用者介面考量整合至評估工作流程中。
• 整合來自25+所學術機構、產業界與開放原始碼社群的研究人員與組織的貢獻，以確保廣泛覆蓋與可信度。

实验结果

研究问题

• RQ1 目前有哪些工具與資源可支援跨資料、訓練、評估與部署階段的責任基礎模型開發？
• RQ2 在道德資料來源、多語言與多模態資料，以及系統級評估方面，工具開發存在哪些關鍵缺口？
• RQ3 如何更好地支援基礎模型開發中的透明度、可重現性與環境影響？
• RQ4 為何目前對模型安全性、能力與環境影響的評估往往缺乏可重現性與透明度？
• RQ5 需要哪些改變才能將評估從孤立的模型測試轉向現實情境中的整體系統評估？

主要发现

• 用於資料來源、模型評估與監控的工具在道德與現實需求方面嚴重不足，特別是在多語言與多模態情境下。
• 對模型安全性、能力與環境影響的評估缺乏可重現性與透明度，許多封閉原始碼的評估未公開其腳本。
• 目前的生態系以文字與英文為主導，多語言與多模態資料及評估工具嚴重不足。
• 亟需將整個系統（而非僅模型）納入評估，透過在評估流程中整合部署情境、防護機制與使用者互動。
• 環境影響估算與資源高效使用仍支援不足，缺乏細粒度的資料中心與使用者層級儀表板。
• 目前生態系傾向於通用工具，而非針對醫療或法律等垂直應用場景量身訂做的自然情境評估。