[论文解读] Themisto: Towards Automated Documentation Generation in Computational Notebooks.

April Yi Wang, Dakuo Wang+7 more|arXiv (Cornell University)|Feb 24, 2021

Software Engineering Research参考文献 51被引用 8

一句话总结

Themisto 是一种用于计算笔记本的自动化文档系统，结合了深度学习、基于查询的 API 检索以及用户提示技术，以减少文档编写时间、提高完整性和用户满意度。在 24 名从业者中的评估显示，该系统显著降低了工作量，并提醒用户补充被忽略的代码文档。

ABSTRACT

Computational notebooks allow data scientists to express their ideas through a combination of code and documentation. However, data scientists often pay attention only to the code, and neglect creating or updating their documentation during quick iterations, which leads to challenges in sharing their notebooks with others and future selves. Inspired by human documentation practices from analyzing 80 highly-voted Kaggle notebooks, we design and implement Themisto, an automated documentation generation system to explore the Human-AI Collaboration opportunity in the code documentation scenario. Themisto facilitates the creation of different types of documentation via three approaches: a deep-learning-based approach to generate documentation for source code (fully automated), a query-based approach to retrieve the online API documentation for source code (fully automated), and a user prompt approach to motivate users to write more documentation (semi-automated). We evaluated Themisto in a within-subjects experiment with 24 data science practitioners, and found that automated documentation generation techniques reduced the time for writing documentation, reminded participants to document code they would have ignored, and improved participants' satisfaction with their computational notebook.

研究动机与目标

• 解决尽管计算笔记本在数据科学中被广泛使用，但其文档存在不一致和不完整的问题。
• 通过分析 80 篇高票 Kaggel 笔记本，探索人类与 AI 协作在自动化代码文档编写中的应用。
• 设计并实现一种支持多种文档生成方式的系统：完全自动化的深度学习、自动化的 API 检索，以及半自动化的用户提示。
• 在真实世界的数据科学工作流中，评估自动化文档对时间效率、文档完整性和用户满意度的影响。

提出的方法

• Themisto 使用深度学习模型，直接从源代码生成自然语言文档，实现完全自动化的文档创建。
• 它采用基于查询的方法，为代码片段检索相关的在线 API 文档，自动链接到外部资源。
• 用户提示机制通过突出显示文档缺失部分，鼓励数据科学家自行编写文档，支持半自动化的文档编写。
• 该系统将三种方法整合到计算笔记本的单一界面中，实现无缝的文档生成。
• 系统设计基于对 80 篇高票 Kaggel 笔记本的分析，以反映真实世界中的文档实践。
• 通过一项被试内实验，对 24 名数据科学从业者进行评估，以检验系统的可用性与实际影响。

实验结果

研究问题

• RQ1 自动化文档生成对计算笔记本中代码文档编写所需时间有何影响？
• RQ2 自动化技术在多大程度上能提醒用户补充他们原本会忽略的代码文档？
• RQ3 使用自动化工具后，用户对笔记本文档的满意度如何变化？
• RQ4 在提升文档质量方面，深度学习、基于查询的检索和用户提示三种方法的相对有效性如何？
• RQ5 数据科学家在真实笔记本工作流中如何看待并交互使用 AI 辅助文档？

主要发现

• 与手动编写相比，自动化文档生成显著减少了编写文档所需的时间。
• 该系统成功提醒参与者补充原本会被忽略的代码文档，提升了文档的完整性。
• 参与者表示使用 Themisto 后对笔记本的满意度更高，尤其因为认知负担显著降低。
• 深度学习和基于查询的检索方法在无需用户输入的情况下，有效生成了相关文档。
• 用户提示方法成功激励参与者为复杂或非显而易见的代码编写了额外文档。
• 总体而言，Themisto 展现出显著提升数据科学领域文档质量和工作流效率的潜力。