[论文解读] TypeEvalPy: A Micro-benchmarking Framework for Python Type Inference Tools

Ashwin Prasad Shivarpatna Venkatesh, Samkutty Sabu+4 more|arXiv (Cornell University)|Dec 28, 2023

Software Engineering Research被引用 4

一句话总结

TypeEvalPy 是一个用于评估 Python 类型推断工具的标准化微型基准测试框架，包含 18 个类别共 154 个代码片段及 845 个类型注解。该框架对工具进行容器化处理，统一输出格式，并使用精确匹配率和精确率等指标衡量性能，结果显示混合方法（如 HiTyper-DL）优于纯机器学习方法，但正确性仍有限，最先进工具的正确性仅达到 44%。

ABSTRACT

GitHub link: https://github.com/secure-software-engineering/TypeEvalPy A Micro-benchmarking Framework for Python Type Inference Tools 📌 Features: 📜 Contains 154 code snippets to test and benchmark. 🏷 Offers 845 type annotations across a diverse set of Python functionalities. 📂 Organized into 18 distinct categories targeting various Python features. 🚢 Seamlessly manages the execution of containerized tools. 🔄 Efficiently transforms inferred types into a standardized format. 📊 Automatically produces meaningful metrics for in-depth assessment and comparison. 🛠️ Supported Tools Supported ✅ In-progress 🔧 Planned 💡 HeaderGen Intellij PSI Llama 2 Jedi Pyre ChatGPT Pyright PySonar2 HiTyper Pytype Scalpel TypeT5 Type4Py 🏆 TypeEvalPy Leaderboard Below is a comparison showcasing exact matches across different tools, coupled with top_n predictions for ML-based tools. Rank 🛠️ Tool Top-n Function Return Type Function Parameter Type Local Variable Type Total 1 HeaderGen 1 186 56 322 564 2 Jedi 1 122 0 293 415 3 Pyright 1 100 8 297 405 4 HiTyper 135 163173175 273737 179225229 369435441 5 HiTyper (static) 1 141 7 102 250 6 Scalpel 1 155 32 6 193 7 Type4Py 135 39103109 193131 99167174 157301314 (Auto-generated based on the the analysis run on 20-10-23 14:51) 🐳 Running with Docker 1️⃣ Clone the repo git clone https://github.com/ashwinprasadme/TypeEvalPy.git 2️⃣ Build Docker image docker build -t typeevalpy . 3️⃣ Run TypeEvalPy 🕒 Takes about 30mins on first run to build Docker containers. 📂 Results will be generated in the results folder within the root directory of the repository. Each results folder will have a timestamp, allowing you to easily track and compare different runs. docker run \ -v /var/run/docker.sock:/var/run/docker.sock \ -v ./results:/app/results \ typeevalpy 🔧 Optionally, run analysis on specific tools: docker run \ -v /var/run/docker.sock:/var/run/docker.sock \ -v ./results:/app/results \ typeevalpy --runners headergen scalpel 🛠️ Available options: headergen, pyright, scalpel, jedi, hityper, type4py, hityperdl

研究动机与目标

• 为解决当前缺乏统一、可复现的 Python 类型推断工具评估框架的问题。
• 通过标准化输入、执行和输出格式，实现对类型推断工具的直接、公平比较。
• 识别最先进工具在多样化 Python 语言结构中的优势与局限性。
• 突出外部类型存根和混合技术对推断质量的影响。
• 为未来研究在提升 Python 类型推断的正确性与完备性方面提供基础。

提出的方法

• TypeEvalPy 集成 154 个微型基准测试，覆盖 18 个 Python 3.10 语言特性，每个基准测试均配有针对性的类型注解。
• 通过容器化技术确保类型推断工具在隔离、可复现的执行环境中运行。
• 翻译模块将工具输出归一化为标准化类型格式，以实现一致比较。
• 框架计算关键指标，包括精确匹配率、精确率、召回率和正确性，用于定量评估。
• 支持纯静态分析和基于机器学习的工具，包括对机器学习模型的前 $n$ 个预测结果的支持。
• 系统支持详细的不匹配分析，用于诊断特定推断错误，例如错误的可调用类型推断。

实验结果

研究问题

• RQ1 在全面、标准化的 Python 语言结构集合中，不同类型推断工具的表现如何？
• RQ2 外部类型存根和混合方法在多大程度上提升了推断的准确性和完备性？
• RQ3 为何即使是最先进的工具也表现出较低的正确性？其主要的类型推断错误来源是什么？
• RQ4 静态分析与基于机器学习的工具在处理复杂结构（如函数参数和局部变量）时表现如何比较？
• RQ5 类型推断中的主要失败模式是什么，特别是针对可调用类型和函数引用方面？

主要发现

• HeaderGen 在所有评估工具中，精确匹配率、正确性和完备性方面均表现最佳。
• Pyright 和 Jedi 分别位列第二和第三，其在内置类型和外部库处理方面表现强劲。
• HiTyper-DL 是一种结合深度学习与静态分析的混合模型，优于纯机器学习方法 Type4Py，但正确性仍仅为 44%。
• HiTyper-DL 的深度学习组件仅在 15 个（共 154 个）基准中提供了正确结果，导致完备性下降了 103 个代码片段。
• Jedi 和 Pyright 均错误地将作为参数传递的函数推断为返回类型，该问题在 57 次和 18 次中重复出现。
• Type4Py 表现不佳，因其依赖于训练数据且无法泛化到未见过的模式，尤其在类和异常处理方面表现差。