[论文解读] OptTyper: Probabilistic Type Inference by Optimising Logical and Natural Constraints

Irene Vlassi Pandi, Earl T. Barr+2 more|arXiv (Cornell University)|Apr 1, 2020

Software Engineering Research参考文献 51被引用 9

一句话总结

OptTyper 通过将静态类型分析中的逻辑约束与基于代码模式（如命名约定）的深度学习中的自然约束统一为单一连续优化问题，提出了一套针对动态语言的概率类型推断的系统性框架。通过将逻辑约束松弛为可微形式，它确保了预测类型满足类型安全，同时利用学习到的模式，在 TypeScript 上实现了 76% 的 Top-1 准确率——比之前的工作高出 4%。

ABSTRACT

We present a new approach to the type inference problem for dynamic languages. Our goal is to combine \emph{logical} constraints, that is, deterministic information from a type system, with \emph{natural} constraints, that is, uncertain statistical information about types learnt from sources like identifier names. To this end, we introduce a framework for probabilistic type inference that combines logic and learning: logical constraints on the types are extracted from the program, and deep learning is applied to predict types from surface-level code properties that are statistically associated. The foremost insight of our method is to constrain the predictions from the learning procedure to respect the logical constraints, which we achieve by relaxing the logical inference problem of type prediction into a continuous optimisation problem. We build a tool called OptTyper to predict missing types for TypeScript files. OptTyper combines a continuous interpretation of logical constraints derived by classical static analysis of TypeScript code, with natural constraints obtained from a deep learning model, which learns naming conventions for types from a large codebase. By evaluating OptTyper, we show that the combination of logical and natural constraints yields a large improvement in performance over either kind of information individually and achieves a 4% improvement over the state-of-the-art.

研究动机与目标

• 通过减少对手动类型注解的依赖，解决像 TypeScript 这类动态类型语言中类型注解负担过高的问题。
• 通过将确定性的逻辑约束与代码中的不确定统计模式相结合，改进概率类型推断。
• 确保预测类型遵守语言级别的类型安全规则，而此前的方法常常违反这些规则。
• 将逻辑约束与自然约束统一为单一优化框架，以保证约束的满足。
• 构建一个可扩展、可伸缩的系统，能够集成多种学习模型和现有的类型推断引擎。

提出的方法

• 通过将静态分析中的硬性逻辑约束松弛为可微的惩罚项，将类型推断形式化为连续优化问题。
• 使用深度学习模型基于标识符名称和词法上下文等表面代码特征预测类型概率。
• 在统一的目标函数中结合深度学习模型的输出（自然约束）与松弛后的逻辑约束。
• 使用数值求解器优化联合目标函数，确保所有预测均满足原始类型系统约束。
• 支持任意神经网络模型用于自然约束，并可接入任意标准类型推断引擎用于逻辑约束。
• 将该框架集成到名为 OptTyper 的工具中，用于预测 TypeScript 文件中的缺失类型。

实验结果

研究问题

• RQ1 逻辑类型约束能否被有效松弛为连续优化框架，以指导概率类型预测？
• RQ2 在单一优化步骤中结合逻辑与自然约束，是否能提升类型推断的准确性，相比单独使用任一来源？
• RQ3 该框架能否保证即使在预测不确定的情况下，预测类型也尊重底层类型系统规则？
• RQ4 与 LambdaNet 和 DeepTyper 等最先进工具相比，统一方法的性能如何？
• RQ5 在逻辑约束下，自然语言模式（如命名约定）在多大程度上促进了类型推断的改进？

主要发现

• OptTyper 在标准 TypeScript 类型推断基准上实现了 76% 的 Top-1 准确率，相比之前最先进方法提升了 4%。
• 消融研究证实，性能提升源于对逻辑与自然约束的系统性整合，而非单一来源的贡献。
• 该方法保证所有预测类型均满足原始类型系统约束，而 LambdaNet 在实践中无法做到这一点。
• 该框架具有可扩展性，可集成任意深度学习模型用于自然约束，以及任意标准类型推断引擎用于逻辑约束。
• OptTyper 在效率上优于 TypeWriter，因为它避免了两阶段过滤过程，而是在预测阶段直接施加约束。
• 逻辑约束的连续松弛实现了端到端可微性与稳定优化，优于离散过滤方法。