[论文解读] TBCNN: A Tree-Based Convolutional Neural Network for Programming Language Processing.

Lili Mou, Ge Li+3 more|arXiv (Cornell University)|Sep 18, 2014

Topic Modeling参考文献 22被引用 63

一句话总结

本文提出TBCNN，一种基于树结构的卷积神经网络，利用抽象语法树（ASTs）学习程序向量表示，以支持编程语言处理。通过应用树结构卷积与池化机制，TBCNN有效捕捉代码的结构特征，在程序分类任务中表现优于基线模型，标志着深度学习在编程语言分析中应用的重要一步。

ABSTRACT

Deep neural networks have made significant breakthroughs in many fields of artificial intelligence. However, it has not been applied in the field of programming language processing. In this paper, we propose the tree-based convolutional neural network (TBCNN) to model programming languages, which contain rich and explicit structural information. In our model, program vector representations are learned by the pretraining criterion based on abstract syntax trees (ASTs); the convolutional layer explicitly captures neighboring features on the tree; with the binary continuous tree and 3-way pooling, our model can deal with ASTs of different shapes and sizes.We evaluate the program vector representations empirically, showing that the coding criterion successfully captures underlying features of AST nodes, and that program vector representations significantly speed up supervised learning. We also compare TBCNN to baseline methods; our model achieves better accuracy in the task of program classification. To our best knowledge, this paper is the first to analyze programs with deep neural networks; we extend the scope of deep learning to the field of programming language processing. The experimental results validate its feasibility; they also show a promising future of this new research area.

研究动机与目标

• 为解决编程语言处理中深度学习应用的不足，提出一种新颖的神经网络架构。
• 利用编程语言固有的结构信息，特别是抽象语法树（ASTs），对编程语言进行建模，ASTs可编码丰富的语法关系。
• 通过基于AST结构的预训练准则，学习有效的程序向量表示。
• 通过学习紧凑且信息丰富的程序嵌入，实现代码上高效且准确的监督学习。
• 证明深度神经网络在分析编程语言中的可行性与有效性，将深度学习拓展至新领域。

提出的方法

• TBCNN采用基于树的卷积架构，以抽象语法树（ASTs）作为输入，通过在树节点上的卷积操作捕捉局部结构模式。
• 该模型使用预训练准则，通过利用节点的语法上下文与层次结构，学习AST节点的有意义向量表示。
• 采用二叉连续树结构对形状和大小各异的AST进行归一化，确保在不同程序间实现一致的处理。
• 应用三路池化机制聚合子树特征，同时保留结构信息并降低维度。
• 卷积层显式建模树上相邻节点的特征，捕捉对程序理解至关重要的局部语法模式。
• 最终表示通过分层池化获得，生成一个固定大小的向量，编码整个程序的结构与语义特征。

实验结果

研究问题

• RQ1 深度神经网络能否有效利用抽象语法树（ASTs）建模编程语言的结构与语义特征？
• RQ2 与传统方法相比，基于树的卷积网络在AST上学习有意义的程序向量表示的能力如何？
• RQ3 与基线模型相比，所提出的TBCNN架构在下游任务（如程序分类）中是否提升了性能？
• RQ4 在AST结构上进行预训练在多大程度上提升了所学程序嵌入的质量？
• RQ5 树结构深度学习模型能否在不同大小与语法复杂度的程序间实现良好泛化？

主要发现

• 预训练准则成功捕捉了AST节点的底层结构与语义特征，生成更具信息量的程序向量表示。
• TBCNN学习到的程序向量表示显著加速了监督学习任务，因其提供紧凑且高质量的嵌入。
• 在程序分类任务中，该模型的分类准确率显著优于基线方法，证明了其有效性。
• 使用二叉连续树与三路池化机制使TBCNN能够处理形状与大小各异的AST，且性能无下降。
• 实证评估证实，TBCNN在编程语言处理中具有可行性与有效性，为该领域未来研究奠定了有前景的基础。