[论文解读] Recognizing Handwritten Source Code

Qiyu Zhi, Ronald Metoyer|arXiv (Cornell University)|Jan 1, 2017

Software Engineering Research参考文献 38被引用 2

一句话总结

本文提出通过引入编程语言语法规则来增强商用手写识别器，以提升手写Python源代码的识别效果。通过使用语法约束和词素级修正对MyScript的输出进行后处理，该系统实现了8.6%的词错误率（WER）和3.6%的字符错误率（CER），优于标准识别方法，并达到与虚拟键盘输入相当的性能。

ABSTRACT

Supporting programming on touchscreen devices requires effective text input and editing methods. Unfortunately, the virtual keyboard can be inefficient and uses valuable screen space on already small devices. Recent advances in stylus input make handwriting a potentially viable text input solution for programming on touchscreen devices. The primary barrier, however, is that handwriting recognition systems are built to take advantage of the rules of natural language, not those of a programming language. In this paper, we explore this particular problem of handwriting recognition for source code. We collect and make publicly available a dataset of handwritten Python code samples from 15 participants and we characterize the typical recognition errors for this handwritten Python source code when using a state-of-the-art handwriting recognition tool. We present an approach to improve the recognition accuracy by augmenting a handwriting recognizer with the programming language grammar rules. Our experiment on the collected dataset shows an 8.6% word error rate and a 3.6% character error rate which outperforms standard handwriting recognition systems and compares favorably to typing source code on virtual keyboards.

研究动机与目标

• 解决在触摸屏设备上准确识别手写源代码的挑战，因为传统手写识别系统因缺乏对编程语言语法的支持而失效。
• 克服通用手写识别引擎的局限性，这些引擎针对自然语言优化，难以处理代码中常见的驼峰命名、下划线和非空格分隔的标识符。
• 开发一种实用的、基于语法增强的后处理框架，以提升识别准确率，而无需重新训练基础识别器。
• 公开提供一个包含15名参与者手写Python代码共555行的数据集，以支持未来在手写代码识别领域的研究。
• 证明语法感知的纠错方法可显著降低手写源代码识别中的错误率，使基于触控笔的编程成为虚拟键盘的可行替代方案。

提出的方法

• 使用平板电脑和触控笔从15名参与者处收集了555行手写Python代码的数据集，包括共享代码样本和参与者特有的函数。
• 以MyScript手写识别引擎作为基线，通过其商业API处理所有手写输入。
• 实现了一个后处理流水线，利用Python的语法规则验证并修正识别结果，包括分词、语法检查以及上下文感知的词替换。
• 应用正则表达式和语法产生式规则，识别并修正常见错误，如误识别的标识符、缺失或错误的运算符，以及错误的空格使用。
• 采用基于规则的方法，根据句法上下文合并或拆分词素，例如在上下文合适时将'ifthen'更正为'if then'，或将'variableName'更正为'variable name'。
• 通过将识别结果与真实代码进行对比来评估系统性能，测量整个数据集上的词错误率（WER）和字符错误率（CER）。

实验结果

研究问题

• RQ1 与仅使用标准手写识别器相比，基于语法增强的后处理方法是否能显著降低手写源代码识别中的错误率？
• RQ2 在通用引擎（如MyScript）上，手写Python代码中的常见识别错误（如误识别的标识符或错误的空格）如何表现？
• RQ3 通过特定于语言的后处理，现有商用手写识别系统在源代码识别方面的性能可提升到何种程度？
• RQ4 在错误率和编程任务的可用性方面，手写输入与虚拟键盘输入相比表现如何？
• RQ5 哪些手写Python代码中的关键错误模式可以通过句法和词汇约束系统性地纠正？

主要发现

• 基于语法增强的后处理方法将词错误率（WER）降低至8.6%，字符错误率（CER）降低至3.6%，在所收集的数据集上显著优于基线的MyScript识别器。
• 该系统的性能与虚拟键盘输入相当，后者报告的总错误率为7.81%（TER），表明手写输入可作为移动编程的可行替代方案。
• MyScript输出中的常见错误包括对驼峰命名标识符的误识别（例如，'myVariable'被识别为'my variable'或'myvariable'）、运算符周围空格的错误使用，以及未能识别'变'、'return'等关键字。
• 使用语言语法规则能够有效修正多词素错误，并提升复合标识符的识别率，尤其在词边界模糊的情况下效果显著。
• 本研究公开了15名参与者手写的555行Python代码数据集，为未来手写源代码识别研究提供了宝贵的基准。
• 结果表明，当结合语法感知纠错时，手写输入可成为移动和触摸屏设备上编程的实用且准确的输入方式，尤其适用于代码编辑而非完整代码编写。