[论文解读] Type Safety with JSON Subschema

Andrew Habib, Avraham Shinnar+2 more|arXiv (Cornell University)|Nov 28, 2019

Software Engineering Research参考文献 21被引用 4

一句话总结

本文提出 jsonsubschema，一种用于 JSON Schema 的正式且已实现的子模式检查器，通过确定一个模式是否为另一个模式的子模式，实现静态类型安全。通过规范化和简化模式，然后将其分解为与类型相关的片段，该方法高效且正确地检查了包含正则表达式、multipleOf 约束以及模式组合等复杂特性的子模式关系，在 8,548 个真实世界模式对上表现出有效性。

ABSTRACT

JSON is a popular data format used pervasively in web APIs, cloud computing, NoSQL databases, and increasingly also machine learning. JSON Schema is a language for declaring the structure of valid JSON data. There are validators that can decide whether a JSON document is valid with respect to a schema. Unfortunately, like all instance-based testing, these validators can only show the presence and never the absence of a bug. This paper presents a complementary technique: JSON subschema checking, which can be used for static type checking with JSON Schema. Deciding whether one schema is a subschema of another is non-trivial because of the richness of the JSON Schema specification language. Given a pair of schemas, our approach first canonicalizes and simplifies both schemas, then decides the subschema question on the canonical forms, dispatching simpler subschema queries to type-specific checkers. We apply an implementation of our subschema checking algorithm to 8,548 pairs of real-world JSON schemas from different domains, demonstrating that it can decide the subschema question for most schema pairs and is always correct for schema pairs that it can decide. We hope that our work will bring more static guarantees to hard-to-debug domains, such as cloud computing and artificial intelligence.

研究动机与目标

• 解决基于 JSON 的系统中缺乏静态保证的问题，因为运行时验证容易出错且成本高昂。
• 实现在演进的 Web API 和机器学习流水线中早期检测破坏性变更。
• 提供一种正确且可扩展的解决方案，用于确定一个 JSON 模式是否为另一个模式的子模式，即使面对 JSON Schema 的表达性复杂性。
• 在云计算和人工智能等领域支持更安全、更可靠的软件开发，因为数据结构不匹配会导致难以调试的故障。

提出的方法

• 将两个输入模式规范化并简化，以消除语法和结构上的冗余，同时保留其语义含义。
• 根据其底层数据类型（例如，字符串、数字、数组、对象）将模式分解为类型同质的片段。
• 将每个片段分派给专门的类型特定检查器，以评估该类型下的子模式关系。
• 采用组合式方法整合各个片段检查的结果，确保在复杂模式构造中的正确性。
• 利用 JSON Schema 的形式语义，确保所有可判定情况下的正确性和完备性。
• 将该算法应用于来自不同领域（包括 Web API、云服务和 ML 流水线）的 8,548 个真实世界模式对。

实验结果

研究问题

• RQ1 尽管 JSON Schema 具有丰富且复杂的类型系统，是否可以构建一个正式且高效的子模式检查器？
• RQ2 该方法在处理正则表达式、multipleOf 约束以及带否定和并集的模式组合等挑战性特性时效果如何？
• RQ3 该检查器能否在保持正确性和性能的同时，扩展到真实世界模式集合？
• RQ4 子模式检查在多大程度上可以通过实现静态验证，防止云和人工智能系统中的运行时故障？

主要发现

• jsonsubschema 工具成功判断了所评估的 8,548 个真实世界模式对中的绝大多数子模式关系。
• 该工具在所有其能够判断的模式对上始终正确，确保了所有情况下的正确性。
• 规范化和基于片段的分解策略有效处理了正则表达式、multipleOf 和模式组合等复杂模式特性。
• 该方法可在部署前实现对 Web API 和 ML 流水线中破坏性变更的静态检测，从而减少运行时故障和调试开销。
• 该方法优于朴素的结构化或词法比较，因为后者由于 JSON Schema 的表达性而不足以胜任。
• 评估结果证实，子模式检查在云计算和人工智能的生产系统中既可行又实用。