[论文解读] Testing and Evaluation of Service Oriented Systems

Ashish Seth, Himanshu Aggarwal+1 more|arXiv (Cornell University)|Feb 8, 2013

Service-Oriented Architecture and Web Services参考文献 15被引用 3

一句话总结

本文评估了面向服务架构（SOA）现有测试工具与方法，识别出现有方法的不足，并提出一种用于评估SOA系统的结构化框架。它整合了现有指标与工具，指出在可扩展性、互操作性及工具集成方面存在局限，最终为SOA测试与评估领域的研究人员和实践者提供一份全面参考。

ABSTRACT

Evaluation of service oriented system has been a challenge, though there are large number of evaluation metrics exist but none of them is efficient to evaluate these systems effectively.This paper discusses the different testing tools and evaluation methods available for SOA and summarizes their limitation and support in context of service oriented architectures.

研究动机与目标

• 分析并分类面向服务架构（SOA）现有测试工具与评估方法。
• 识别当前SOA测试方法中的关键局限，包括可扩展性、互操作性及工具集成问题。
• 基于现有指标与工具，提出一种用于评估SOA系统的结构化框架。
• 支持研究人员和实践者在SOA环境中选择合适的测试策略。
• 揭示当前评估实践中的空白，并指导未来工具的开发。

提出的方法

• 系统性回顾与SOA测试和评估相关的现有文献与工具。
• 根据功能、支持的测试类型及集成能力对测试工具进行分类。
• 分析SOA中使用的评估指标，评估其相关性与有效性。
• 识别工具支持中的常见缺陷，如缺乏自动化支持和对服务组合测试的支持。
• 将研究发现整合为一种用于评估SOA测试与评估方法的对比性框架。
• 使用13页、3张图和2张表来呈现研究发现并组织分析结构。

实验结果

研究问题

• RQ1 当前面向服务系统的主要测试工具与评估方法有哪些？
• RQ2 现有评估指标在评估SOA系统质量方面的有效性如何？
• RQ3 在可扩展性、互操作性及工具集成方面，现有SOA测试工具的关键局限是什么？
• RQ4 现有工具在SOA中支持服务组合的端到端测试方面表现如何？
• RQ5 能否推导出一种框架或指南，以改进SOA系统的评估与测试？

主要发现

• 没有单一的评估指标或工具能够全面评估面向服务系统。
• 现有工具通常缺乏对服务组合端到端测试以及异构环境中集成测试的支持。
• 互操作性与可扩展性仍是SOA测试中的重大挑战，且工具支持有限。
• 许多评估指标具有领域特定性，在不同SOA部署场景中并不具有普适适用性。
• 迫切需要一种统一框架，以整合SOA的测试工具与评估指标。
• 本文识别出在SOA环境中缺乏对自动化回归测试与运行时监控的工具支持。