[论文解读] Recommending Multiple Criteria Decision Analysis Methods with A New Taxonomy-based Decision Support System

Marco Cinelli, Miłosz Kadziński+3 more|arXiv (Cornell University)|Jun 8, 2021

Multi-Criteria Decision Making被引用 4

一句话总结

本文提出了MCDA-MSS，一种基于分类法的决策支持系统，可为复杂决策问题推荐最优的多准则决策分析（MCDA）方法。通过评估200多种MCDA方法在问题建模、偏好获取和偏好建模特征方面的表现，该系统提高了方法选择的准确性，减少了方法论错误，并指导用户完善不完整的决策问题描述，其有效性已在多个案例研究中得到验证。

ABSTRACT

We present the Multiple Criteria Decision Analysis Methods Selection Software (MCDA-MSS). This decision support system helps analysts answering a recurring question in decision science: Which is the most suitable Multiple Criteria Decision Analysis method (or a subset of MCDA methods) that should be used for a given Decision-Making Problem (DMP)?. The MCDA-MSS includes guidance to lead decision-making processes and choose among an extensive collection (over 200) of MCDA methods. These are assessed according to an original comprehensive set of problem characteristics. The accounted features concern problem formulation, preference elicitation and types of preference information, desired features of a preference model, and construction of the decision recommendation. The applicability of the MCDA-MSS has been tested on several case studies. The MCDA-MSS includes the capabilities of (i) covering from very simple to very complex DMPs, (ii) offering recommendations for DMPs that do not match any method from the collection, (iii) helping analysts prioritize efforts for reducing gaps in the description of the DMPs, and (iv) unveiling methodological mistakes that occur in the selection of the methods. A community-wide initiative involving experts in MCDA methodology, analysts using these methods, and decision-makers receiving decision recommendations will contribute to expansion of the MCDA-MSS.

研究动机与目标

• 为决策科学中持续存在的挑战提供解决方案，即针对给定的决策问题（DMP）选择最合适的MCDA方法。
• 开发一个全面的决策支持系统，能够根据详细的决策问题特征，从200多种MCDA方法中进行推荐。
• 协助分析师识别DMP描述中的信息缺口，并优先确定信息完善的方向，以提升方法的适用性。
• 通过系统化评估，检测并防止MCDA方法选择中的方法论错误。
• 通过整合MCDA专家、实践者和决策者的反馈，推动系统实现社区驱动的持续扩展。

提出的方法

• 该系统基于四个维度（问题建模、偏好获取、偏好模型特征和推荐构建）的15个问题特征，提出了一种新颖的MCDA方法分类体系。
• 采用结构化的决策模型，将DMP属性映射到方法能力，实现自动化方法推荐。
• 通过将DMP规范与预定义标准（包括输入数据类型、偏好强度和所需输出格式）进行比较，评估方法的适用性。
• 包含一个缺口分析模块，可识别缺失或模糊的DMP属性，并建议优先改进方向。
• 推荐引擎整合了多准则过滤过程，根据兼容性和鲁棒性对方法进行排序。
• 该系统以可扩展的架构实现为基于网络的工具，支持社区贡献和方法更新。

实验结果

研究问题

• RQ1 基于决策问题的结构特征和偏好相关特征，哪种MCDA方法最适合该问题？
• RQ2 决策支持系统如何有效指导用户完善不完整或模糊的决策问题描述，以提升方法选择的准确性？
• RQ3 什么样的分类体系特征能够实现MCDA方法的准确且可扩展的推荐？
• RQ4 如何系统性地检测并防止MCDA方法选择中的方法论错误？
• RQ5 社区反馈在提升方法推荐系统覆盖范围和可靠性方面发挥何种作用？

主要发现

• MCDA-MSS在一系列案例研究中成功推荐了适合的MCDA方法，涵盖从简单到高度复杂的各类决策问题。
• 系统能够识别并突出显示DMP描述中缺失或不一致的信息，使用户能够优先开展数据收集，从而提升方法的适用性。
• 系统可检测MCDA方法选择中的方法论不一致，例如偏好建模需求不匹配，从而降低错误推荐的风险。
• 基于分类体系的方法确保了对200多种MCDA方法的系统性覆盖，实现了广泛的方法论覆盖范围。
• 即使在方法库中不存在完全匹配的方法时，系统仍能通过推荐替代或混合方法，展现出强大的推荐鲁棒性。
• 社区反馈机制被证明能有效扩展方法覆盖范围，并随时间推移持续提升系统准确性。