[论文解读] Reviewable Automated Decision-Making: A Framework for Accountable Algorithmic Systems

Jennifer Cobbe, Michelle Seng Ah Lee+1 more|arXiv (Cornell University)|Jan 26, 2021

Ethics and Social Impacts of AI被引用 16

一句话总结

本文提出「可審查性」（reviewability）作為一種綜合性、具有法律基礎的框架，透過系統性地記錄整個自動化決策系統（ADM）生命周期中的技術與組織要素，以提升機器學習驅動自動決策的責任制。該框架借鑒英國行政法原則，使對單一決策與整體決策流程的有意義審查成為可能，為公共與私人部門提供一條通往法律相關透明度與監督的實用途徑。

ABSTRACT

This paper introduces reviewability as a framework for improving the accountability of automated and algorithmic decision-making (ADM) involving machine learning. We draw on an understanding of ADM as a socio-technical process involving both human and technical elements, beginning before a decision is made and extending beyond the decision itself. While explanations and other model-centric mechanisms may assist some accountability concerns, they often provide insufficient information of these broader ADM processes for regulatory oversight and assessments of legal compliance. Reviewability involves breaking down the ADM process into technical and organisational elements to provide a systematic framework for determining the contextually appropriate record-keeping mechanisms to facilitate meaningful review - both of individual decisions and of the process as a whole. We argue that a reviewability framework, drawing on administrative law's approach to reviewing human decision-making, offers a practical way forward towards more a more holistic and legally-relevant form of accountability for ADM.

研究动机与目标

• 解決以模型為中心的解釋在確保機器學習參與的自動化與演算法決策（ADM）責任制方面的局限性。
• 發展一種系統性、以流程為導向的ADM責任制方法，超越模型可解釋性，涵蓋決策前與決策後階段。
• 將英國行政法原則——特別是對決策過程的司法審查——應用於公共與私人部門的演算法系統。
• 識別適合情境的紀錄機制，以支援監督機構、監管機構與受影響個人對ADM系統進行有意義的審查。
• 透過整合組織、程序與技術紀錄，彙整成統一的責任制框架，彌補技術透明度與法律合規之間的差距。

提出的方法

• 該框架將ADM分解為技術與組織組成部分，將人類行動與決策視為結構化組織流程的一部分。
• 其基礎來自英國行政法對決策過程的認知：決策是一項持續性流程，始於決策之前，延續至後果與審查階段。
• 透過針對特定情境、目的與利益相關者的紀錄機制，將可審查性具體化為實務操作。
• 整合現有工具與標準（如決策來源追蹤與技術工具包），以確保紀錄的一致性與資訊提取。
• 建議監督機構與監管機構在實務中定義何謂「可審查」的資訊，特別是在監管架構下。
• 該框架支援迭代與持續演進的審查流程，承認透明度需求須隨情境與解釋的演變而調整。

实验结果

研究问题

• RQ1 如何使自動決策系統在超越模型解釋與可解釋性的層面，實現有意義的責任制？
• RQ2 為實現ADM流程全生命周期的有效審查，哪些組織與技術紀錄是必要的？
• RQ3 英國行政法原則應如何適應以支援多樣化產業中演算法系統的法律與監管監督？
• RQ4 可審查性如何確保符合情境的透明度，以同時支援單一決策審查與系統性評估？
• RQ5 技術工具包與標準化日誌格式在實現一致且實用的紀錄保存方面，可發揮何種作用，以支援可審查的ADM？

主要发现

• 可審查性提供了一套系統性、整體性的框架，將責任制延伸至模型層次解釋之外，涵蓋整個社會技術型ADM流程。
• 透過整合技術與組織紀錄，可審查性使監督機構得以評估單一決策與系統性決策品質。
• 該框架建立於行政法基礎之上，提供具法律相關性與實務可行性的責任制方法，適用於公共與私人部門。
• 即使具備強健的可審查性，單純透明度仍無法解決如權力失衡或商業模式動態等結構性問題，突顯需搭配其他責任機制。
• 該框架識別出組織可採取的具體步驟，包括情境特定的紀錄保存、標準化揭露格式與技術工具，以支援日誌記錄與資訊檢索。
• 可審查性雖非萬靈丹，但可彙集ADM設計者與操作者所作的假設、決策與優先考量，從而彌補關鍵缺口，使審查與合規評估更具資訊基礎。