[论文解读] Policy by Example: An Approach for Security Policy Specification

Adwait Nadkarni, William Enck+2 more|arXiv (Cornell University)|Jul 13, 2017

Advanced Malware Detection Techniques参考文献 41被引用 4

一句话总结

本文提出了基于示例的策略（PyBE），这是一种新颖的方法，允许用户通过提供特定场景下允许或禁止操作的代表性示例，来指定用户特定的安全策略。通过使用带有新型加权距离度量的k近邻分类器，并结合主动学习进行错误纠正，PyBE在专家可行性研究中实现了76%的预测准确率，显著优于基线方法。

ABSTRACT

Policy specification for personal user data is a hard problem, as it depends on many factors that cannot be predetermined by system developers. Simultaneously, systems are increasingly relying on users to make security decisions. In this paper, we propose the approach of Policy by Example (PyBE) for specifying user-specific security policies. PyBE brings the benefits of the successful approach of programming by example (PBE) for program synthesis to the policy specification domain. In PyBE, users provide policy examples that specify if actions should be allowed or denied in certain scenarios. PyBE then predicts policy decisions for new scenarios. A key aspect of PyBE is its use of active learning to enable users to correct potential errors in their policy specification. To evaluate PyBE's effectiveness, we perform a feasibility study with expert users. Our study demonstrates that PyBE correctly predicts policies with 76% accuracy across all users, a significant improvement over naive approaches. Finally, we investigate the causes of inaccurate predictions to motivate directions for future research in this promising new domain.

研究动机与目标

• 解决为抽象、主观数据（如笔记、自拍照和白板截图）指定用户特定安全策略的挑战。
• 通过示例而非完整策略枚举的方式，减轻用户负担，实现策略指定。
• 通过引入主动学习进行错误检测与纠正，提升策略预测的准确率和可用性。
• 探索在真实用户场景中使用机器学习进行策略指定的可行性与局限性。

提出的方法

• 用户提供包含数据使用场景（输入）和相应策略决策（输出）的策略示例，例如针对特定数据类型指定“允许”或“拒绝”。
• 系统使用带有新型基于布尔值的距离度量的k近邻（kNN）分类器，计算新场景与用户提供的示例之间的相似度。
• 引入加权距离度量，以反映不同策略属性的相对重要性，使用户能够为标签或条件分配权重。
• 采用主动学习检测用户提供的示例中的不一致性；系统会提示用户纠正潜在错误决策，从而提升策略质量。
• 该框架支持非参数学习，确保不对数据分布或固定参数集做任何假设。
• 系统在训练期间未见过的随机生成场景上评估预测结果，通过人工和交互式审查验证准确率。

实验结果

研究问题

• RQ1 用户能否仅通过少量示例有效指定针对抽象、用户特定数据的安全策略？
• RQ2 与基线方法相比，PyBE方法在策略预测上的准确率如何？
• RQ3 主动学习在检测和纠正用户提供的策略示例中的错误方面，其有效性程度如何？
• RQ4 导致PyBE预测不准确的因素有哪些？未来设计中应如何缓解这些问题？

主要发现

• 在可行性研究中，PyBE在所有专家用户中实现了76%的预测准确率，显著优于基线方法。
• 主动学习组件在识别和纠正策略示例中的错误方面，被发现比人工审查高五倍的效率。
• 错误预测主要源于标签的模糊性或不一致性，特别是当用户对标签应用了多重重叠语义时。
• 用户在推理随机生成的场景时遇到困难，尤其是在标签具有复杂或冲突解释时（例如，“创建于”与“源自”之间）。
• 研究发现标签语义显著影响可用性，用户从清晰、一致的标签约定中获益良多。