[论文解读] Thoughts on child safety on commodity platforms

Ian Christopher Levy, Crispin Robinson|arXiv (Cornell University)|Jul 19, 2022

Cybercrime and Law Enforcement Studies被引用 8

一句话总结

本文提出了一套全面的框架，用于在端到端加密平台上检测在线儿童性虐待行为，通过引入‘伤害原型’来对虐待类型进行分类，并评估一系列技术解决方案——如客户端扫描、基于人工智能的元数据分析以及隐私保护模型——在平衡儿童安全与用户隐私的前提下实现。文章认为，通过分层的、基于证据的方法，可以在不损害安全或隐私的前提下减轻虐待行为，并呼吁建立严格、平台特定的评估框架，以指导未来的政策与实施。

ABSTRACT

The explosion of global social media and online communication platforms has changed how we interact with each other and as a society, bringing with it new security and privacy challenges. Like all technologies, these platforms can be abused and they are routinely used to attempt to cause harm at scale. One of the most significant offence types that is enabled by these platforms is child sexual abuse - both scaling existing abuse and enabling entirely new types of online-only abuse where the impacts on the victim are equally catastrophic. Many platforms invest significantly in combating this crime, referring confirmed evidence of illegality to law enforcement. The introduction of end-to-end encryption and similar technologies breaks many of the mitigations in place today and this has led to a debate around the apparent dichotomy of good child safety and good general user privacy and security. This debate has concentrated on the problem of detecting offenders sharing known abuse imagery using a technique known as client side scanning. We will show that the real problem of online child sexual abuse is much more complex than offender image sharing, providing a new set of 'harm archetypes' to better group harms into categories that have similar technical characteristics and, as far as we are able, bring more clarity to the processes currently used by platforms and law enforcement in relation to child sexual abuse content and the real world impacts. We explore, at a high level, a variety of techniques that could be used as part of any potential solution and examine the benefits and disbenefits that may accrue in various use cases, and use a hypothetical service as an example of how various techniques could be brought together to provide both user privacy and security, while protecting child safety and enabling law enforcement action.

研究动机与目标

• 为应对商品化通信平台中在线儿童性虐待日益严峻的挑战，特别是端到端加密削弱了现有检测机制的问题。
• 超越对已知图像分享的狭隘关注，通过一种新的‘伤害原型’框架，对线上独有及现实世界中的伤害类型进行全面分类，这些分类具有共享的技术与行为特征。
• 在真实的平台环境中，评估新兴技术解决方案（如客户端扫描、人工智能分析和隐私保护模型）的优劣与负面影响。
• 倡导建立严谨、基于证据的评估框架，以在平台层面系统评估安全技术在有效性、隐私和安全影响方面的表现。
• 促进学术界、产业界、执法部门和政府之间就如何在不损害普遍用户隐私与安全的前提下保护儿童，展开平衡、知情且科学的讨论。

提出的方法

• 提出‘伤害原型’的分类体系，根据共享的技术与行为特征对在线儿童性虐待行为进行分组，从而支持更精准的检测策略。
• 建议使用密码学技术（如私有集合交集PSI和安全哈希）实施客户端扫描，以在不向平台暴露内容的前提下检测已知的儿童性虐待材料。
• 评估服务器端对元数据（如时间、频率、设备信息）的人工智能分析作为隐私保护的替代方案，尽管其对大多数伤害类型的检测准确性有限。
• 考虑使用在加密或混淆数据上训练的机器学习模型，但存在潜在的逆向攻击风险，需进一步研究其鲁棒性与缓解措施。
• 建议将多种检测技术——客户端扫描、元数据分析和行为启发式方法——结合为分层防御系统，以适配各平台的威胁模型。
• 概述一种假设的服务架构，整合上述技术以在维护隐私的同时支持执法机构的转介，以现实世界数据（如NCMEC和NCA报告）作为基准。

实验结果

研究问题

• RQ1 如何在已知图像分享之外，系统性地对在线儿童性虐待行为进行分类，以更好地使技术检测与所有类型的伤害相匹配？
• RQ2 在保护用户隐私的同时确保有效检测虐待行为的前提下，客户端扫描、元数据分析与基于模型的检测之间存在哪些技术权衡？
• RQ3 像PSI或加密模型推理这样的隐私保护技术，在多大程度上可以防范可能恢复敏感内容的逆向攻击？
• RQ4 如何在不同平台上以一致、可重复且基于证据的方式评估安全机制的有效性与隐私影响？
• RQ5 多层混合检测系统在端到端加密平台上如何在不损害一般用户安全的前提下，有效维护儿童安全？

主要发现

• 2021年，NCMEC收到的报告数量达到2940万起，但NCA收到的102842起报告中仅有20038起被调查，凸显了将报告与结果关联的复杂性。
• 2021年，英国因儿童虐待罪行被逮捕或自愿出庭的个体超过6500人，超过8700名儿童得到保护，凸显了现实世界伤害的严重规模。
• 客户端扫描仍是检测已知儿童性虐待材料最准确的方法，尽管其引发重大隐私担忧，需通过密码学技术加以缓解。
• 仅依靠服务器端对元数据的人工智能分析，对大多数伤害原型的检测均不充分，特别是涉及新颖或非复制品内容的类型。
• 针对在敏感数据上训练的机器学习模型存在逆向攻击风险，因此需进一步研究其鲁棒性及先验知识保护机制。
• 结合客户端扫描、元数据分析和行为启发式方法的多种检测技术，可构建分层防御体系，其效果与隐私保护性均优于单一方法。