[论文解读] Spiders and Crawlers and Bots, Oh My: The Economic Efficiency and Public Policy of Contracts that Restrict Data Collection

Jeffrey M. Rosenfeld|ArXiv.org|Aug 22, 2001

Sharing Economy and Platforms被引用 5

一句话总结

本文研究了使用最终用户许可协议（EULAs）限制网络爬虫、蜘蛛和机器人收集公开可获取的价格数据的经济效率及公共政策影响。文章认为，尽管此类合同可能为侵权法中的‘动产侵占’主张提供一种法律上可访问的替代方案，但其在市场效率、消费者福利以及在线条款可执行性方面引发担忧，尤其是在应用于聚合网站上自动数据收集时。

ABSTRACT

Recent trends reveal the search by companies for a legal hook to prevent the undesired and unauthorized copying of information posted on websites. In the center of this controversy are metasites, websites that display prices for a variety of vendors. Metasites function by implementing shopbots, which extract pricing data from other vendors' websites. Technological mechanisms have proved unsuccessful in blocking shopbots, and in response, websites have asserted a variety of legal claims. Two recent cases, which rely on the troublesome trespass to chattels doctrine, suggest that contract law may provide a less demanding legal method of preventing the search of websites by data robots. If blocking collection of pricing data is as simple as posting an online contract, the question arises whether this end result is desirable and legally viable.

研究动机与目标

• 评估合同法是否为限制公共网站上机器人自动数据收集提供一种可行且高效的法律机制。
• 考察将在线服务条款作为控制数据抓取工具的适用性，特别是在聚合价格信息的元网站背景下。
• 评估此类合同限制是否提升或损害市场效率与消费者福利。
• 探讨保护网站运营商利益与促进公开获取公开可用数据之间在法律与政策上的权衡。

提出的方法

• 分析两起近期涉及‘动产侵占’学说的法律案件，作为限制数据收集的判例依据。
• 评估最终用户许可协议（EULAs）作为阻止自动数据收集的替代法律机制的适用性。
• 评估通过合同手段限制数据收集的经济效率，特别是与侵权法主张的对比。
• 考察在线合同在自动网络抓取背景下的可执行性与实际可行性。
• 考虑元网站与购物机器人在聚合价格数据中的作用，以及与供应商网站之间由此产生的紧张关系。
• 运用经济与法律推理，评估此类合同是否符合公共利益，或是否扭曲市场竞争。

实验结果

研究问题

• RQ1 合同法能否有效替代侵权法中的‘动产侵占’学说，以规范公共网站上的自动数据收集？
• RQ2 通过EULAs限制网站数据收集的经济后果是什么，特别是对元网站与价格比对服务的影响？
• RQ3 当应用于访问公开可用数据的自动化机器人时，在线服务条款的可执行性如何？
• RQ4 对数据收集施加合同限制是否增强或削弱消费者福利与市场效率？
• RQ5 允许网站运营商通过在线合同单方面限制对公开可用信息的访问，其公共政策影响是什么？

主要发现

• 合同法为限制机器人数据收集提供了一种可能比‘动产侵占’学说更轻便的法律机制。
• 在用户未明确同意条款的情况下，EULAs在自动数据收集背景下的可执行性在法律上仍不确定。
• 通过合同手段限制数据收集可能降低市场效率，因限制了价格信息的可得性，从而损害消费者福利。
• 依赖自动数据收集的元网站尤其容易因EULAs而面临法律挑战，即使数据是公开可获取的。
• 使用EULAs限制数据收集引发了对公共信息单方面控制的担忧，以及潜在的反竞争效应。
• 本文结论认为，尽管EULAs在法律上可访问，但它们并非解决公开数据抓取更广泛问题的明确或高效方案，尤其是在应用于公开可用数据时。