[论文解读] Why we need an independent index of the Web

Dirk Lewandowski|arXiv (Cornell University)|May 9, 2014

Census and Population Estimation被引用 9

一句话总结

本文主张，网络搜索中的真正多样性需要一个独立的、公开可访问的网络索引，因为主导搜索引擎的专有索引机制造成了难以逾越的进入壁垒。通过将内容索引与搜索服务解耦，本文提出让新进入者能够在中立的基础上构建搜索引擎，从而促进搜索生态系统的创新与竞争。

ABSTRACT

The path to greater diversity, as we have seen, cannot be achieved by merely hoping for a new search engine nor will government support for a single alternative achieve this goal. What is instead required is to create the conditions that will make establishing such a search engine possible in the first place. I describe how building and maintaining a proprietary index is the greatest deterrent to such an undertaking. We must first overcome this obstacle. Doing so will still not solve the problem of the lack of diversity in the search engine marketplace. But it may establish the conditions necessary to achieve that desired end.

研究动机与目标

• 解决由少数大型参与者主导的网络搜索市场中缺乏多样性的现状。
• 识别专有网络索引是新搜索引擎难以涌现的主要障碍。
• 倡导建立一个中立的、独立的索引，作为实现市场多元化的基础步骤。
• 确立使新搜索引擎初创企业能够进入市场的可行条件。
• 通过开放获取网络内容索引，促进长期创新和用户选择。

提出的方法

• 提出开发一个由公众维护、独立于商业搜索引擎的开放网络索引。
• 强调该索引应不受商业偏见和专有控制的影响。
• 建议通过公共或非营利治理模式来构建和维持该索引。
• 建议该索引应对所有开发者和研究人员开放，以促进公平竞争。
• 倡导一种模式，即将搜索引擎创新与昂贵且排他的网络爬取和索引任务解耦。
• 呼吁建立支持此类索引的可持续性和中立性的政策与技术框架。

实验结果

研究问题

• RQ1 哪些结构性障碍阻碍了新搜索引擎进入市场？
• RQ2 专有网络索引控制如何巩固现有搜索引擎的主导地位？
• RQ3 需要哪些条件才能促成新独立搜索引擎的创建？
• RQ4 开放且中立的网络索引如何促进搜索技术的多样性和创新？
• RQ5 公共或非营利机构在维护可持续、独立的网络索引方面可发挥何种作用？

主要发现

• 专有索引是新搜索引擎进入者面临的主要障碍，因为它需要庞大的基础设施和数据收集能力。
• 单纯寄希望于出现新搜索引擎，或依赖政府支持来扶持新搜索引擎，都无法解决市场集中化的问题。
• 一个独立的、公开可访问的网络索引是实现新搜索引擎开发的必要前提。
• 虽然建立此类索引不会立即确保多样性，但将为多样性创造必要条件。
• 将索引与搜索服务解耦，可使搜索算法和用户体验实现创新，而无需重新发明网络爬取过程。
• 一个中立的索引可作为更具竞争力和多样化的搜索生态系统的基础。