[论文解读] Searching for the Internet of Things on the Web: Where It Is and What It Looks Like

Ali Shemshadi, Quan Z. Sheng+4 more|arXiv (Cornell University)|Jul 23, 2016

IoT and Edge/Fog Computing参考文献 22被引用 6

一句话总结

本文通过构建专用爬虫ThingSeek，首次对现实世界中的物联网（IoT）数据进行了大规模分析，从网络上收集了近两百万个公开可访问的物联网对象。研究发现，物联网数据主要通过网络地图传播，而非新兴的物联网网络（Web of Things）等标准。此外，本文发布了首个公开可用的大规模物联网数据集，以支持未来在物联网发现与搜索方面的研究。

ABSTRACT

The Internet of Things (IoT), in general, is a compelling paradigm that aims to connect everyday objects to the Internet. Nowadays, IoT is considered as one of the main technologies which contribute towards reshaping our daily lives in the next decade. IoT unlocks many exciting new opportunities in a variety of applications in research and industry domains. However, many have complained about the absence of the real-world IoT data. Unsurprisingly, a common question that arises regularly nowadays is "Does the IoT already exist?". So far, little has been known about the real-world situation on IoT, its attributes, the presentation of data and user interests. To answer this question, in this work, we conduct an in-depth analytical investigation on real IoT data. More specifically, we identify IoT data sources over the Web and develop a crawler engine to collect large-scale real-world IoT data for the first time. We make the results of our work available to the public in order to assist the community in the future research. In particular, we collect the data of nearly two million Internet connected objects and study trends in IoT using a real-world query set from an IoT search engine. Based on the collected data and our analysis, we identify the typical characteristics of IoT data. The most intriguing finding of our study is that IoT data is mainly disseminated using Web Mapping while the emerging IoT solutions such as the Web of Things, are currently not well adopted. On top of our findings, we further discuss future challenges and open research problems in the IoT area.

研究动机与目标

• 调查互联网上真实存在的物联网数据及其特征。
• 识别用于发布和发现物联网数据的主要技术和平台。
• 通过来自物联网搜索引擎的真实查询数据集，分析用户对物联网的兴趣。
• 收集并发布一个大规模、公开可访问的物联网数据集，以支持未来研究。
• 揭示用户需求与当前物联网数据可用性之间的差距。

提出的方法

• 设计并实现了一种新型物联网爬取平台ThingSeek，以系统化方式从网络中发现并收集物联网数据。
• 开发了基于真实物联网搜索查询的爬虫引擎，以指导数据收集并优先抓取高关注度对象。
• 将物联网数据源分类为三类：基于云的物联网平台、支持物联网网络（WoT）的平台以及网络地图服务。
• 构建空间索引和资源级索引，以优化爬取效率并实现实时数据捕获。
• 分析物联网对象的地理分布，以制定时间优化的爬取策略。
• 将收集到的数据集公开发布，以支持未来在物联网搜索、发现与分析方面的研究。

实验结果

研究问题

• RQ1 物联网是否已在互联网上以真实形式存在？
• RQ2 发布和展示物联网数据所主要使用的技术和平台是什么？
• RQ3 用户对物联网的兴趣主要体现在哪些方面，这从真实搜索查询中可得到反映？
• RQ4 真实物联网数据的特征与模拟或小规模数据集相比有何不同？
• RQ5 在物联网数据发现与搜索方面，存在哪些关键挑战和开放性研究问题？

主要发现

• 共收集了近两百万个联网对象，证实了物联网在互联网上的真实存在。
• 网络地图是传播物联网数据的主导方式，大多数物联网对象通过交互式地图暴露。
• 尽管物联网网络（WoT）标准被宣传为未来解决方案，但其实际采用率仍很低。
• 用户搜索查询表明，对基于位置和实时追踪应用的兴趣强烈，如航班追踪和环境监测。
• 物联网数据的动态特性要求采用实时爬取策略以保持数据新鲜度。
• 本研究首次向研究社区公开发布了一个大规模、真实世界、公开可访问的物联网数据集。