[论文解读] Self-supervised learning through the eyes of a child
该论文证明，通过自监督学习，开发阶段现实的第一人称视频可以产生强大、高层次的视觉表征，使用在来自单个儿童的 SAYCam 数据上的新颖时序分类目标进行训练。
Within months of birth, children develop meaningful expectations about the world around them. How much of this early knowledge can be explained through generic learning mechanisms applied to sensory data, and how much of it requires more substantive innate inductive biases? Addressing this fundamental question in its full generality is currently infeasible, but we can hope to make real progress in more narrowly defined domains, such as the development of high-level visual categories, thanks to improvements in data collecting technology and recent progress in deep learning. In this paper, our goal is precisely to achieve such progress by utilizing modern self-supervised deep learning methods and a recent longitudinal, egocentric video dataset recorded from the perspective of three young children (Sullivan et al., 2020). Our results demonstrate the emergence of powerful, high-level visual representations from developmentally realistic natural videos using generic self-supervised learning objectives.
研究动机与目标
- 理解在对感官数据进行通用学习时，早期视觉知识能够产生到何种程度。
- 利用面向发展且纵向的第一视角视频来研究无标签表示学习。
- 评估自监督学习是否能产生对儿童环境相关的可迁移的高层视觉类别。
提出的方法
- 从个体儿童的原始、未标注的头戴相机视频中从零开始训练自监督深度卷积网络（MobileNetV2）。
- 引入一个时序分类目标，预测帧所属的 Episode（时序类），以对快速变化的低层细节实现不变性。
- 将时序分类与静态对比学习和时序对比学习基线在下游任务上进行比较。
- 通过冻结干道 trunk，在开发相关类别上训练线性读取器来评估学习到的表征。
- 使用来自一个儿童的经筛选标注子集的 SAYCam 数据以及 Toybox 数据集来评估泛化性和鲁棒性。
实验结果
研究问题
- RQ1基于开发阶段现实的纵向第一视角视频进行通用自监督学习是否能产生高层次的视觉表征？
- RQ2基于时序不变性学习目标在下游的儿童相关分类任务上是否优于基于图像的目标或对比学习目标？
- RQ3学习到的表征在多大程度上能跨儿童和对未见范例进行泛化？
- RQ4哪些因素（采样率、片段长度、数据增强）会影响下游任务的表现？
- RQ5学习到的特征是否在儿童环境的视觉分类中具有局部性和行为学上的可行性？
主要发现
- 时序分类自监督模型在对标儿童数据和 Toybox 任务上的下游准确率很高，有时甚至能达到与 ImageNet 预训练基线相当的水平。
- 在来自不同儿童的数据上训练的时序模型可以泛化到另一名儿童的带标注数据。
- 时序分类在所有报道的条件下均优于静态对比学习和时序对比学习方法。
- 学习到的表征对自然变换具有不变性，且在有限标注数据的情况下也能对未见范例进行泛化。
- 分析表明特征表征具有分布性，在更高层具有更高的选择性，注意力图与某些类别的有意义图像区域对齐。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。