[论文解读] OrbTouch: Recognizing Human Touch in Deformable Interfaces with Deep Neural Networks.

Chris Larson, Josef Spjut+2 more|arXiv (Cornell University)|Jun 8, 2017

Tactile and Sensory Interactions参考文献 40被引用 6

一句话总结

OrbTouch 提出了一种基于深度学习的框架，通过可拉伸电容信号来解析可变形人机交互界面中的人体触觉，实现精确的手势识别与触点定位。该框架利用卷积神经网络（CNN），将实时形变映射为类别标签，在《俄罗斯方块》游戏界面中展现出稳健的控制能力。

ABSTRACT

User interfaces provide an interactive window between physical and virtual environments. A new concept in the field of human-computer interaction is a soft user interface; a compliant surface that facilitates touch interaction through deformation. Despite the potential of these interfaces, they currently lack a signal processing framework that can efficiently extract information from their deformation. Here we present OrbTouch, a device that uses statistical learning algorithms, based on convolutional neural networks, to map deformations from human touch to categorical labels (i.e., gestures) and touch location using stretchable capacitor signals as inputs. We demonstrate this approach by using the device to control the popular game Tetris. OrbTouch provides a modular, robust framework to interpret deformation in soft media, laying a foundation for new modes of human computer interaction through shape changing solids.

研究动机与目标

• 开发一种用于柔性可变形用户界面的信号处理框架，能够通过形变解读人体触觉。
• 利用可拉伸电容传感器实现实时触觉手势与位置映射。
• 构建一个模块化且鲁棒的系统，用于解读人机交互中形状可变的固体对象。
• 通过实时控制任务（如玩《俄罗斯方块》）验证其实际应用潜力。

提出的方法

• 系统使用可拉伸电容传感器捕获人体触碰柔性表面时产生的形变信号。
• 卷积神经网络（CNN）被训练以根据传感器信号分类触觉手势并估算触点位置。
• CNN的输入是可变形界面各区域电容变化的空间分布图。
• 网络通过端到端训练预测类别标签（如手势类型）及触点的空间坐标。
• 该框架设计为模块化，可适配不同几何形状与材料的柔性界面。

实验结果

研究问题

• RQ1 深度神经网络能否准确地从可拉伸电容传感器信号中分类可变形表面上的人体触觉手势？
• RQ2 该系统能否可靠地估算在柔性、可变形界面上的触点空间位置？
• RQ3 系统在触碰压力、速度及表面形变变化下是否具备鲁棒性？
• RQ4 该框架能否有效应用于实时交互应用（如游戏）？

主要发现

• 该系统利用CNN成功将触觉形变映射为类别化手势，准确率极高。
• OrbTouch 实现了柔性界面上的实时触点定位，证明了其在交互应用中的可行性。
• 由于采用基于学习的信号处理方法，该框架对触碰动态（如压力与速度）变化具有强鲁棒性。
• 该方法仅通过触碰引起的形变即可实现对《俄罗斯方块》游戏的有效控制，验证了其实际应用价值。