[论文解读] Putting Language into Context Using Smartphone-Based Keyboard Logging

Florian Bemmann, T. Koch+5 more|arXiv (Cornell University)|Mar 8, 2024

Mobile Learning in Education被引用 4

一句话总结

本文提出了一种尊重隐私的、在设备端进行的智能手机键盘日志增强方法，通过基于输入提示UI文本对文本输入进行分类，实现对消息、评论和搜索输入的区分。在为期六个月、包含624名参与者的实验中，作者证明了输入动机分类能够提升数据预过滤效果并增强用户隐私，同时支持在真实场景中开展精细化的语言学与行为研究。

ABSTRACT

While the study of language as typed on smartphones offers valuable insights, existing data collection methods often fall short in providing contextual information and ensuring user privacy. We present a privacy-respectful approach - context-enriched keyboard logging - that allows for the extraction of contextual information on the user's input motive, which is meaningful for linguistics, psychology, and behavioral sciences. In particular, with our approach, we enable distinguishing language contents by their channel (i.e., comments, messaging, search inputs). Filtering by channel allows for better pre-selection of data, which is in the interest of researchers and improves users' privacy. We demonstrate our approach on a large-scale six-month user study (N=624) of language use in smartphone interactions in the wild. Finally, we highlight the implications for research on language use in human-computer interaction and interdisciplinary contexts.

研究动机与目标

• 为解决现有智能手机键盘日志方法中缺乏上下文信息的问题，这些方法通常依赖基于应用的代理，无法捕捉文本输入的真实目的。
• 通过在设备端早期过滤无关或敏感的文本输入，提升用户隐私。
• 开发一种可扩展的、在设备端运行的系统，利用UI提示文本元数据，根据输入动机（如消息、评论、搜索）对文本输入进行分类。
• 提供一个可重用的开源Android库及输入提示文本分类映射，以促进更广泛的研究应用。
• 批判性评估此类上下文增强日志在不断演化的移动生态系统中的隐私风险与长期可持续性。

提出的方法

• 作者开发了一个Android日志模块，能够在用户交互过程中实时捕获屏幕键盘UI中的输入提示文本。
• 他们创建了一个手动分类映射，将输入提示文本（如“输入消息”、“搜索”）分配到特定的语言动机类别，如消息、评论或搜索输入。
• 系统使用预定义的提示文本映射在设备端对每个文本输入进行分类，确保不传输原始文本数据，从而保障隐私。
• 该方法利用了输入提示文本的长尾分布，实现了88.4%的已记录提示文本覆盖率，以及52.63%的全部输入的分类准确率。
• 提出了一种半自动扩展策略，以处理罕见或新型的输入提示文本，结合手动编码与基于相似度的自动分类。
• 该方法在一项大规模、为期六个月的纵向研究中得到验证，研究涵盖3,325个不同的应用和22,895个独特的输入提示文本。

Figure 1. Screenshots of three text fields of the three Android apps: Google WhatsApp (left), Google Search (middle), and Twitter (right). All three text fields have input prompt texts, that give the user a hint about what the text field is intended to be used for.

实验结果

研究问题

• RQ1 能否可靠地利用智能手机键盘UI中的输入提示文本对用户文本输入的动机（如消息与搜索）进行分类？
• RQ2 所提出的输入提示文本分类在大规模真实世界研究中，对现实世界文本输入数据的覆盖程度如何？
• RQ3 与基于应用的分类相比，上下文增强的键盘日志在数据预过滤和用户隐私保护方面提升了多少？
• RQ4 该输入提示文本分类在不同应用、用户群体以及随时间推移的稳定性与可重用性如何？
• RQ5 该方法的关键隐私风险与局限性是什么？未来研究中应如何缓解这些问题？

主要发现

• 所提出的输入提示文本分类在六个月内研究中实现了88.4%的已记录输入提示文本覆盖率，并对52.63%的全部文本输入进行了分类。
• 该方法成功区分了四种主要输入动机：消息、评论、搜索输入及其他，实现了比基于应用过滤更精确的数据筛选。
• 通过在输入时即进行分类，系统能够在设备端过滤无关或敏感内容，显著提升用户隐私。
• 与传统基于应用的分类相比，该方法在时间上更具稳定性，因为输入提示文本比应用功能或命名更少发生变更。
• 输入提示文本的长尾分布意味着尽管大多数输入已被覆盖，但仍有一小部分（11.6%）未被分类，需要持续维护。
• 作者提供了可重用的Android库及公开可获取的输入提示文本分类映射，支持研究的可复现性与未来研究部署。

Figure 2. Instead of categorizing collected in-the-wild text input data by the originating app, we propose to regard the originating text field’s input prompt text. This figure shows on the example of the app Instagram, that text inputs into Instagram are not just social media contents such as posts