[论文解读] OralCam: Enabling Self-Examination and Awareness of Oral Health Using a Smartphone Camera

Yuan Liang, Hsuan-Wei Fan+8 more|arXiv (Cornell University)|Jan 16, 2020

Dental Research and COVID-19参考文献 52被引用 5

一句话总结

OralCam 是一款基于智能手机的移动健康应用，使普通用户能够通过智能手机拍摄的口内影像，自行检查五种常见的口腔疾病——牙周病、龋齿、软性沉积物、牙结石和变色。该应用结合深度学习与用户提供的上下文信息（如疼痛、生活习惯等），提供分层的、概率性的且可解释的结果，在包含3,182张专家标注图像的数据集上，平均检测灵敏度达到0.787。

ABSTRACT

Due to a lack of medical resources or oral health awareness, oral diseases are often left unexamined and untreated, affecting a large population worldwide. With the advent of low-cost, sensor-equipped smartphones, mobile apps offer a promising possibility for promoting oral health. However, to the best of our knowledge, no mobile health (mHealth) solutions can directly support a user to self-examine their oral health condition. This paper presents OralCam, the first interactive app that enables end-users' self-examination of five common oral conditions (diseases or early disease signals) by taking smartphone photos of one's oral cavity. OralCam allows a user to annotate additional information (e.g. living habits, pain, and bleeding) to augment the input image, and presents the output hierarchically, probabilistically and with visual explanations to help a laymen user understand examination results. Developed on our in-house dataset that consists of 3,182 oral photos annotated by dental experts, our deep learning based framework achieved an average detection sensitivity of 0.787 over five conditions with high localization accuracy. In a week-long in-the-wild user study (N=18), most participants had no trouble using OralCam and interpreting the examination results. Two expert interviews further validate the feasibility of OralCam for promoting users' awareness of oral health.

研究动机与目标

• 通过利用广泛可用的智能手机技术，弥合全球口腔健康意识与医疗服务可及性之间的差距。
• 克服目前移动健康工具缺乏在临床环境之外支持用户直接自我评估口腔状况的不足。
• 设计一种系统，为非专业人士用户提供清晰、可信且可操作的反馈。
• 整合多模态输入（图像、用户报告的症状、标注信息），以提高检测准确性和上下文相关性。
• 开发一种深度学习框架，实现对口腔疾病的定位与分类，并通过可视化方式增强用户对预测结果的理解。

提出的方法

• 构建了一个包含3,182张口内影像的内部数据集，由牙科专家对五种常见口腔疾病进行标注。
• 在标注数据集上训练深度学习模型，以检测并定位智能手机拍摄图像中的口腔疾病。
• 通过允许用户对图像进行标注并填写关于症状（如疼痛、出血、习惯等）的问卷，扩展了输入模态，这些信息作为模型的先验信息。
• 设计了一种分层的、概率性的输出界面，通过可视化定位和置信度分数呈现结果，以增强用户理解。
• 引入热力图可视化，展示模型关注的区域，提高预测结果的透明度，增强用户对AI判断的信任。
• 开展为期一周的野外用户研究（N=18）并进行专家访谈，以评估系统的可用性、可解释性及临床可行性。

实验结果

研究问题

• RQ1 基于智能手机的移动应用能否使非专业人士用户以可接受的准确率和可用性自行检查常见的口腔疾病？
• RQ2 在口腔疾病检测中，整合用户报告的上下文信息（如疼痛、习惯）在多大程度上能提升深度学习模型的性能？
• RQ3 视觉可解释性（如热力图、定位）在多大程度上能增强用户对AI生成的口腔健康评估结果的信任与理解？
• RQ4 在真实世界环境中部署基于AI的口腔自检系统时，面临哪些关键的技术与可用性挑战？
• RQ5 牙科专家如何看待像OralCam这样的AI驱动自检工具的临床可行性和可靠性？

主要发现

• 该深度学习模型在包含3,182张专家标注图像的内部数据集上，对五种口腔疾病的平均检测灵敏度达到0.787。
• 在为期一周的野外用户研究中，18名参与者普遍表示使用OralCam无困难，且能轻松理解结果。
• 牙科专家对系统的检测性能评价较高，平均得分为4.2分和4.8分（满分5分），表明其具有较强的临床可接受性。
• 模型性能显著受图像质量影响——对焦不良和光照不充分会导致假阳性结果和漏检。
• 专家建议应拍摄多个视角，并改善光照条件以减少错误，特别是针对有阴影或光线不足的区域。
• 用户表示需要超越定位的解释，例如推理说明（如“因发现黑色缺口而被标记”），表明未来迭代中需进一步增强可解释性AI能力。