[论文解读] Zap: Making Predictions Based on Online User Behavior

Yuri Chervonyi, Dragos Harabor+2 more|arXiv (Cornell University)|Jul 16, 2018

Data Visualization and Analytics参考文献 8被引用 3

一句话总结

Zap 是一个可扩展的、企业级的机器学习流水线，通过使用序列化网络交互数据来预测在线用户行为。它通过示例生成器实现网站和任务特定的建模，仅需极少的网站特定代码，利用 Google Cloud 和 TensorFlow 在实时和归档数据流上进行深度学习，实现高性能预测——通常能识别出负责 80% 所期望行为的 20% 用户。

ABSTRACT

This paper introduces Zap, a generic machine learning pipeline for making predictions based on online user behavior. Zap combines well known techniques for processing sequential data with more obscure techniques such as Bloom filters, bucketing, and model calibration into an end-to-end solution. The pipeline creates website- and task-specific models without knowing anything about the structure of the website. It is designed to minimize the amount of website-specific code, which is realized by factoring all website-specific logic into example generators. New example generators can typically be written up in a few lines of code.

研究动机与目标

• 解决缺乏通用、可生产部署的系统来使用真实世界网络交互数据预测在线用户行为的问题。
• 通过将网站特定逻辑抽象为简单的示例生成器，最小化机器学习流水线中的网站特定代码。
• 构建一个可扩展的实时预测系统，支持企业级数据工作负载，并与现有分析堆栈无缝集成。
• 通过校准曲线和特征影响分析，提升深度学习模型在业务应用中的可解释性和可信度。
• 使非专家团队无需深度机器学习专业知识，即可部署高影响力、个性化的用户预测模型。

提出的方法

• 通过 JavaScript 库或移动 SDK 收集实时用户交互事件（例如点击、滚动、购买），将其流式传输到服务器。
• 将数据分为两条流：一条存储在 BigQuery 中用于长期归档和模型训练，另一条存储在低延迟数据库（如 MongoDB 或 Redis）中用于实时推理。
• 通过匿名 ID 和时间戳对事件进行分组，构建用户会话，并过滤掉机器人、爬虫和异常长会话（例如超过 1000 个事件）。
• 通过网站特定的示例生成器生成训练样本——通常只需几行代码，用于从用户会话中定义特征和标签。
• 在 Cloud Machine Learning Engine 上使用 TensorFlow 训练深度学习模型，利用序列建模技术，并结合布隆过滤器和分桶等技术以提高效率。
• 通过低延迟数据库提供实时预测，将模型推理通过 API 暴露，用于生产环境。

实验结果

研究问题

• RQ1 如何设计一个通用的机器学习流水线，使其在无需深度网站特定逻辑的情况下，对在线用户行为做出准确预测？
• RQ2 构建一个生产级用户行为预测系统所需的最少网站特定代码量是多少？
• RQ3 基于标准云基础设施构建的流水线能否在保持对序列化用户交互数据高精度的同时，实现低延迟的实时推理？
• RQ4 如何在用于业务决策（如再营销或潜在客户评分）的深度学习系统中提升模型的可解释性？
• RQ5 此类系统在真实应用场景中，能在多大程度上识别出高潜力用户群体（例如，20% 的用户带来 80% 的转化）？

主要发现

• Zap 仅通过示例生成器中的几行网站特定代码，即可实现网站和任务特定的预测模型构建，显著降低工程开销。
• 该流水线在生产使用案例中实现了 20/80 性能模式，即 20% 的用户贡献了 80% 的期望行为（如购买或注册）。
• 校准曲线表明，对于点击次数超过 10 次且停留时间超过一分钟的用户，模型置信度显著提升，验证了关键行为信号已被有效捕获。
• 在预测结果的前 10% 用户中，高参与度用户的正样本预测率可达 0.6，而所有用户平均为 0.4，证实了模型对参与度信号的敏感性。
• 该系统通过 Apache Beam 和 Google Cloud 技术成功解耦了数据收集、预处理和模型服务，实现了可扩展且可靠的实时推理。
• 该方法通过校准分析支持可解释性，使利益相关方无需重新训练完整模型，即可根据业务直觉验证模型行为。