[论文解读] PersonalAlign: Hierarchical Implicit Intent Alignment for Personalized GUI Agent with Long-Term User-Centric Records

Yibo Lyu, Gongwei Chen+3 more|arXiv (Cornell University)|Jan 14, 2026

Personal Information Management and User Behavior被引用 0

一句话总结

介绍 PersonalAlign 及其与 HIM-Agent 和 AndroidIntent 基准，利用长期记录使 GUI 代理能够对隐式用户意图进行对齐，提升执行与主动性表现。

ABSTRACT

While GUI agents have shown strong performance under explicit and completion instructions, real-world deployment requires aligning with users' more complex implicit intents. In this work, we highlight Hierarchical Implicit Intent Alignment for Personalized GUI Agent (PersonalAlign), a new agent task that requires agents to leverage long-term user records as persistent context to resolve omitted preferences in vague instructions and anticipate latent routines by user state for proactive assistance. To facilitate this study, we introduce AndroidIntent, a benchmark designed to evaluate agents' ability in resolving vague instructions and providing proactive suggestions through reasoning over long-term user records. We annotated 775 user-specific preferences and 215 routines from 20k long-term records across different users for evaluation. Furthermore, we introduce Hierarchical Intent Memory Agent (HIM-Agent), which maintains a continuously updating personal memory and hierarchically organizes user preferences and routines for personalization. Finally, we evaluate a range of GUI agents on AndroidIntent, including GPT-5, Qwen3-VL, and UI-TARS, further results show that HIM-Agent significantly improves both execution and proactive performance by 15.7% and 7.3%.

研究动机与目标

• 推动需要 GUI 代理去推断超出明确指令的用户隐式意图的必要性。
• 提出对隐式意图的分层视图以处理偏好与日程对齐。
• 创建 AndroidIntent 以标注长期用户记录以用于评估。
• 开发 HIM-Agent 以维持和组织个性化的长期记忆。
• 展示在 AndroidIntent 基准上 HIM-Agent 的性能提升。

提出的方法

• 用三个范式定义 PersonalAlign 任务：Reactive、Preference、Routine 对齐。
• 构建 AndroidIntent，这是一个长期、以用户为中心的 GUI 基准，具有层级筛选的标注功能。
• 提出带有 Streaming Aggregation Module 的 HIM-Agent，以增量更新记忆。
• 开发基于执行的 Preference Filter 和基于状态的 Routine Filter，形成偏好与日常的分层记忆。
• 将密集嵌入与稀疏的 Jaccard 相结合，并在记忆更新中使用 DTW 进行行动轨迹相似性比较。
• 在多种 GUI 代理（GPT-5、Qwen3-VL、UI-TARS 等）上进行评估，展示性能提升。

实验结果

研究问题

• RQ1 在指令模糊时， GUI 代理如何从长期记录中推断并对齐用户的隐式偏好？
• RQ2 分层记忆结构与流式更新如何支持 GUI 代理中的偏好与日程意图？
• RQ3 个性化的隐式意图对齐在多大程度上提升 GUI 任务中的被动执行与主动帮助？

主要发现

• HIM-Agent 相对于基线在执行与主动性表现上分别提升约 15.7% 与 7.3%。
• AndroidIntent 为来自 20k 条长期记录、覆盖 91 位用户的 775 条偏好意图与 215 条日程意图提供带标注的真实底层数据。
• Streaming Aggregation Module 与分层记忆（偏好 vs 日程）实现了稳定且可扩展的个性化。
• 消融实验表明执行基于偏好筛选器的所有组件均对性能提升有贡献，完整模块显著提升 CER。
• 主动性评估显示在开放源与闭源 GUI 代理之间对意图对齐与误报之间达到更好的平衡。