[论文解读] RLMiner: Finding the Most Frequent k-sized Subgraph via Reinforcement Learning

Wei Huang, Hanchen Wang+5 more|arXiv (Cornell University)|Jan 18, 2026

Advanced Graph Neural Networks被引用 0

一句话总结

RLMiner 将在单个标记图中寻找最频繁诱导 k-子图的问题形式化为多任务强化学习问题，并在 SAC 内部使用面向任务状态的 GNN，提供线性于 k 的时间复杂度的近似方法。它在接近真实频率方面取得接近真实值的结果，同时比精确枚举拥有更快且更稳定的运行时间。

ABSTRACT

Identifying the most frequent induced subgraph of size $k$ in a target graph is a fundamental graph mining problem with direct implications for Web-related data mining and social network analysis. Despite its importance, finding the most frequent induced subgraph remains computationally expensive due to the NP-hard nature of the subgraph counting task. Traditional exact enumeration algorithms often suffer from high time complexity, especially for a large graph size $k$. To mitigate this, existing approaches often utilize frequency measurement with the Downward Closure Property to reduce the search space, imposing additional constraints on the task. In this paper, we first formulate this task as a Markov Decision Process and approach it using a multi-task reinforcement learning framework. Specifically, we introduce RLMiner, a novel framework that integrates reinforcement learning with our proposed task-state-aware Graph Neural Network to find the most frequent induced subgraph of size $k$ with a time complexity linear to $k$. Extensive experiments on real-world datasets demonstrate that our proposed RLMiner effectively identifies subgraphs with frequencies closely matching the ground-truth most frequent induced subgraphs, while achieving significantly shorter and more stable running times compared to traditional methods.

研究动机与目标

• 在不依赖向下封闭性质（DCP）的情况下，推动在单个标记图中寻找大小为 k 的最频繁诱导子图的问题。
• 开发一种强化学习框架以高效近似解，避免穷举子图枚举。
• 提出一个任务状态感知的图神经网络，以捕捉 k 相关的局部结构，并实现跨不同 k 值的多任务学习。
• 证明 RLMiner 能在远小于传统精确方法的运行时间内实现高近似质量且更稳定的性能。

提出的方法

• 将问题表述为多任务马尔科夫决策过程（MDP），每个子图大小 k 作为一个单独任务。
• 使用离散动作的软演员-评论家（SAC）框架学习构建 k 大小诱导子图的节点添加动作的策略。
• 引入任务状态感知的图神经网络，将任务表示与状态表示结合到消息传递中，以捕捉局部子图结构。
• 结合面向任务和面向状态的消息传递（基于 LEConv）来编码局部图，加入门控和跳跃连接机制以管理深度和信息流。
• 采用具有多头注意力的预测头（Actor 与 Critic），基于局部子图表示估计动作概率和 Q 值。
• 定义定制的奖励信号，将频率引导标准化以在不同图之间稳定学习，训练时在可用时获取最优子图（若不可用则采用近似归一化）。
• 通过进行 k 步推理实现线性于 k 的推断，每一步选择一个节点以扩展当前部分子图，推理阶段避免显式子图计数。

实验结果

研究问题

• RQ1 强化学习，特别是多任务 SAC 框架，是否能在不基于 DCP 的剪枝的情况下有效识别单个标记图中的最频繁诱导 k-子图？
• RQ2 如何设计任务状态感知的 GNN，以捕捉与 k 相关的局部子图结构并支持不同 k 的多任务学习？
• RQ3 哪种奖励设计能够在不同目标图和子图大小下稳定训练并实现高质量近似？
• RQ4 在近似质量和运行时间方面，RLMiner 与精确枚举及其他近似方法的表现如何？

主要发现

• RLMiner 能以接近真实值的频率近似最频繁诱导的 k-子图，同时比精确枚举具有更短且更稳定的运行时间。
• 在所提出的框架下，使用 RLMiner 找到一个大小为 k 的子图的时间复杂度对 k 线性。
• 任务状态感知的 GNN 架构对于图上的多任务强化学习是有效的，能够实现跨 k 值的知识共享。
• 在真实数据集上的实验显示，在各种 k（5–9）和数据集上相比精确枚举和随机采样等基线，近似比率表现良好。
• 该方法在推理阶段避免了子图计数，从而相比传统方法带来显著的效率提升。
• 奖励归一化策略（包括基于图大小和密度的归一化）被探索以在不同大小和密度的图上稳定训练。