[论文解读] On the definition of a general learning system with user-defined operators

Fernando Martínez‐Plumed, Cèsar Ferri+2 more|arXiv (Cornell University)|Nov 18, 2013

Computability, Logic, AI Algorithms参考文献 58被引用 4

一句话总结

该论文提出 gErl，一种通用的基于规则的机器学习系统，允许用户定义并自定义用于从结构化数据中学习的领域特定算子。通过整合强化学习以指导算子应用和规则生成，gErl 在多种任务中实现自适应、可重用的启发式方法，同时保持原始数据表示，并支持在不同问题间进行知识迁移。

ABSTRACT

In this paper, we push forward the idea of machine learning systems whose operators can be modified and fine-tuned for each problem. This allows us to propose a learning paradigm where users can write (or adapt) their operators, according to the problem, data representation and the way the information should be navigated. To achieve this goal, data instances, background knowledge, rules, programs and operators are all written in the same functional language, Erlang. Since changing operators affect how the search space needs to be explored, heuristics are learnt as a result of a decision process based on reinforcement learning where each action is defined as a choice of operator and rule. As a result, the architecture can be seen as a 'system for writing machine learning systems' or to explore new operators where the policy reuse (as a kind of transfer learning) is allowed. States and actions are represented in a Q matrix which is actually a table, from which a supervised model is learnt. This makes it possible to have a more flexible mapping between old and new problems, since we work with an abstraction of rules and actions. We include some examples sharing reuse and the application of the system gErl to IQ problems. In order to evaluate gErl, we will test it against some structured problems: a selection of IQ test tasks and some experiments on some structured prediction problems (list patterns).

研究动机与目标

• 解决现有通用机器学习系统在处理复杂结构化数据时缺乏保留原始数据表示能力的问题。
• 使用户能够根据特定数据类型和问题结构定义自定义算子，突破现有系统中固定算子集合的限制。
• 构建一种灵活的架构，通过强化学习引导规则演化与程序生成，提升在大规模假设空间中的搜索效率。
• 通过在不同问题间复用已学习的策略和抽象状态表示，实现不同学习任务之间的知识迁移。
• 构建一个可作为“编写机器学习系统之系统”的平台，通过函数式编程和高阶算子定义实现可扩展性。

提出的方法

• gErl 以函数式编程语言 Erlang 为基础，将算子定义为一等函数，用于转换规则和模式，从而实现表达性强、可扩展的学习逻辑。
• 系统维护不断演化的规则与程序种群，新规则通过在现有规则上应用用户定义的算子生成，新程序则通过组合规则形成。
• 强化学习用于在每一步选择算子与规则，使用 Q 值表和回归模型 $Q_M$ 预测基于状态表示的最优动作。
• 状态表示 $\dot{s}$ 为抽象表示，由规则与程序的统计信息组成，包括最优性、覆盖度和复杂度等度量，支持跨任务的迁移学习。
• 学习过程采用基于程序最优性值收敛的停止准则，通过近期程序的移动平均与标准差计算得出。
• 算子应用被建模为动作选择问题，智能体选择 Q 值最大的算子-规则对，Q 值通过时间差分学习更新，学习率 $\alpha$ 与折扣因子 $\gamma$ 控制更新过程。

实验结果

研究问题

• RQ1 能否设计一种通用学习系统，支持用户自定义算子，而无需依赖固定的嵌入式启发式方法或特征变换？
• RQ2 如何有效将强化学习集成到基于规则的系统中，以指导算子选择与规则生成，同时在复杂假设空间中保持可扩展性？
• RQ3 在数据结构与算子均不同的不同任务之间，从一个任务中学到的策略与状态表示能在多大程度上被复用于另一项无关任务？
• RQ4 函数式编程与高阶函数的使用如何实现复杂、领域特定算子的可维护、可组合的指定与集成？
• RQ5 该系统在何种条件下收敛？如何在不进行穷举搜索的情况下高效检测收敛？

主要发现

• gErl 能够成功生成针对多样化结构化数据问题的准确规则模型，包括涉及递归数据结构的问题，通过用户自定义算子保留原始表示。
• 强化学习的集成显著提升了假设空间的探索效率，相比无信息搜索，大幅减少了找到高性能解所需的迭代次数。
• 通过复用抽象状态表示与已学习策略，实现了任务间的知识迁移，使系统即使在算子与数据类型不同的情况下，也能更快适应新问题。
• 该系统的架构支持构建一个‘编写机器学习系统之系统’，通过定义新算子与学习策略，可快速原型化新型学习范式。
• 实证评估表明，基于最优性收敛的停止准则（使用移动平均与标准差）能有效在进一步改进可能性较低时终止训练。
• 使用回归模型 $Q_M$ 近似 Q 值提升了学习稳定性，并支持在相似状态间泛化，增强了可扩展性。