[论文解读] Probabilistic Rule Realization and Selection

Haizi Yu, Tianxi Li+1 more|arXiv (Cornell University)|Sep 6, 2017

Data Mining Algorithms and Applications参考文献 1被引用 3

一句话总结

本文提出了一种统一的、双凸优化框架，用于离散输入空间中的概率规则实现与选择，通过两步降维和组套索正则化，实现高效、可扩展的规则合规样本生成——在使用真实规则集的音乐创作与分析中得到有效验证。

ABSTRACT

Abstraction and realization are bilateral processes that are key in deriving intelligence and creativity. In many domains, the two processes are approached through rules: high-level principles that reveal invariances within similar yet diverse examples. Under a probabilistic setting for discrete input spaces, we focus on the rule realization problem which generates input sample distributions that follow the given rules. More ambitiously, we go beyond a mechanical realization that takes whatever is given, but instead ask for proactively selecting reasonable rules to realize. This goal is demanding in practice, since the initial rule set may not always be consistent and thus intelligent compromises are needed. We formulate both rule realization and selection as two strongly connected components within a single and symmetric bi-convex problem, and derive an efficient algorithm that works at large scale. Taking music compositional rules as the main example throughout the paper, we demonstrate our model's efficiency in not only music realization (composition) but also music interpretation and understanding (analysis).

研究动机与目标

• 解决高维离散空间中高效规则实现与智能规则选择的双重挑战。
• 开发一种对称的、大规模的优化框架，以一致地耦合规则实现与选择。
• 在规则集不一致或不完整时，实现主动的、可解释的、一致且有意义的规则选择。
• 通过真实与人工规则集，在音乐创作、解释与分析中证明该框架的有效性。
• 将该方法推广至音乐以外的任何具有抽象规则知识的领域。

提出的方法

• 将规则实现与选择建模为在概率与权重变量上的单一双凸优化问题。
• 引入两步降维：组去重（group de-overlap）与筛选（screening），以减小问题规模。
• 应用弹性网络惩罚的组级别推广，基于规则的相关性与一致性来加权与选择规则。
• 采用改进的非负套索公式，引入辅助行以强制满足单纯形约束，确保与原始问题的精确等价性。
• 利用基于套索稀疏性的筛选技术，识别并消除零概率变量，再求解主优化问题。
• 通过命题1与命题2推导理论保证，证明改进的套索公式在弱条件下可精确恢复单纯形约束最小二乘问题的解。

实验结果

研究问题

• RQ1 如何在高维离散空间中高效实现规则，同时保持多样性与规则合规性？
• RQ2 如何有效选择潜在不一致或冲突的规则，以实现智能、富有创造力的规则实现？
• RQ3 统一的优化框架能否对称地耦合规则实现与选择，从而同时提升效率与可解释性？
• RQ4 如何结合降维与稀疏性诱导惩罚，使该方法可扩展至大规模规则集？
• RQ5 该框架在多大程度上可推广至音乐以外的其他基于规则的领域？

主要发现

• 所提出的框架成功实现了使用人工与真实规则集大规模生成多样化、规则合规的音乐样本。
• 两步降维（去重与筛选）通过早期剔除无关变量，显著降低了计算成本。
• 基于组套索的规则加权机制实现了智能选择，即使在规则集冲突时仍优先选择一致且有意义的规则。
• 理论分析证明，改进的非负套索公式在弱条件下可精确恢复单纯形约束最小二乘问题的解。
• 实证结果表明，该方法在多样性与规则遵守度方面均优于朴素实现，且在规则选择准确率上实现可测量的提升。
• 该框架具有可泛化性，适用于涉及抽象规则推理的非音乐领域。