[论文解读] Recent Developments in Boolean Matrix Factorization

Pauli Miettinen, Stefan Neumann|arXiv (Cornell University)|Dec 5, 2020

Rough Sets and Fuzzy Logic参考文献 51被引用 6

一句话总结

本综述回顾了布尔矩阵分解（BMF）的最新进展，这是一种在布尔代数下使用低秩布尔因子矩阵近似二值矩阵的技术。它综合了数据挖掘、形式概念分析、机器学习和理论计算机科学领域的研究成果，重点介绍了可扩展算法、理论难解性结果以及近似与聚类方面的开放问题。

ABSTRACT

The goal of Boolean Matrix Factorization (BMF) is to approximate a given binary matrix as the product of two low-rank binary factor matrices, where the product of the factor matrices is computed under the Boolean algebra. While the problem is computationally hard, it is also attractive because the binary nature of the factor matrices makes them highly interpretable. In the last decade, BMF has received a considerable amount of attention in the data mining and formal concept analysis communities and, more recently, the machine learning and the theory communities also started studying BMF. In this survey, we give a concise summary of the efforts of all of these communities and raise some open questions which in our opinion require further investigation.

研究动机与目标

• 整合来自数据挖掘、形式概念分析、机器学习和理论计算机科学等不同研究领域的布尔矩阵分解（BMF）近期进展。
• 通过回顾近似算法、精确求解器和启发式方法，应对BMF中的计算难解性挑战。
• 识别并突出BMF中的开放问题，特别是近似保证、可扩展性以及使用随机块模型恢复重叠双团的方面。
• 通过统一概述现有方法，为未来研究提供指导，避免重复工作，并推动新颖研究方向。

提出的方法

• 本文使用布尔半环来研究BMF，其中矩阵乘法定义为逻辑或（并集）和逻辑与（交集），确保输出为二值结果。
• 将BMF表述为最小化原始二值矩阵与两个低秩二值因子矩阵的布尔积之间异或差的Frobenius范数。
• 综述涵盖了多种算法族：贪心和局部搜索启发式算法、基于整数规划的精确求解器，以及用于大规模数据的流算法。
• 研究了理论难解性结果，包括NP难解性和不可近似性界，这些结果在标准复杂性假设下排除了多项式时间近似方案的存在。
• 讨论了扩展方法，如多视图数据的联合BMF、用于视觉聚类的置换不变BMF，以及用于多维数据的布尔张量分解。
• 探讨了基于随机二分图中隐藏双团的随机块模型等概率模型，以分析恢复保证，将理论与实际性能联系起来。

实验结果

研究问题

• RQ1 求解布尔矩阵分解的关键算法方法有哪些？它们在可扩展性和解质量方面如何比较？
• RQ2 BMF的近似理论极限是什么？为何标准最坏情况分析技术无法解释现有算法的实证成功？
• RQ3 能否将随机二分图中隐藏双团的随机块模型扩展到重叠双团覆盖，以提供BMF的可证明保证？
• RQ4 BMF如何适应多视图数据？在多个二值矩阵上进行联合分解有何优势？
• RQ5 未来研究中最具前景的方向是什么，特别是在弥合理论与实际性能差距方面？

主要发现

• 布尔矩阵分解是NP难解的，并且在标准复杂性假设下无法在任意常数因子内近似，这限制了最坏情况近似保证的能力。
• 尽管存在理论难解性，实际算法如贪心启发式和流方法（例如，Neumann和Miettinen，2020）在真实数据上以合理运行时间实现了高质量解。
• 使用二分随机块模型可在较弱条件下实现对随机图中隐藏双团的可证明恢复，即使在极小簇的情况下也成立。
• 联合BMF和置换不变BMF等扩展方法在多视图和图可视化应用中实现了更好的可解释性和结构发现。
• 近期理论工作表明，不相交双团覆盖可在时间 $2^{O(k^2)}(mn)^{O(1)}$ 内近似，相较于以往对 $k$ 的指数依赖，这是显著改进。
• 当前随机块模型结果从不相交扩展到重叠双团覆盖具有很强潜力，这可能首次为具有重叠组件的BMF提供可证明的近似保证。