[论文解读] Nonnegative Matrix Factorization (NMF) with Heteroscedastic Uncertainties and Missing data

Guangtun Zhu|arXiv (Cornell University)|Dec 19, 2016

Optical Polarization and Ellipsometry参考文献 1被引用 15

一句话总结

本文提出了一种向量化且收敛的非负矩阵分解（NMF）算法，可处理异方差不确定性与缺失数据，将Lee & Seung的乘法更新规则扩展至处理可变测量误差与不完整观测。该方法采用加权代价最小化，以Python实现，并在星系际光学光谱数据上进行了演示，展示了在不同组分数下均具备收敛性与鲁棒性。

ABSTRACT

Dimensionality reduction and matrix factorization techniques are important and useful machine-learning techniques in many fields. Nonnegative matrix factorization (NMF) is particularly useful for spectral analysis and image processing in astronomy. I present the vectorized update rules and an independent proof of their convergence for NMF with heteroscedastic measurements and missing data. I release a Python implementation of the rules and use an optical spectroscopic dataset of extragalactic sources as an example for demonstration. A future paper will present results of applying the technique to image processing of planetary disks.

研究动机与目标

• 将标准NMF扩展至处理天文物体数据集中的异方差测量不确定性与缺失数据。
• 为在这些条件下NMF的乘法更新规则提供数学上严谨的向量化公式化表达。
• 证明在所提出的更新规则下，加权代价函数的非增性。
• 发布一个生产就绪的Python实现（NonnegMFPy），支持稀疏矩阵、掩码和投影模式。
• 在真实星系际光学光谱数据上展示该方法的性能。

提出的方法

• 提出一种向量化的NMF乘法更新规则，引入权重矩阵V以考虑异方差不确定性。
• 引入掩码矩阵M，通过从代价函数中排除这些条目来处理缺失数据。
• 推导出一种加权代价函数，将标准Frobenius范数推广至包含测量不确定性和缺失值。
• 基于辅助函数法，独立证明在更新规则下加权代价函数是非增的。
• 在Python中实现该算法，支持稀疏矩阵和投影模式（H_only, W_only）。
• 将该方法应用于真实星系光谱数据集，使用逆方差作为权重，并对缺失通量值使用掩码。

实验结果

研究问题

• RQ1 标准NMF的乘法更新规则能否被推广以处理非均匀测量不确定性与缺失数据，同时保持收敛性？
• RQ2 在所提出的更新规则下，加权代价函数是否仍保持非增性，从而确保算法稳定性？
• RQ3 在真实天文物体光谱数据上，与标准NMF相比，该方法在考虑不确定性和缺失数据时的性能如何？
• RQ4 该方法能否在Python等向量化语言中高效实现，同时支持稀疏数据和投影模式？
• RQ5 在存在不确定性和缺失值的情况下，组分数对收敛性和分解质量的影响如何？

主要发现

• 所提出的具有异方差不确定性与缺失数据的NMF向量化更新规则，可确保加权代价函数非增，从而证明收敛性。
• 该算法在星系际光学光谱数据集上成功收敛，且在不同组分数下，加权代价随迭代次数持续下降。
• Python实现（NonnegMFPy）支持完整分解与投影模式，可高效实现给定W时学习H或给定H时学习W。
• 该方法能有效处理稀疏数据与缺失值，如光谱示例中使用掩码矩阵和逆方差作为权重所展示的。
• 代码已公开发布于PyPI与GitHub，附带文档与用户指南，便于在天体数据处理中推广应用。
• 该方法通过考虑测量不确定性和数据不完整性，优于标准NMF，而这两者在大型天文物体巡天中极为常见。