[论文解读] Scalable Spectral Clustering with Group Fairness Constraints

Ji Wang, Ding Lu+2 more|arXiv (Cornell University)|Oct 28, 2022

Complex Network Analysis Techniques被引用 4

一句话总结

本文提出 s-FairSC，一种可扩展的谱聚类算法，通过整合空值空间投影与霍特林降维法，将昂贵的稠密矩阵运算替换为稀疏矩阵-向量乘积，从而在保持相近公平性与可扩展性的同时，相较于 FairSC 实现了 12 倍的加速，且与标准谱聚类相比仅带来微小的计算开销。

ABSTRACT

There are synergies of research interests and industrial efforts in modeling fairness and correcting algorithmic bias in machine learning. In this paper, we present a scalable algorithm for spectral clustering (SC) with group fairness constraints. Group fairness is also known as statistical parity where in each cluster, each protected group is represented with the same proportion as in the entirety. While FairSC algorithm (Kleindessner et al., 2019) is able to find the fairer clustering, it is compromised by high costs due to the kernels of computing nullspaces and the square roots of dense matrices explicitly. We present a new formulation of underlying spectral computation by incorporating nullspace projection and Hotelling's deflation such that the resulting algorithm, called s-FairSC, only involves the sparse matrix-vector products and is able to fully exploit the sparsity of the fair SC model. The experimental results on the modified stochastic block model demonstrate that s-FairSC is comparable with FairSC in recovering fair clustering. Meanwhile, it is sped up by a factor of 12 for moderate model sizes. s-FairSC is further demonstrated to be scalable in the sense that the computational costs of s-FairSC only increase marginally compared to the SC without fairness constraints.

研究动机与目标

• 为解决 FairSC 的高计算成本问题，其依赖于稠密矩阵的平方根与空值空间计算。
• 开发一种 FairSC 的可扩展替代方案，以在谱聚类中保持群体公平性。
• 利用公平谱聚类模型中的稀疏性，降低计算复杂度。
• 确保新算法能随数据集规模高效扩展，性能接近标准谱聚类。

提出的方法

• 通过空值空间投影重新表述 FairSC 的谱计算，以强制实施公平性约束。
• 应用霍特林降维法，通过迭代方式提取特征向量，而无需显式矩阵分解。
• 将稠密矩阵运算替换为稀疏矩阵-向量乘积，以利用数据中的稀疏性。
• 通过修改后的拉普拉斯矩阵，将公平性约束整合到谱聚类目标中。
• 使用迭代求解器（如幂法）在稀疏矩阵上高效运行。
• 通过在每个聚类中保持群体比例，确保算法维持公平性。

实验结果

研究问题

• RQ1 能否在不牺牲公平性质量的前提下，使具有群体公平性的谱聚类实现计算可扩展？
• RQ2 与标准谱聚类相比，公平谱聚类的计算成本如何随数据集规模增长？
• RQ3 在公平谱聚类中，稀疏矩阵运算能否替代稠密矩阵运算，同时保持公平性？
• RQ4 与 FairSC 相比，新方法在速度与可扩展性方面有何性能提升？
• RQ5 所提出方法在合成网络与真实世界网络上是否能维持与 FairSC 相当的公平性水平？

主要发现

• 在中等规模数据集的修改版随机块模型上，s-FairSC 相较于 FairSC 实现了 12 倍加速。
• 在 LastFMNet 数据集上，当 k ≥ 5 时，s-FairSC 比 FairSC 快 7 倍，且运行速度接近标准 SC。
• 平均平衡度指标显示，s-FairSC 产生的聚类公平性水平几乎与 FairSC 相同，证实了公平性的保持。
• s-FairSC 与标准谱聚类相比仅带来微小的计算成本增加，展现出强大的可扩展性。
• 在随机拉普拉斯模型中，s-FairSC 在节点数从 5,000 到 10,000、不同 k 和 h 值下均保持可扩展性。
• 该算法有效利用了稀疏性，适用于大规模公平聚类应用。