[论文解读] Taxicab Correspondence Analysis of Sparse Contingency Tables

Vartan Choulakian|arXiv (Cornell University)|Aug 27, 2015

Sensory Analysis and Statistical Methods参考文献 18被引用 4

一句话总结

本文提出一种基于对应分析（CA）和税车对应分析（TCA）不变性特性的7个数值稀疏性度量，用于量化列联表中的稀疏性。研究表明，由于其底层几何结构不同，CA与TCA在稀疏列联表中的映射结果往往存在显著差异；当CA因高值单元、稀有观测或零块结构而失真时，TCA能提供更具可解释性的映射结果。

ABSTRACT

Visualization and interpretation of contingency tables by correspondence analysis (CA), as developed by Benzecri, has a rich structure based on Euclidean geometry. However, it is a well established fact that, often CA is very sensitive to sparse contingency tables, where we caracterize sparsity as the existence of relatively high-valued counts, rare observations discussed by Rao (1995), and zero-block structure emphasized by Novak and Bar-Hen (2005) and Greenacre (2013). In this paper, we aim to emphasize the important roles played by L1 and L2 geometries. This will be done by comparing the maps obtained by CA with the maps obtained by taxicab correspondence analysis (TCA), where TCA is a robust L1 variant of correspondence analysis. If the projections of view of both maps are quite different, we refer to this phenomenon as parallax. In astronomy, parallax means the apparent change in the position of an object as seen from two different points. In our case the two different points correspond to the two different geometries, Euclidean and Taxicab. The existence of a parallax highlights the important, but hidden, role of the underlying geometry in the interpretation of the maps obtained in multivariate data analysis. We emphasize the following fact: Only by comparing CA and TCA graphical displays, we are able to reveal the phenomenon of parallax. Examples are provided.

研究动机与目标

• 为解决经典对应分析（CA）对稀疏列联表的敏感性，特别是对高值单元、稀有观测和零块结构的敏感性。
• 通过利用基于L1范数的稳健替代方法——税车对应分析（TCA），提出一种对稀疏数据更具鲁棒性和可解释性的CA替代方案，TCA采用L1几何而非欧几里得几何。
• 基于CA和TCA不变性下的最小等价列联表，提出一种基于7个数值的稀疏性度量，以量化列联表中的稀疏性。
• 通过在十个真实和合成数据集上对CA与TCA映射进行实证比较，评估在不同稀疏条件下映射的相似性、部分相似性或差异性。
• 为研究人员提供一种诊断框架，以判断在给定稀疏列联表中，CA或TCA是否更为合适。

提出的方法

• 利用CA和TCA在行与列排列及缩放变换下的不变性，构建列联表的等价类，从而定义一个最小尺寸的代表性表格。
• 基于该等价类推导出的最小表格尺寸及结构特性（如非零单元数量、行/列质量分布等），定义一个7个数值的稀疏性度量。
• 对同一列联表同时应用CA和TCA，计算奇异值和离散度度量，以比较其生成的二维映射结果。
• 在TCA中使用L1范数（曼哈顿距离）以降低对异常值和高值单元的敏感性，与CA中使用的L2范数（欧几里得距离）形成对比。
• 分析奇异值和第一轴离散度度量（σ₁^TCA），以检测如块对角结构或行/列子集质量集中等结构性模式。
• 通过真实数据集（如Texel丰度数据）和合成示例，对CA与TCA映射进行视觉和定量比较，评估其映射相似性或差异性。

实验结果

研究问题

• RQ1 在何种条件下，CA与TCA会在稀疏列联表中产生相似、部分相似或不同的映射？
• RQ2 除了平均单元值或零单元占比外，如何系统性地量化列联表中的稀疏性？
• RQ3 高值单元、稀有观测或零块结构在多大程度上会扭曲CA映射，而TCA映射则相对更稳定？
• RQ4 基于最小等价表格的7个数值度量能否有效表征列联表的稀疏性结构？
• RQ5 在何种场景下，TCA能为稀疏数据提供比CA更具可解释性或更稳定的可视化结果？

主要发现

• 基于CA/TCA不变性下最小等价列联表推导出的7个数值稀疏性度量，提供了一种稳健且不变的稀疏性度量方式，能够捕捉块结构和质量集中等结构性特征。
• 对于Texel丰度数据（285×220），CA需要71个维度才能解释数据，奇异值接近1，表明其具有高维结构；而TCA的离散度度量呈递减趋势（σ₁^TCA = 0.8026，σ₂^TCA = 0.7768），表明其具有更稳定、更低维的结构。
• 在包含元素(1,2,3,4,6)的对角列联表中，CA产生相同的奇异值（σ₁^CA = 1），表明存在块结构；而TCA仅在行质量之和为0.5时才出现σ₁^TCA = 1，验证了理论上的最大离散度条件。
• 在5×5对角列联表（1,2,3,4,5）中，CA再次产生均匀的奇异值（σ₁^CA = 1），但TCA显示出递减的离散度（σ₁^TCA = 0.99556，σ₂^TCA = 0.95714），表明TCA对对称高值单元的敏感性更低。
• 在Texel数据集中，CA与TCA的映射结果完全不同，TCA映射展现出更一致的结构，表明在高稀疏性条件下，TCA能揭示被CA掩盖的有意义模式。
• 本文结论认为，CA与TCA映射相辅相成；对于稀疏表格，两者结果不同的概率为正，强调了在实际分析中应结合使用两种方法以实现稳健的解释。