[论文解读] Stochastic Coordinate Coding and Its Application for Drosophila Gene Expression Pattern Annotation

Binbin Lin, Qingyang Li+5 more|arXiv (Cornell University)|Jul 30, 2014

Gene expression and cancer classification参考文献 37被引用 40

一句话总结

本文提出随机坐标编码（Stochastic Coordinate Coding, SCC），一种用于稀疏编码的高效算法，通过结合坐标下降法更新稀疏码与二阶随机梯度下降法更新字典，显著加速字典学习过程。SCC 在保持与最先进方法相当的果蝇基因表达图像标注准确率的同时，训练速度最高提升两个数量级，实现了大规模生物图像数据的可扩展分析。

ABSTRACT

extit{Drosophila melanogaster} has been established as a model organism for investigating the fundamental principles of developmental gene interactions. The gene expression patterns of extit{Drosophila melanogaster} can be documented as digital images, which are annotated with anatomical ontology terms to facilitate pattern discovery and comparison. The automated annotation of gene expression pattern images has received increasing attention due to the recent expansion of the image database. The effectiveness of gene expression pattern annotation relies on the quality of feature representation. Previous studies have demonstrated that sparse coding is effective for extracting features from gene expression images. However, solving sparse coding remains a computationally challenging problem, especially when dealing with large-scale data sets and learning large size dictionaries. In this paper, we propose a novel algorithm to solve the sparse coding problem, called Stochastic Coordinate Coding (SCC). The proposed algorithm alternatively updates the sparse codes via just a few steps of coordinate descent and updates the dictionary via second order stochastic gradient descent. The computational cost is further reduced by focusing on the non-zero components of the sparse codes and the corresponding columns of the dictionary only in the updating procedure. Thus, the proposed algorithm significantly improves the efficiency and the scalability, making sparse coding applicable for large-scale data sets and large dictionary sizes. Our experiments on Drosophila gene expression data sets demonstrate the efficiency and the effectiveness of the proposed algorithm.

研究动机与目标

• 为解决大规模生物图像分析中稀疏编码的计算瓶颈，特别是果蝇基因表达模式标注问题。
• 开发一种可扩展且高效的算法，降低稀疏编码中更新稀疏码与字典的高计算成本。
• 利用稀疏编码实现从大规模果蝇基因表达图像数据集中高效学习特征，同时计算开销最小化。
• 提升稀疏编码在大字典尺寸与大规模数据集下的可扩展性，使高通量生物数据的自动图像标注成为可能。

提出的方法

• SCC 通过少量坐标下降步骤交替更新稀疏码，仅聚焦于非零分量，从而减少计算量。
• 字典通过二阶随机梯度下降法更新，利用小批量数据提升收敛速度与效率。
• 该算法仅选择性地更新稀疏码中的非零条目及其对应的字典列，显著降低计算成本。
• SCC 利用码的稀疏性与优化问题的结构特性，加速收敛过程，同时不损失准确性。
• 该方法专为可扩展性设计，适用于大规模数据集与常见的生物图像分析中较大的字典尺寸。
• 该框架可扩展至监督学习与多任务学习场景，增强其在多样化生物数据问题中的适用性。

实验结果

研究问题

• RQ1 是否可通过随机优化方法显著降低稀疏编码的计算成本，同时在生物图像标注任务中保持高准确率？
• RQ2 在大规模果蝇基因表达图像数据集上，所提出的SCC算法与在线学习（OL）相比，在速度与性能方面表现如何？
• RQ3 随着字典尺寸增大，SCC是否能保持或提升标注性能，尤其与批量方法或在线方法相比？
• RQ4 仅聚焦于稀疏码的非零分量及其对应字典列，能在多大程度上提升计算效率？

主要发现

• 与在线学习（OL）相比，SCC 将计算时间最多减少两个数量级，在大字典尺寸（如2000×128）下实现100倍加速。
• 当字典尺寸为2000×128时，SCC 仅用0.75小时完成训练，而OL需102.64小时，充分证明其优越的可扩展性。
• 在字典尺寸为500×128时，OL 略优于SCC的标注准确率，但在1000×128与2000×128时两者性能趋于一致。
• SCC 的目标函数值与OL相近，表明尽管收敛更快，但解的质量仍很高。
• SCC 的计算成本随字典尺寸增长的速度远低于OL，尤其在字典更新方面，进一步证实其可扩展性。
• 该算法在不牺牲特征质量的前提下实现高效率，使稀疏编码在大规模生物图像标注中具备实际可行性。