[论文解读] The Price is Right: Predicting Prices with Product Images.

Steven Chen, Edward Chou+1 more|arXiv (Cornell University)|Mar 29, 2018

Market Dynamics and Volatility参考文献 12被引用 4

一句话总结

本文提出一种深度学习方法，仅通过图像预测产品价格，使用自建的自行车和汽车数据集。该方法采用集成卷积神经网络（CNN）模型并结合迁移学习，可视化影响价格预测的关键图像特征，在性能上显著优于传统方法（如HOG和SVM基线）。

ABSTRACT

In this work, we build an ensemble of machine learning models to predict the price of a product given its image, and visualize the features that result in higher or lower price predictions. We collect two novel datasets of product images and their MSRP prices for this purpose: a bicycle dataset and a car dataset. We set baselines for price regression using linear regression on histogram of oriented gradients (HOG) and convolutional neural network (CNN) features, and a baseline for price segment classification using a multiclass SVM. For our main models, we train several deep CNNs using both transfer learning and our own architectures, for both regression and classification. We achieve strong results on both datasets, with deep CNNs significantly outperforming other models in a variety of metrics. Finally, we use several recently-developed methods to visualize the image features that result in higher or lower prices.

研究动机与目标

• 开发一种机器学习系统，仅基于图像中的视觉特征预测产品价格。
• 收集并发布两个新型产品图像数据集，包含对应的产品建议零售价（MSRP）信息，以供研究使用。
• 将深度学习模型与传统方法（如HOG和SVM）在价格预测任务中进行对比。
• 通过可视化对模型决策进行解释，识别出对高或低价格预测贡献最大的图像区域。
• 使用多种指标，在回归和分类任务中评估模型性能。

提出的方法

• 收集两个新数据集：一个为自行车图像数据集，一个为汽车图像数据集，均包含图像及其对应的MSRP价格。
• 使用方向梯度直方图（HOG）和预训练卷积神经网络（CNN）特征作为回归与分类任务的基线输入。
• 针对价格回归与价格等级分类任务，分别使用迁移学习和自定义网络架构训练多个深度CNN模型。
• 采用集成建模方法，融合多个CNN架构的预测结果，以提升模型的鲁棒性与准确性。
• 应用可解释性技术，可视化对价格预测有正向或负向影响的图像区域。
• 在两个数据集上，使用标准的回归与分类指标评估模型性能。

实验结果

研究问题

• RQ1 深度CNN能否仅基于图像有效预测产品价格，且性能显著优于传统手工设计的特征（如HOG）？
• RQ2 不同CNN架构与训练策略在真实世界产品图像上的价格预测准确率方面有何影响？
• RQ3 产品图像中的哪些视觉特征与高或低价格预测的相关性最强？
• RQ4 迁移学习与自定义CNN设计在新型产品价格预测任务中能在多大程度上提升性能？
• RQ5 在定价任务背景下，深度学习模型的预测结果在多大程度上具有可解释性？

主要发现

• 深度CNN在回归与分类任务中均显著优于基于HOG特征的线性回归模型和多分类SVM基线模型。
• 使用预训练CNN进行迁移学习可获得优异性能，表明预训练的视觉表征在价格预测任务中具有重要价值。
• 从零开始训练的自定义CNN架构也取得了高性能，表明领域特定的特征学习具有显著有效性。
• 可视化结果表明，品牌标志、车辆品牌/型号以及产品状况等特征是价格预测的关键驱动因素。
• 集成多个深度学习模型在自行车和汽车数据集上的回归与分类准确率方面均达到当前最优水平。
• 可解释性方法成功突出显示了与价格变化相关的图像区域，如车轮、大灯或车架细节等。