[论文解读] Outfit Generation and Style Extraction via Bidirectional LSTM and Autoencoder

Takuma Nakamura, Ryosuke Goto|arXiv (Cornell University)|Jun 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 3被引用 40

一句话总结

本文提出一个基于 BiLSTM 的服装序列联合模型以及一个无监督风格提取自编码器，用以学习时尚兼容性和可解释的服装风格，从而实现基于风格的服装生成。

ABSTRACT

When creating an outfit, style is a criterion in selecting each fashion item. This means that style can be regarded as a feature of the overall outfit. However, in various previous studies on outfit generation, there have been few methods focusing on global information obtained from an outfit. To address this deficiency, we have incorporated an unsupervised style extraction module into a model to learn outfits. Using the style information of an outfit as a whole, the proposed model succeeded in generating outfits more flexibly without requiring additional information. Moreover, the style information extracted by the proposed model is easy to interpret. The proposed model was evaluated on two human-generated outfit datasets. In a fashion item prediction task (missing prediction task), the proposed model outperformed a baseline method. In a style extraction task, the proposed model extracted some easily distinguishable styles. In an outfit generation task, the proposed model generated an outfit while controlling its styles. This capability allows us to generate fashionable outfits according to various preferences.

研究动机与目标

• 说明在考虑单品兼容性的同时建模全局服装风格的必要性。
• 提出一个端到端架构，联合学习服装序列与全局风格。
• 实现无监督的风格提取，产生可解释的风格向量。
• 展示在目标风格条件下的服装生成，并在真实数据集上进行评估。

提出的方法

• 将服装表示为由 CNN 提取的单品特征序列。
• 使用 BiLSTM 学习服装内的单品兼容性（前向和后向传播）。
• 使用 Visual-Semantic Embedding (VSE) 将图像特征与文本属性对齐（有可用时）。
• 引入 Style Embedding (SE) 模块，通过 softmax 风格向量将服装风格编码为基础风格的混合。
• 使用组合目标 E_f + E_b + E_e + E_s + E_r 进行训练，使无监督风格学习和端到端优化成为可能。
• 通过束搜索实现风格受控的服装生成，优化联合序列似然和风格相似度项。

实验结果

研究问题

• RQ1 基于 BiLSTM 的模型是否能够捕捉超越局部单品对的全局服装兼容性？
• RQ2 无监督风格提取模块是否能够产生跨服装可解释的风格向量？
• RQ3 引入风格嵌入模块是否能提高缺失项预测的准确性并实现基于风格的服装生成？

主要发现

数据集	方法	gamma	Acc
Polyvore	Bi-LSTM + VSE (Han et al., 2017)	-	0.726
Polyvore	Bi-LSTM + SE (this paper)	0.0	0.729
Polyvore	Bi-LSTM + SE (this paper)	0.2	0.727
Polyvore	Bi-LSTM + SE (this paper)	0.5	0.723
Polyvore	Bi-LSTM + VSE + SE (this paper)	0.0	0.728
Polyvore	Bi-LSTM + VSE + SE (this paper)	0.2	0.732
Polyvore	Bi-LSTM + VSE + SE (this paper)	0.5	0.732
IQON	Bi-LSTM	-	0.703
IQON	Bi-LSTM + SE (this paper)	-	0.715
IQON	Bi-LSTM + SE (this paper)	0.2	0.713
IQON	Bi-LSTM + SE (this paper)	0.5	0.711

• BiLSTM + SE 模型在 Polyvore 上的缺项预测准确率高于基线，在 IQON 上也具有竞争力的结果。
• SE 模块提取的风格向量具有可解释性，可以线性组合形成新的服装风格。
• 在目标风格下生成的服装反映出预期的风格特征，展示出可控的风格感知生成。
• 在不使用 VSE 的情况下使用 BiLSTM + SE 仍然获得很强的性能，表明无需标注属性也能实现有效的风格感知序列建模。
• 具有多元素的风格基础可以通过基础风格混合来表示复杂的服装。