[论文解读] STAIR Captions: Constructing a Large-Scale Japanese Image Caption Dataset

Yuya Yoshikawa, Yutaro Shigeto+1 more|arXiv (Cornell University)|May 2, 2017

Multimodal Machine Learning Applications参考文献 13被引用 21

一句话总结

本稿では、MS-COCOの164,062枚の画像から構成される大規模な日本語画像キャプションデータセット「STAIR Captions」を紹介する。このデータセットには合計820,310のキャプションが含まれる。日本語キャプションを直接学習させたニューラル画像キャプションモデルは、英語キャプション生成後に翻訳するパイプラインを上回り、より自然で正確なキャプションを生成した。これは、日本語のような低リソース言語において、高品質な生成を達成するには言語固有の学習データが必要であることを示している。

ABSTRACT

In recent years, automatic generation of image descriptions (captions), that is, image captioning, has attracted a great deal of attention. In this paper, we particularly consider generating Japanese captions for images. Since most available caption datasets have been constructed for English language, there are few datasets for Japanese. To tackle this problem, we construct a large-scale Japanese image caption dataset based on images from MS-COCO, which is called STAIR Captions. STAIR Captions consists of 820,310 Japanese captions for 164,062 images. In the experiment, we show that a neural network trained using STAIR Captions can generate more natural and better Japanese captions, compared to those generated using English-Japanese machine translation after generating English captions.

研究动机与目标

• 神経画像キャプションモデルの学習に適した大規模かつ高品質な日本語画像キャプションデータセットの不足に対処すること。
• 英語のキャプション生成後に機械翻訳を行う手法を超える、日本語画像キャプション生成の品質を向上させること。
• 直接日本語キャプションで学習させることで、翻訳ベースのアプローチに比べてより自然で正確なキャプションが得られることを示すこと。
• 日本語画像キャプション研究のための公開可能で大規模なベンチマークデータセットを提供すること。

提出的方法

• MS-COCO 2014データセットの全164,062枚の画像に対して、1枚あたり5つの日本語キャプションを収集し、STAIR Captionsを構築した。公開リリースではテストセットのキャプションは除外された。
• 品質と一貫性を確保するため、パートタイムおよびクラウドソーシングの作業者を用いたウェブベースのアノテーションシステムを採用した。
• 厳密なアノテーションガイドラインを適用：最小15文字、だ・である調、1文のみ、事実の記述に限定、意見や感情を含めない。
• モデル学習時の前処理として、形態素解析（MeCab）を用いた。
• VGG-16をCNN特徴抽出器として使用し、LSTMをキャプション生成に用いたseq2seqモデルを訓練。CNNの重みは固定し、LSTMのパラメータのみ微調整した。
• 2つの手法を比較した：(1) En-generator → MT（英語キャプション生成＋Google翻訳）、(2) Ja-generator（STAIR Captionsで直接学習）。両者ともKarpathyとFei-Feiのアーキテクチャを採用した。

实验结果

研究问题

• RQ1 日本語キャプションで直接学習させたニューラル画像キャプションモデルは、英語キャプション生成後に翻訳するパイプラインに比べ、より自然で正確なキャプションを生成できるか？
• RQ2 STAIR Captionsで学習した日本語キャプションモデルの性能は、翻訳ベースのベースラインと定量的にどのように比較されるか？
• RQ3 直接日本語で学習した場合と英語→日本語翻訳で生成した場合のキャプションに、どのような定性的な差異が生じるか？
• RQ4 大規模かつ言語固有のデータセットは、日本語のような低リソース言語において、キャプション生成品質をどの程度向上させるか？

主要发现

• STAIR Captionsで直接学習したJa-generatorモデルは、En-generator → MTベースライン（0.324）に比べ、CIDErスコアで顕著に高い0.833を達成し、キャプション品質の優位性を示した。
• Ja-generatorモデルは、すべての評価指標でベースラインを上回った：BLEU-1（0.763 vs. 0.565）、BLEU-2（0.614 vs. 0.330）、BLEU-3（0.492 vs. 0.204）、BLEU-4（0.385 vs. 0.127）、ROUGE-L（0.553 vs. 0.449）。
• 定性的な分析から、Ja-generatorはより自然で文脈的に正確なキャプションを生成することが判明。例として、「お菓子の束」という直訳的表現ではなく、「ドーナツ」と正しく特定した。
• STAIR Captionsで学習したモデルは、「二階建てのバス」といった自然な日本語表現を生成したが、翻訳パイプラインは「二重デッカーバス」という直訳的で不自然な表現を出力した。
• 結果から、低リソース言語における流暢で正確なキャプション生成には、言語固有の高品質キャプションデータでの直接学習が不可欠であることが確認された。
• STAIR Captionsは、これまでに公開された中で最大規模の日本語画像キャプションデータセットであり、164,062枚の画像に対して合計820,310のキャプションを含む。YJ Captionsなど既存のデータセットを6倍以上に上回る規模である。