[论文解读] Text Matching as Image Recognition

Liang Pang, Yanyan Lan+4 more|arXiv (Cornell University)|Feb 20, 2016

Topic Modeling参考文献 24被引用 176

一句话总结

本文提出 MatchPyramid，一種基於 CNN 的方法，通過構建詞級相似度匹配矩陣並從詞到句子學習分層匹配模式，將文本匹配視為圖像識別。

ABSTRACT

Matching two texts is a fundamental problem in many natural language processing tasks. An effective way is to extract meaningful matching patterns from words, phrases, and sentences to produce the matching score. Inspired by the success of convolutional neural network in image recognition, where neurons can capture many complicated patterns based on the extracted elementary visual patterns such as oriented edges and corners, we propose to model text matching as the problem of image recognition. Firstly, a matching matrix whose entries represent the similarities between words is constructed and viewed as an image. Then a convolutional neural network is utilized to capture rich matching patterns in a layer-by-layer way. We show that by resembling the compositional hierarchies of patterns in image recognition, our model can successfully identify salient signals such as n-gram and n-term matchings. Experimental results demonstrate its superiority against the baselines.

研究动机与目标

• 說明在文本匹配中從詞到句子層面捕捉豐富、層次化互動模式的必要性。
• 提出一種新的深度架構（MatchPyramid），透過匹配矩陣將文本匹配視為圖像識別。
• 證明分層卷積能捕捉從 unigram 到句子級的匹配信號。
• 與強基線在同義句判定與論文引用匹配任務上進行比較，以確立有效性。

提出的方法

• 構造匹配矩陣 M，其中 Mij 表示詞 wi 與 vj 之間的相似度（根據嵌入使用指示、餘弦或點積）。
• 在 M 上應用卷積神經網路，以通過分層卷積與動態池化提取多層次的匹配模式。
• 使用 ReLU 激活，並在頂部用兩層多層感知機訓練，以通過 softmax 與交叉熵損失產生最終匹配分數。
• 使用 Adagrad 進行優化，並採用早停與 dropout 等正則化技術。

实验结果

研究问题

• RQ1 MatchPyramid 能否在文本匹配任務（如同義句識別與論文引用匹配）上超越傳統與深度基線？
• RQ2 不同的詞級相似度定義（指示、餘弦、點積）如何影響性能？
• RQ3 分層卷積神經網路是否能有效捕捉有意義的詞到句子級匹配模式（如 n-gram、n-term）？
• RQ4 動態池化在處理匹配任務中的可變文本長度方面有何影響？

主要发现

• 使用實值矩陣（Cosine 或 Dot）的 MatchPyramid 在同義句識別（MSRP）上優於基線，其中 MP-Dot 達到 83.01% 的 F1。
• 在論文引用匹配中，MP-Dot 達到最佳結果（準確率 88.73%，F1 82.86%），表明語義感知的匹配有助於此任務。
• 基於指示的 MP 變體（MP-Ind）在 MSRP 上仍超越多個基線，顯示超越精確單詞匹配的互動模式的重要性。
• TF-IDF 仍然是論文引用匹配的強基線，突出數據集跨域轉移中的領域特異性差異。
• 該模型可視覺上學習對應於 n-gram 與 n-term 匹配的可解釋匹配模式，類似於圖像 CNN 的邊緣檢測器。
• 總體而言，MatchPyramid 在所研究的任務中超越 Arc-I/Arc-II 與其他深度模型，展示了詞到句子層次匹配方法的優勢。