[论文解读] Word Shape Matters: Robust Machine Translation with Visual Embedding

Haohan Wang, Peiyan Zhang+1 more|arXiv (Cornell University)|Oct 20, 2020

Multimodal Machine Learning Applications参考文献 46被引用 7

一句话总结

本文提出视觉嵌入（VE），一种将字符形状编码为低维图像表示的方法，以提升神经机器翻译（NMT）模型在处理拼写错误和噪声等次标准输入时的鲁棒性。通过用形状感知的视觉嵌入替代传统的独热字符编码，模型在分布外测试噪声下表现出更优的泛化能力，尤其在训练分布之外的噪声场景中表现更优。

ABSTRACT

Neural machine translation has achieved remarkable empirical performance over standard benchmark datasets, yet recent evidence suggests that the models can still fail easily dealing with substandard inputs such as misspelled words, To overcome this issue, we introduce a new encoding heuristic of the input symbols for character-level NLP models: it encodes the shape of each character through the images depicting the letters when printed. We name this new strategy visual embedding and it is expected to improve the robustness of NLP models because humans also process the corpus visually through printed letters, instead of machinery one-hot vectors. Empirically, our method improves models' robustness against substandard inputs, even in the test scenario where the models are tested with the noises that are beyond what is available during the training phase.

研究动机与目标

• 解决人类与NMT模型在处理拼写错误和噪声文本等次标准输入时的鲁棒性差距。
• 识别NMT模型脆弱性的根源在于使用人工生成的独热向量，而非人类对字符形状的视觉处理方式。
• 提出一种新型编码策略——视觉嵌入（VE），通过模拟人类对印刷字符的视觉感知，提升模型的抗干扰能力。
• 证明VE在分布外噪声下优于对抗训练，尤其在未见的测试时间噪声分布中表现更优。
• 通过最小的架构改动和计算开销，将VE集成到现有字符级NMT模型中。

提出的方法

• 将每个字符表示为印刷图像（如16×16像素位图），以捕捉其视觉形状。
• 应用降维技术（如PCA或自编码器）将图像压缩为紧凑的视觉嵌入（VE）向量。
• 在字符级NMT模型中，用学习到的视觉嵌入替换标准的独热字符嵌入。
• 在训练过程中使用合成噪声增强（如拼写错误、字符替换）以提升鲁棒性。
• 通过在训练中未见过的更高概率噪声分布上进行测试，评估泛化能力——超越标准对抗鲁棒性基准。
• 通过将VE作为输入层中独热编码的即插即用替代品，确保与现有模型的兼容性。

实验结果

研究问题

• RQ1 通过视觉嵌入建模字符形状，能否提升NMT对拼写错误和噪声等次标准输入的鲁棒性？
• RQ2 在分布外噪声下测试时，视觉嵌入是否优于标准独热编码和对抗训练？
• RQ3 视觉嵌入在未见训练噪声类型上的泛化能力有多强？
• RQ4 与独热编码相比，视觉嵌入的引入对训练动态和收敛速度有何影响？
• RQ5 在何种情况下，视觉嵌入可能因与人类对字形的感知不一致（如大小写敏感性）而失效？

主要发现

• 使用视觉嵌入（VE）的模型在面对未见的测试时间噪声时，表现出显著更高的鲁棒性，优于标准的独热编码模型。
• 当测试时间噪声超过训练期间遇到的噪声水平时，VE模型仍能保持强劲性能，而标准对抗训练在此类场景下通常会失效。
• 视觉嵌入技术在减少输入尺寸的同时，保持或增强了模型的鲁棒性，优于独热编码。
• VE在数据增强之外仍能提升泛化能力，表明基于形状的归纳偏置有助于模型学习更鲁棒的表示。
• 尽管需要更多训练轮次才能收敛，VE模型在真实世界噪声场景中仍展现出更优的鲁棒性。
• 该方法可广泛应用于任何使用独热嵌入的字符级NLP模型，且实现开销极低。