[论文解读] Squared English Word: A Method of Generating Glyph to Use Super Characters for Sentiment Analysis

Baohua Sun, Lin Yang+3 more|arXiv (Cornell University)|Jan 24, 2019

Sentiment Analysis and Opinion Mining参考文献 7被引用 13

一句话总结

本文提出了一种基于平方英文词（SEW）的方法，通过将每个英文单词转换为方形字形，并将其排列成二维图像以供二维卷积神经网络（2D-CNN）分类，从而实现基于超级字符的英文文本情感分析。该方法在维基百科数据集上将准确率提升了2.1%，并通过结合用户资料特征与注意力机制，在机构预测和社交预测任务中分别实现了86.9%和85.8%的F1分数。

ABSTRACT

The Super Characters method addresses sentiment analysis problems by first converting the input text into images and then applying 2D-CNN models to classify the sentiment. It achieves state of the art performance on many benchmark datasets. However, it is not as straightforward to apply in Latin languages as in Asian languages. Because the 2D-CNN model is designed to recognize two-dimensional images, it is better if the inputs are in the form of glyphs. In this paper, we propose SEW (Squared English Word) method generating a squared glyph for each English word by drawing Super Characters images of each English word at the alphabet level, combining the squared glyph together into a whole Super Characters image at the sentence level, and then applying the CNN model to classify the sentiment within the sentence. We applied the SEW method to Wikipedia dataset and obtained a 2.1% accuracy gain compared to the original Super Characters method. For multi-modal data with both structured tabular data and unstructured natural language text, the modified SEW method integrates the data into a single image and classifies sentiment with one unified CNN model.

研究动机与目标

• 为解决拉丁字母脚本中超级字符方法的局限性，通过基于字形的二维图像表示，实现对英文文本的超级字符式2D-CNN情感分析。
• 设计一种一对一、无损的预处理方法，将英文单词映射为方形字形，以确保一致的图像输入。
• 通过将结构化用户资料数据整合到超级字符图像表示中，提升英文文本情感分类的准确率。
• 评估注意力机制在关键词汇和资料特征上的影响，以增强基于CNN的情感预测性能。
• 在大规模数据集（如维基百科）和小规模基准（如CL-AFF）上，展示SEW方法的可扩展性与有效性。

提出的方法

• 使用固定大小的像素网格将每个英文单词渲染为方形字形，保留其空间与视觉结构，以适配2D-CNN输入。
• SEW方法通过在二维网格中排列单个单词字形，构建完整句子的图像，避免换行与单词拆分。
• 通过使用值为1（大字体）、-1（跳过）和0（空）的二维蓝图数组，为显著词汇（特别是前四个词）分配更大的像素区域，应用注意力机制。
• 将资料特征（如性别、婚姻状况、年龄）编码为单个字符字形（如'm'、'd'、'f'），并嵌入到图像中指定的注意力区域。
• 最终图像将非结构化文本与结构化资料数据整合为单一输入，供统一的2D-CNN模型（SE-Net-154）处理。
• 该方法通过动态整合表格数据与文本数据，支持仅文本和多模态输入，形成统一的视觉表示。

实验结果

研究问题

• RQ1 能否通过基于字形的图像表示，有效将超级字符方法适配至英文等拉丁字母脚本？
• RQ2 与存在换行的原始超级字符表示相比，将英文单词转换为方形字形是否能提升情感分类准确率？
• RQ3 在情感预测任务中，对显著词汇应用注意力机制在多大程度上能提升模型性能？
• RQ4 将结构化用户资料数据整合到超级字符图像中，在提升多模态情感分类性能方面有多有效？
• RQ5 SEW方法是否在大规模与小规模数据集上均能实现可测量的准确率提升？

主要发现

• 与原始超级字符方法相比，SEW方法在维基百科数据集上实现了2.1%的准确率提升。
• 在CL-AFF共享任务中，SEW-仅文本版本将社交情感分类准确率从82.5%提升至83.3%，优于原始超级字符基线。
• 将资料特征整合到SEW图像中，使社交预测准确率提升至85.6%，机构预测准确率提升至86.3%。
• SEW-仅文本-注意力-资料特征方法在机构预测中达到最高性能（86.9%准确率），社交预测中为85.8%。
• 对前四个词应用注意力机制仅带来0.1%的准确率提升，表明更智能的关键字选择可能进一步优化结果。
• 该方法展现出良好的可扩展性：在大规模数据集（如维基百科）上取得显著提升，但在小规模数据集（如CL-AFF）上提升有限，可能受数据量限制影响。