[论文解读] The User Feedback on SentiWordNet

Andrea Esuli|arXiv (Cornell University)|Jun 6, 2013

Semantic Web and Ontologies参考文献 2被引用 5

一句话总结

本文介绍了对 SentiWordNet 3.0 用户反馈的收集、匿名化及发布。SentiWordNet 3.0 是一种词汇资源，为 WordNet 同义词集分配情感得分（积极度、消极度、客观度）。反馈通过重新设计的网页界面和下载门户收集，来自 1,209 个独立 IP 地址，其中 63.7% 确认为原始值，数据以 CC BY-SA 3.0 许可发布，供公众使用并用于该资源的未来改进。

ABSTRACT

With the release of SentiWordNet 3.0 the related Web interface has been restyled and improved in order to allow users to submit feedback on the SentiWordNet entries, in the form of the suggestion of alternative triplets of values for an entry. This paper reports on the release of the user feedback collected so far and on the plans for the future.

研究动机与目标

• 收集并保存用户对 SentiWordNet 条目反馈，以提高自动生成情感得分的准确性。
• 通过匿名化 IP 地址并利用 WHOIS 查询保留地理位置元数据，解决隐私问题。
• 通过重新设计界面以减少意外或低效确认，提升反馈质量。
• 区分反馈来源（搜索界面 vs. 下载界面），以支持未来分析与质量评估。
• 以宽松许可公开发布反馈数据，以支持情感词典的研究与优化。

提出的方法

• 部署了重新设计的网页界面，在同义词集页面添加了“反馈！”按钮，并通过反馈对话框提交替代情感三元组。
• 从两个来源收集反馈：交互式搜索界面和下载页面，后者在下载链接前弹出反馈对话框。
• 通过将 IP 地址替换为唯一标识符，并利用 WHOIS 地理定位添加国家代码，实现用户 IP 的匿名化，同时移除精确时间戳。
• 将反馈条目结构化为制表符分隔的行，字段包括：递增 ID、同义词集 ID、词性、原始与用户提交的积极度/消极度得分、日期、匿名化 IP、国家代码及词义对。
• 实施了反馈路由机制，优先处理已有反馈条目较少的同义词集，以确保提交分布均匀。
• 重新设计反馈界面，增加两个独立按钮：一个用于确认原始值，一个用于提交替代三元组，以减少意外确认。

实验结果

研究问题

• RQ1 如何在大规模收集自动生成功能情感得分用户反馈的同时，保护用户隐私？
• RQ2 SentiWordNet 反馈提交的分布与地理来源如何？其随时间的变化趋势如何？
• RQ3 用户在多大程度上确认原始 SentiWordNet 得分，而非建议替代情感值？
• RQ4 不同反馈收集界面（搜索 vs. 下载）如何影响用户贡献的质量与意图？
• RQ5 如何改进反馈收集流程，以减少低效或重复提交？

主要发现

• 共收集到 3,510 条反馈条目，来自 1,209 个独立 IP 地址，平均每天约 3.5 次提交。
• 63.7% 的反馈条目（2,236 条）与原始 SentiWordNet 三元组完全匹配，表明得分准确度高，或存在低效确认行为。
• 反馈来自 72 个国家，数量最多的是美国（106 条）、中国（157 条）和德国（115 条），另有 350 个 IP 无法进行地理定位。
• 反馈提交模式显示 2013 年初达到峰值，2013 年 2 月提交 530 条，表明用户参与度显著上升。
• 反馈分布符合幂律分布：522 个 IP 提交 2 条，153 个提交 5 条，仅 1 个 IP 提交 200 条，表明少数高度活跃用户贡献了主要反馈。
• 作者实施了界面改进，包括确认对话框和双反馈按钮，以减少意外确认并提升反馈质量。