[论文解读] Multi-Task Ordinal Regression for Jointly Predicting the Trustworthiness and the Leading Political Ideology of News Media

Ramy Baly, Georgi Karadzhov+3 more|arXiv (Cornell University)|Apr 1, 2019

Misinformation and Its Impacts参考文献 39被引用 5

一句话总结

本文提出了一种多任务序数回归框架，联合预测新闻媒体的可信度（3级量表）和政治意识形态（7级左右立场量表），并借助中心性与极端党派性等辅助任务。通过共享表示学习利用可信度与政治偏见之间的内在相关性，该方法显著提升了性能——在事实性预测上将MAE降低最多0.118，在偏见预测上降低最多0.295。

ABSTRACT

In the context of fake news, bias, and propaganda, we study two important but relatively under-explored problems: (i) trustworthiness estimation (on a 3-point scale) and (ii) political ideology detection (left/right bias on a 7-point scale) of entire news outlets, as opposed to evaluating individual articles. In particular, we propose a multi-task ordinal regression framework that models the two problems jointly. This is motivated by the observation that hyper-partisanship is often linked to low trustworthiness, e.g., appealing to emotions rather than sticking to the facts, while center media tend to be generally more impartial and trustworthy. We further use several auxiliary tasks, modeling centrality, hyperpartisanship, as well as left-vs.-right bias on a coarse-grained scale. The evaluation results show sizable performance gains by the joint models over models that target the problems in isolation.

研究动机与目标

• 为解决尚未被充分探索的问题：将新闻媒体可信度与政治意识形态作为序数尺度进行预测，而非孤立的二元或多分类任务。
• 建模媒体可信度与政治偏见之间的联合关系，认识到极端党派性通常与低事实性报道相关。
• 通过引入中心性、极端党派性及粗粒度偏见分类等辅助任务，提升预测性能。
• 证明多任务学习结合序数回归在事实性与偏见预测任务上均优于单任务基线模型。
• 提供一种早期检测不可靠或有偏见媒体来源的框架，支持更广泛地应对虚假新闻与媒体偏见。

提出的方法

• 该框架采用多任务序数回归，联合建模两个主要任务：媒体可信度（3级量表）与政治意识形态（7级左右立场量表）。
• 引入辅助任务，包括偏见-中心性（中心 vs. 非中心）、偏见-极端性（极端 vs. 非极端），以及粗粒度偏见（3级与5级量表）。
• 模型利用任务间的共享表示，实现在可信度与偏见预测之间的知识迁移。
• 模型采用端到端训练，损失函数为序数回归损失，以平均绝对误差（MAE）为主要评估指标。
• 模型在由事实核查记者标注的新闻媒体数据集上进行评估，可信度与政治偏见均具有黄金标准标签。
• 通过双尾t检验对MAE得分进行显著性检验，以验证相对于基线模型的性能提升。

实验结果

研究问题

• RQ1 联合建模媒体可信度与政治意识形态是否能相比孤立建模提升预测性能？
• RQ2 引入中心性与极端党派性等辅助任务如何影响可信度与偏见预测的准确性？
• RQ3 事实性是否为预测政治意识形态提供有用的归纳偏置，还是可能引入混淆误差？
• RQ4 多任务序数回归在多大程度上减少了总体预测误差，特别是在区分极端左倾与极端右倾偏见方面？
• RQ5 联合学习框架是否有效捕捉并利用了低可信度与极端党派性之间的相关性？

主要发现

• 联合多任务序数回归模型在事实性预测上的平均绝对误差（MAE）为0.481，相比单任务基线模型提升12.5%。
• 在7级政治意识形态预测上，最佳模型的MAE为1.475，相比单任务基线模型降低20.5%。
• 将事实性、5级偏见与3级偏见作为辅助任务的组合取得最佳性能，偏见预测的MAE为1.475，MAE M为1.623。
• 在所有配置中，添加事实性作为辅助任务均持续降低MAE，表明其为偏见预测提供了互补信息。
• 在所有关键评估指标中，该模型显著优于多数类基线模型（p ≤ 0.001）与单任务模型（p ≤ 0.02）。
• 结果证实，联合建模可信度与政治偏见可获得比独立处理任务更稳健、更准确的预测结果。