[论文解读] UniRank: A Multi-Agent Calibration Pipeline for Estimating University Rankings from Anonymized Bibliometric Signals

Pedram Riyazimehr, Seyyed Ehsan Mahmoudi|arXiv (Cornell University)|Feb 21, 2026

scientometrics and bibliometrics research被引用 0

一句话总结

UniRank 提出一个三阶段的多智能体 LLM 管线，使用来自 OpenAlex 与 Semantic Scholar 的匿名化 bibliometric 信号来估算全球大学排名，并通过数据隐藏防止记忆化。

ABSTRACT

We present UniRank, a multi-agent LLM pipeline that estimates university positions across global ranking systems using only publicly available bibliometric data from OpenAlex and Semantic Scholar. The system employs a three-stage architecture: (a) zero-shot estimation from anonymized institutional metrics, (b) per-system tool-augmented calibration against real ranked universities, and (c) final synthesis. Critically, institutions are anonymized -- names, countries, DOIs, paper titles, and collaboration countries are all redacted -- and their actual ranks are hidden from the calibration tools during evaluation, preventing LLM memorization from confounding results. On the Times Higher Education (THE) World University Rankings ($n=352$), the system achieves MAE = 251.5 rank positions, Median AE = 131.5, PNMAE = 12.03%, Spearman $ρ= 0.769$, Kendall $τ= 0.591$, hit rate @50 = 20.7%, hit rate @100 = 39.8%, and a Memorization Index of exactly zero (no exact-match zero-width predictions among all 352 universities). The systematic positive-signed error (+190.1 positions, indicating the system consistently predicts worse ranks than actual) and monotonic performance degradation from elite tier (MAE = 60.5, hit@100 = 90.5%) to tail tier (MAE = 328.2, hit@100 = 20.8%) provide strong evidence that the pipeline performs genuine analytical reasoning rather than recalling memorized rankings. A live demo is available at https://unirank.scinito.ai .

研究动机与目标

• 动机：在不依赖调查或专有信号的情况下，利用公开可得的 bibliometric 数据来估算大学排名。
• 提出受 MAgICoRe 启发的三阶段多智能体架构用于排名估算。
• 引入匿名化与数据隐藏协议，以防止在 LLM 中产生记忆。
• 基于 OpenAlex 与 Semantic Scholar开发一个包含 16 个特征的 bibliometric 信号集合。
• 提供一个严格的评估框架，包含新的 Memorization Index 和置信区间。

提出的方法

• 从 OpenAlex 和 Semantic Scholar 为每个机构计算 16 个 bibliometric 指标。
• 在保留数值度量的同时对可识别信息进行匿名化。
• 阶段1：基于匿名化指标进行零-shot 估算，以产生排名区间。
• 阶段2：使用系统工具增强的标定，利用 get_ranking_samples 和 compute_metrics 来细化区间。
• 阶段3：从阶段1和阶段2 的输出综合成最终的结构化分析报告。
• 使用 Wilson 置信区间报告 95% 置信界，并计算 Memorization Index（MI）以检测记忆化预测。

Figure 1 : UniRank system architecture. Data from OpenAlex and Semantic Scholar is aggregated, normalized, and anonymized before entering the three-stage LLM pipeline. During evaluation, the target university is hidden from the ranking store (dashed line) to prevent data leakage.

实验结果

研究问题

• RQ1 多智能体 LLM 管线是否仅靠公开可得的 bibliometric 数据就能估算大学排名位置？
• RQ2 在防止记忆化同时实现基于推理的估算方面，匿名化与数据隐藏的效果如何？
• RQ3 在主要排名体系（THE、QS、ARWU）中，标定对排名准确性的贡献相较于初始估计如何？

主要发现

• 在 THE 排名（样本量 n=352）上，平均绝对误差 MAE 为 251.5 位，Spearman 相关系数 ρ 为 0.769， memorization index（MI）为 0.000。
• 标定带来整体 MAE 的适度改善（从 256.8 降至 251.5，下降幅度 -2.1%），精英与尾部层级受益更多。
• Hit@100 为 39.8%，Hit@50 为 20.7%，表明在数据受限的情况下仍具备有意义的序关系对齐。
• 系统性正向有符号误差（+190.1 位）显示模型因缺失声誉与教学信号而低估排名。
• MI 在各层级持续为零，支持以推理而非记忆作为预测来源的结论。

Figure 2 : Three-stage pipeline: Stage 1 produces coarse zero-shot estimates from anonymized metrics. Stage 2 refines per-system with tool-augmented calibration (parallel). Stage 3 synthesizes the final report.