[论文解读] RARD II: The 94 Million Related-Article Recommendation Dataset

Joeran Beel, Barry Smyth+1 more|arXiv (Cornell University)|Jul 18, 2018

Recommender Systems and Techniques参考文献 24被引用 6

一句话总结

本文介紹了 RARD II，一個從數位圖書館生產推薦系統 Mr. DLib 擷取的 9400 萬筆相關文章推薦資料集。它提供豐富的真實世界日誌，超越隱含評分，支援資訊檢索系統中演算法效能與元學習的進階分析。

ABSTRACT

The main contribution of this paper is to introduce and describe a new recommender-systems dataset (RARD II). It is based on data from Mr. DLib, a recommender-system as-a-service in the digital library and reference-management-software domain. As such, RARD II complements datasets from other domains such as books, movies, and music. The dataset encompasses 94m recommendations, delivered in the two years from September 2016 to September 2018. The dataset covers an item-space of 24m unique items. RARD II provides a range of rich recommendation data, beyond conventional ratings. For example, in addition to the usual (implicit) ratings matrices, RARD II includes the original recommendation logs, which provide a unique insight into many aspects of the algorithms that generated the recommendations. The logs enable researchers to conduct various analyses about a real-world recommender system. This includes the evaluation of meta-learning approaches for predicting algorithm performance. In this paper, we summarise the key features of this dataset release, describe how it was generated and discuss some of its unique features. Compared to its predecessor RARD, RARD II contains 64% more recommendations, 187% more features (algorithms, parameters, and statistics), 50% more clicks, 140% more documents, and one additional service partner (JabRef).

研究动机与目标

• 解決數位圖書館與學術文獻領域中缺乏大規模、真實世界推薦資料集的問題。
• 為研究人員提供一個全面的資料集，不僅包含推薦結果，也涵蓋底層的演算法決策與系統日誌。
• 支援預測推薦系統效能之元學習方法的評估與發展。
• 在前代 RARD 資料集的基礎上，大幅增加資料量、特徵與系統整合點。
• 支援在實際生產環境中對演算法行為、參數影響與使用者互動模式進行詳細分析。

提出的方法

• 收集 Mr. DLib 在 24 個月期間（2016 年 9 月 – 2018 年 9 月）產生的 9400 萬筆推薦。
• 整合推薦系統的詳細日誌，包括演算法識別碼、參數設定與效能統計資料。
• 匯集四個服務合作夥伴的資料，包含 JabRef，提升資料集的多樣性與覆蓋範圍。
• 建構一個特徵空間，其演算法特徵、參數與統計資料比 RARD 多出 187%。
• 包含隱含反饋（例如點擊）與完整的推薦日誌，以利回溯分析。
• 設計資料集以支援標準評估之外的元學習與演算法選擇研究。

实验结果

研究问题

• RQ1 如何利用真實世界的推薦日誌來分析與改進演算法選擇的元學習模型？
• RQ2 從大規模、生產環境級的日誌中，能獲得哪些關於演算法效能與參數敏感度的洞見？
• RQ3 不同推薦演算法在多樣化的學術文獻類型與使用者互動模式下表現如何？
• RQ4 完整系統日誌的納入在多大程度上提升了推薦系統評估的有效性與深度？
• RQ5 RARD II 在規模、特徵豐富度與數位圖書館中真實應用性方面，與現有資料集相比如何？

主要发现

• RARD II 包含 9400 萬筆推薦，較其前代 RARD 增加 64%。
• 資料集包含 140% 更多的獨特文件與 50% 更多的使用者點擊，較 RARD 為多。
• 特徵空間擴增 187%，納入更多演算法、參數與效能指標。
• 額外整合一個服務合作夥伴 Jabref，提升資料集的多樣性與真實世界相關性。
• 完整推薦日誌的納入，使演算法行為分析與效能預測得以進行深入探討。
• 該資料集支援元學習、演算法選擇與學術推薦系統在生產環境下的進階研究。