[论文解读] The ESO Survey of Non-Publishing Programmes

F. Patat, H. M. J. Boffin+5 more|arXiv (Cornell University)|Jan 1, 2017

Astronomy and Astrophysical Research被引用 2

一句话总结

本研究基于对965位首席研究员的调查，探究了截至2016年4月，欧洲南方天文台（ESO）观测计划中47.1%（共2,716项中的1,278项）未能产出同行评审论文的原因。主要发现显示，44%的未发表案例源于数据质量或数量不足，37%则归因于资源缺乏或分析仍在进行中，凸显天文学领域在数据利用与发表文化方面存在的系统性挑战。

ABSTRACT

One of the classic ways to measure the success of a scientific facility is the publication return, which is defined as the number of refereed papers produced per unit of allocated resources (for example, telescope time or proposals). The recent studies by Sterzik et al. (2015, 2016) have shown that 30-50 % of the programmes allocated time at ESO do not produce a refereed publication. While this may be inherent to the scientific process, this finding prompted further investigation. For this purpose, ESO conducted a Survey of Non-Publishing Programmes (SNPP) within the activities of the Time Allocation Working Group, similar to the monitoring campaign that was recently implemented at ALMA (Stoehr et al. 2016). The SNPP targeted 1278 programmes scheduled between ESO Periods 78 and 90 (October 2006 to March 2013) that had not published a refereed paper as of April 2016. The poll was launched on 6 May 2016, remained open for four weeks, and returned 965 valid responses. This article summarises and discusses the results of this survey, the first of its kind at ESO.

研究动机与目标

• 理解ESO观测计划中高比例未发表的原因，此前Sterzik等人（2015, 2016）发现该比例为30–50%。
• 评估影响未发表的科学与操作因素，包括数据质量、资源可得性及项目管理。
• 评估望远镜时间分配与仪器特定性能在发表结果中的作用。
• 考察天文学领域中阻碍发表负面或结论性不明确结果的文化与结构性障碍。
• 通过识别发表流程中可修改的因素，为未来时间分配政策与数据处理支持提供建议。

提出的方法

• 对2006年10月至2013年3月期间（周期78–90）未发表的1,278项ESO观测计划的965位首席研究员（PIs）开展网络调查，仅针对A级或最高优先级的观测。
• 使用包含10个预设选项及自由文本评论字段的结构化问卷，识别未发表的原因。
• 通过统计相关性分析，按计划类型（常规、GTO、TOO）、仪器、时间分配及PI工作量对结果进行分析。
• 定义“部分提案”以涵盖多仪器项目，从而实现仪器层面发表率的比较。
• 应用时间依赖性发表延迟模型（PDTD），估算随时间推移的发表比例，同时考虑多代提案的影响。
• 使用公式A4将测得的比率R(t)反演，估算真实发表比例fP^0，以校正不完整发表时间线的影响。

实验结果

研究问题

• RQ1 为何47.1%的ESO观测计划在完整获取数据后，截至2016年4月仍未产出同行评审论文？
• RQ2 发表成功率在不同仪器、观测模式（服务/游客）及计划类型（常规、GTO、TOO）之间如何变化？
• RQ3 数据质量、数据数量或资源缺乏在多大程度上解释了未发表现象？这些因素与时间分配之间是否存在相关性？
• RQ4 发表成功率是否显著依赖于分配的总望远镜时间？
• RQ5 是否可对观测到的发表延迟分布进行建模，以估算真实潜在发表回报率，同时校正不完整发表时间线的影响？

主要发现

• 在2006年10月至2013年3月期间分配时间的2,716项ESO计划中，47.1%（1,278项）截至2016年4月未产出同行评审论文。
• HARPS的发表回报率最高（78%），而VIMOS与CRIRES最低（分别为39%和39.5%），表明发表表现存在仪器依赖性。
• 44%的未发表案例源于数据质量或数量不足，37%归因于PI缺乏资源或分析仍在进行中。
• 45%的PI仅参与一项调查计划，其中55%未发表，表明PI工作量与发表产出之间存在强烈相关性。
• 较大的时间分配与更高的发表成功率显著相关，表明发表可接受结果需达到一定的数据量与质量阈值。
• 本研究估算真实潜在发表回报率约为75%，表明通过改善数据交付与资源优化，有望实现10–15%的提升。