乐于分享
好东西不私藏

博文洞见 & 报告下载 | 理解科研的社会影响力:从框架到实践

博文洞见 & 报告下载 | 理解科研的社会影响力:从框架到实践

Dmytro Filchenko

科学信息研究所(ISI)研究与分析高级总监

科研社会影响力评估的重要性日益凸显。本文阐释了科睿唯安社会影响力评估框架如何通过结构化分类、多元数据整合以及清晰的解读指引,支持更负责任、更高透明度的科研影响力分析。该框架由科学信息研究所(ISI)开发,并已整合至 Web of Science Research Intelligence 平台。

科研社会影响力评估仍面临多重挑战:社会需求多样化,尚无普适性评估方法;科研影响往往存在多年滞后性;而有效评估还需兼顾定性与定量数据的平衡。受上述因素制约,科研机构难以跳出单一指标的固化评价模式,亟需转向数据驱动、可横向对比的分析范式,为评估研判、战略规划与管理决策提供可靠支撑。

为应对上述挑战,科睿唯安科学信息研究所(ISI)于2024年开发了社会影响力评估框架。其最新发布的《科睿唯安社会影响力评估框架:负责任的影响力评估指南》详细说明了这一兼具结构性与灵活性的框架如何整合多元社会影响力信号、支持统一且可适配的分类逻辑,并配套标准化解读规范,规避评估过度简化或方法误用的风险。

该框架借鉴了“科研评估机制”(Research Assessment Exercises,简称 RAEs)及其他评估框架的最佳实践,并依托 ISI 在负责任科研评估领域的专业经验,形成多项核心特色,例如:基于联合国可持续发展目标(Sustainable Development Goals,简称SDGs)构建分类体系;明确区分潜在影响信号与已观察影响信号;依托“社会影响力全貌”(Societal Impact Profile)功能建立负责任的数据聚合机制。

科睿唯安已将该框架整合至 Web of Science Research Intelligence 平台,破解行业长期难题:规模化汇聚多来源、可核验、可对标的数据。平台依托出版商中立的高质量数据与可解释分析模型,助力科研机构更精准、更自信地开展社会影响力研判,支撑更有据可依、更负责任的分析与决策。

以负责任的理念构建社会影响力评估框架

ISI 在开发社会影响力评估框架时遵循了一系列关键设计原则,旨在构建一个结构化、透明且可调整的社会影响力评估工具。

该框架具有全局适用性,同时在设计上保持灵活性。其提供了一种一致的方法来梳理社会影响力数据,同时支持用户根据自身评估需求进行调整。例如,其默认的影响力分类体系参考联合国 SDGs,同时也支持用户自定义分类体系。

框架提供多层级的颗粒度。用户可根据具体问题,在机构层面或项目层面查看同一数据,并在各层级获取相应的背景信息,如机构或项目规模,以及用于相对比较的基准值。该框架整合来自多元来源的可验证数据,以提升透明度,避免“黑箱式”分析。

最后,ISI 还考虑到该框架与其他数据来源的兼容性,包括机构内部数据,实现科研社会影响力的全方位呈现与深度解读。

评估框架的独特优势

社会影响力评估框架采用结构化的方法对社会需求与影响信号进行分类,通过一系列核心功能,帮助机构和科研人员更清晰地了解科研影响力:

该框架以 SDGs 作为默认分类体系,将科研产出和成果与全球性的社会挑战相关联,并通过基于PESTLE(政治、经济、社会、技术、法律、环境)的聚合方式,与多种评估方法和RAEs保持一致。

通过将科研产出与成果分层映射至社会需求,机构能够应用自身的影响分类体系,从而支持该框架在全球、国家及区域层面的科研评估场景中使用。

“社会影响力全貌”(见图1、图2)对不同社会层面的整体表现进行汇总,为探究底层数据与指标提供切入点,并支持更透明、更精细化的分析。

该框架对潜在影响信号(前瞻性指标)已观察影响信号(回顾性指标)进行了区分,帮助用户理解社会影响如何随时间逐步发展。

定量指标辅以定性指标,以更全面地呈现科研的社会影响力。

该框架适用于广泛的数据类型,包括学术论文、专利、临床试验数据以及政策文件等。其在 Web of Science Research Intelligence 中的集成,进一步体现了科睿唯安所独有的数据广度与深度。

图1:“社会影响力全貌”示例——呈现针对17项联合国可持续发展目标的潜在影响与已观察影响信号的总体趋势

图2:“社会影响力全貌”示例——呈现八个社会层面的潜在影响与已观察影响信号的总体趋势

实践层面的负责任应用路径

借助 Web of Science Research Intelligence 平台的“社会影响力报告”(Societal Impact Report)功能,科研管理部门能够将该框架应用于多种场景,包括支持国家科研评估机制下的案例研究准备、撰写及验证工作。通过该框架,机构可采用自定义影响分类体系、整合机构内部数据、使用国家级基准,并识别相关支撑性科研成果,从而形成更有力的影响力案例研究,满足本土评估要求。

该报告还就如何以负责任的方式使用该框架,以支持有效分析与决策,提供了重要指导:

将指标视为信号,而非证据。

任何单一指标都无法完整衡量科研的社会影响力。例如,专利引用或媒体报道仅反映部分影响力,但并不能作为其整体影响程度的决定性证据。

同时关注已观察的影响与潜在的影响。

仅评估已观察的成果(如政策引用)将导致视角过于片面。实用性、传播、参与交流、合作等前瞻性指标,则有助于理解社会影响力如何随时间演变。

在具体情境中解读数据。

单纯的数字通常难以提供充分信息。例如,引用次数只有在结合具体背景,并与国家、地区或全球层面的适当基准进行比较时,才具有意义。该框架支持此类基于背景的比较。

考虑数据局限性与不确定性。

在不同学科中,某些指标可能出现数据稀缺或分布不均。较小的数据量未必具有统计学意义。阈值设定与相对定位有助于应对这一问题,但用户仍应避免对有限数据做出过度解读。

进行同类比较。

确保比较工作具备可比性。例如,应将综合性机构与其他综合性机构比较,或将某一学科领域的专业机构与同领域机构进行比较。

对科研领域的价值意义与未来发展方向

负责任的科研影响力评估,并非追求全维度量化,也不是将影响力简单折算为单一分值;而是遴选适配的评估信号、审慎解读研判,服务科研分析与管理决策。

科睿唯安社会影响力评估框架,正是一套兼顾结构化与灵活性的解决方案。未来我们将持续迭代框架体系、扩充数据源,并广泛吸纳学界与用户反馈。

我们诚邀各界研读官方报告、体验 Web of Science Research Intelligence 平台的社会影响力报告功能,积极分享建议,共同推进负责任的科研社会影响力评估体系建设。

报告下载

中文版

扫码或复制下方链接至浏览器:

https://zq9.cn/R7HeaQZz

相关阅读

【重磅】科睿唯安全球发布 Web ofScience Research Intelligence 平台

直播预告|Web of Science Research Intelligence 全球发布线上研讨会(亚太地区专场)

博文洞见|与全球科研界共建 Webof Science Research Intelligence 平台

博文洞见&报告下载|评估科研的社会影响力:来自全球科研界的洞见

要闻|意大利国家研究委员会加入“Web of Science Research Intelligence”早期采用者行列

报告下载|科睿唯安ISI报告《科研分类与结构化数据的价值》

关于科睿唯安

科睿唯安是全球领先的变革性资讯提供商。我们提供丰富的数据、洞见、工作流解决方案和专业服务,涵盖学术研究和政府机构,知识产权、生命科学与健康各个领域。如需了解更多信息,请访问www.clarivate.com

* 微信公众号“科睿唯安”与本文作者对本文的全部内容以及可能附带的全部资料拥有全部知识产权,并受法律保护。网络转载请注明作者及内容来源,商业使用请联系:marketing.cn@clarivate.com。