IPP评论是国家高端智库华南理工大学公共政策研究院（IPP）官方微信平台
摘要
未来我国在进行科研成果社会影响力评价时，首先要厘清科研成果社会影响力的含义以便建立科研评价框架，在科研评价方法的选取上，要侧重质性方法的回归以及大数据分析的应用。原因在于相比于量化分析，质性研究通过案例研究、叙事分析能更有效的还原社会影响的形成路径与结果，同时社会影响评价所需的数据体量大、种类多，更适宜采用大数据分析技术挖掘数据内部的关联，完成计算和评价。
★本文作者：
赵晨野 华南理工大学公共政策研究院研究助理/政策分析师
正文
科研成果影响力评价是当前科技评价领域的热点前沿问题。与科研成果学术影响力评价不同的是，社会影响力评价关注的是科研成果在学术领域之外产生的多维度社会影响，特别是在经济、社会、文化、医疗、环境或生活品质带来的影响或效益。由于科研学术影响力评价更侧重于以论文为代表的科研成果在学术层面的影响，其采用的评价方法往往难以衡量科研成果对社会产生的多维度影响。现阶段，世界各国的政府机构、科研管理部门、高等学校、科研机构和学术团体对如何评价科研社会影响力已经进行了积极的探索并取得了丰富的实践经验。但由于不同国家、机构、学校对如何认识和评估“社会影响力”尚未形成统一共识，且其科研评价框架各不相同，其采取的科研社会影响力的评价方法有着显著差异。本文通过比较分析，对现阶段科研成果社会影响力评价涉及的评价方法进行归类总结，以期为建立符合中国国情的科研成果社会影响力评价方案提供方法支持。
通过比较当前国际主流的科研成果社会影响力评价方案，可以将其采用的评价方法归为以下三类：
一
以构建指标体系、计量学方法为代表的量化研究方法
1.构建指标体系
构建指标体系方法是学术影响力评价最常使用的量化评价方法，该方法在范式上属于实证主义研究，核心步骤包括评价指标选取，指标权重确定和体系构建。指标体系的方法发展多年，并在各个环节衍生出多样的方法。例如，初选指标可参照文献梳理、理论分析、词频统计、访谈法、观察法等确定量化指标。在权重确定上，分为主观赋权法、客观赋权法和综合赋权法，并且在客观赋权法下又包括主成分分析、变异系数法、熵权法等一系列统计方法[i]。
然而，对社会影响力评价而言，其产生的是多维度综合影响，难以通过单一量化指标数据完成评价，且存在数据获取难、量化难等问题。因此，在社会影响力评价中，确定指标体系后，往往会结合其他的方法来计算和评估科研成果产生的影响。这也意味着选取评价指标是指标体系方法在社会影响力评价应用中最关键的环节。目前，各国所采用的确定评估指标的方法与以往大同小异。
例如，欧盟SIAMPI项目假设科研只有在研究人员和利益相关者之间产生有效互动时才能产生社会影响，因此SIAMPI对科研影响力的考察主要集中在三类富有成效的互动上，即：人与人之间直接接触的个人互动；通过某种物质载体进行的间接互动；当利益相关者和科研人员进行经济交流时发生的财务互动，评估中所采用的指标也是针对这三类富有成效的互动来提出的[ii]。在选取指标的过程中，SIAMPI 联盟主要经过多次讨论，对不同类型的互动所产生的影响进行归纳整理，并以举例方式提出可用以表征影响的过程指标ii（表1）。
图表来源：熊佩萱, & 茹宁. Siampi模式:以过程为导向的科研社会影响力评估工具. 中国高校科技.
2.计量学方法
（1）信息计量学
信息计量学是以H－index、引用/被引量等文献计量指标为依据来评价科研影响力的一种方法，与指标体系类似，该方法主要运用于评价科研成果的学术影响力i。原因在于其无法展示科学研究成果在学术界之外的价值，并且考虑到科研成果所产生的社会影响在时间层面上是长远的，而且这种影响往往会随着时间的推移变得更加广泛，所以，在评价科研成果社会影响力时，该方法使用的较少。但是考虑到如果要衡量以论文为代表的科研成果质量和影响，仍离不开统计被引用数量，各国尝试对文献计量指标进行方法创新，从而降低局限性。例如，公布5年影响因子、关注发表10年内的被引用次数等[iii]。
（2）Altmetrics
Altmetrics是社交网络环境下对传统文献计量方法进行补充的一种计量方法。它通过综合各类数据来评估科研影响力，不仅涵盖引文引用数量，还包括来自各种能够传播学术知识、进行学术交流的平台的数据，如传统媒体、社交媒体、博客、政策文件等iii。因此，在进行评估时，不仅有科研成果的引用量，还会有下载量、阅读次数、分享次数等丰富的网络计量数据。
世哲出版社（SAGE Publishing）全球出版部主席齐亚德·玛拉（Ziyad Marar）认为Altmetrics在以引文为基础的学术领域影响力评估的基础上，通过考虑社交媒体参与度、新闻报道和政策文件引用等诸多因素，更全面地反映了一项研究成果的影响力，是一种可以呈现研究成果社会影响力的衡量方式iii。并且相比传统计量学方法，Altmetrics对科研成果社会影响的评价更加实时且新颖i。但Altmetrics也存在局限性。一是Altmetrics可能反映的是社交媒体对科研成果的关注程度而非影响力，需要区分两者的差异。二是Altmetrics提供的数据可能容易带有偏见或受到人为操纵，并且可能无法完全捕捉研究的长期影响iii。三是关注实时反馈可能会模糊对研究本身的关注，带来重点偏移的风险iii。因此，单纯采用 Altmetrics 指标数据衡量科研成果社会影响力的做法仍然值得商榷。
二
以案例研究、叙事分析为代表的质性研究方法
1.案例研究
案例研究是获取和衡量科研成果社会价值的常用方法，其遵从实证主义的研究路数，背后的假定是“相信事件的前后联系与研究对象之间存在高度关联”。案例研究设计多个方面，包括研究设计、资料收集、资料分析等，是一个全面综合的研究思路。英国科研卓越框架(Research Excellence Framework，简称REF)和 (Excellence in Research for Australia，简称ERA)是案例研究的典型应用。REF和ERA的基本思路都是参评单位提交科研成果的相关案例材料和数据，然后给到不同学科领域的专家组进行评估，并采用五级标准对评估结果进行划分。但两者在案例研究模板的设计上存在差异。
在REF2021评估体系中，提交单位既要提供其研究影响，也要提交支持其影响的具体案例研究，专家组在评估后形成影响的评估文件[i]。同时，为了使定量的证据可以更好地在案例研究中得以呈现，提高定量指标的可比性，REF提供了《REF案例研究中影响类定量指标标准化指南》用以参考iv。在ERA2018评估体系中，提交单位除了要提交其研究影响以及提供支持其影响的具体证据外，还要提交材料说明影响力的形成路径，其要求机构对如何促成影响力实现的细节进行捕捉，重在对将科研转化为影响力的体制机制的考察[ii]。
2.叙事分析
与案例研究相比，叙事分析偏重于探究一段时间内科研成果的发展变化。荷兰标准化评估指南(Standard Evaluation Protocol，简称 SEP) 和欧盟SIAMPI项目是叙事分析的典型应用。与其他国家所不同的是，SEP和SIAMPI项目在关注科研成果社会影响力时，侧重于影响力形成的过程，而不仅仅是影响力的结果表现。特别是科研人员与社会利益相关者之间的互动过程。当科研人员与社会利益相关者之间的互动能够带来利益相关者行为的变化时，这一互动就被认为是具有生产性的。
因此，在SEP的自我评估环节，提交单位需选取一个最具代表性或说服力的案例，通过叙事描述的方式来呈现该单位的科研工作或科研成果在地区、国家、国际层面与外部社会的相关性、所产生的社会影响及其带来的社会价值[iii]。例如，社会影响的内涵及其辐射范围，社会影响发生路径及该单位为此作出的努力，科研工作所带来的社会收益等。与之类似，SIAMPI项目需要提交单位通过社会影响案例叙事的方式，对科研工作产生的实质性成果、利益相关者对研究成果的态度和评价、研究成果在利益相关者中的传播路径、研究成果产生的社会影响及其辐射范围等内容进行定性描述ii。
3
以社会网络分析、大数据分析为代表的数据挖掘方法
1.社会网络分析
社会网络分析是社会科学领域用于分析社会网络的关系结构及其属性的一种方法。社会网络分析借助图论和概率论的知识，通过研究网络关系，把个体间关系、“微观”网络与大规模的社会系统的“宏观”结构结合起来，从而对社会结构提供新的解释。随着计算机技术的不断发展、网络分析理论研究的深入以及越来越多的数据构建起巨大的社会关系网络，社会网络分析的模型得到了进一步的改进，开始采用一系列数据挖掘中的算法来处理社会网络中的关系数据，跨越了传统的学科界限从而越来越多的运用到了各个领域，并成为影响力建模与评价的常用方法。
社会网络分析同样是先对科研学术影响力评价进行分析和建模，取得了很多的研究成果和广泛的应用价值，并在近年来，逐步迁移到科研社会影响力评价上。在社会网络图中，个体与个体之间通过各种关系连接形成社会网络拓扑结构。如科学家与科学家合作形成了科学家合作网络,论文与论文之间的引用关系形成了引文网络。每个网络节点间包含大量联结关系，影响力可以表现为节点间的相互作用，即个体的行为在受到他人影响后产生的改变和扩散[i]。例如，欧盟SIAMPI项目将社会网络分析纳入到了评估方法体系中，通过个人接触建立的直接互动来分析研究人员与利益相关者之间在人员合作方面的状况ii。
2.大数据分析
美国的STAR METRICS项目是采用大数据分析评价科研成果社会影响力的典型案例。该项目的核心是多平台化的数据集成，在此基础上，构建数据分析的评估模型，利用一系列的评估指标来测评美国联邦政府公共研发投入为社会带来的广泛非学术影响[ii]。在构建科研管理数据共享平台的过程中，STAR METRICS项目充分借鉴巴西 Latters 数据库的经验，使用唯一的标识系统对每名科研人员进行清晰全面的记录，同时采取分段式开发的策略汇总现有数据集和众多其他来源的数数据[iii]。因此，STAR METRICS项目利用大规模的数据源，在微观上可以针对某一个学术机构中的个体的相关信息进行数据的收集和分析，宏观上可以覆盖全美各州，进行不同州之间的横向的数据比较viii。
STAR METRICS项目在数据处理、分析与结果呈现的过程中，采用了与大数据相关的数据挖掘和数据分析的方法，为科技政策决策提供坚实可靠的、标准化、直观化的数据支撑v。例如，在STAR METRICS项目的第一阶段，科研机构提交样本数据，样本数据的详细信息通过数据字典的形式给出，同时 STAR METRICS 项目组还提供技术手册来规范提交数据的细节[iv]。在STAR METRICS项目的第二阶段，项目人员结合数据挖掘和自然语言处理(NLP)技术，以可视化的形式反映某个科研项目与其研究人员、研究基金之间的关系ix。同时，STAR METRICS 项目所收集的部分数据带有地理位置的相关信息，通过绘制可视化的学术网络地图，了解到在不同地区的学者所集中研究的学术领域，或者通过学术网络地图追踪经费的去向，从而获知美国联邦政府拨付经费的集中地等情况viii。
总结与评论
现阶段，各个国家实施的科研成果社会影响力评价方案，往往采取定性、定量、数据挖掘相结合的评价方法。例如，SEP项目在评估社会影响力时采取指标数据和叙事分析相结合的方法。STAR METRICS项目采取指标数据和大数据分析相结合的方法。不同科研评价方法选取的关键在于如何定义科研成果社会影响力，以及在评估影响力时，是“以过程为导向”还是“以结果为导向”。未来我国在进行科研成果社会影响力评价时，首先要厘清科研成果社会影响力的含义以便建立科研评价框架，在科研评价方法的选取上，要侧重质性方法的回归以及大数据分析的应用。原因在于相比于量化分析，质性研究通过案例研究、叙事分析能更有效的还原社会影响的形成路径与结果，同时社会影响评价所需的数据体量大、种类多，更适宜采用大数据分析技术挖掘数据内部的关联，完成计算和评价。
参考文献 ：
[1]陈芳, & 杨建林. (2021). 科研成果社会影响力评价研究——评价方法视角下的解读. 现代情报, 41(11), 9.
[2] 熊佩萱, & 茹宁. Siampi模式:以过程为导向的科研社会影响力评估工具. 中国高校科技.
[3] 练志闲. 评价社会科学研究影响力的新趋势新方法[N]. 中国社会科学报,2023-07-05(003).
[4] 王梅, & 颜红丽. (2021). 英国高校科研影响力评估的改革与启示——基于ref2021的分析. 外国教育研究.
[6] 钟雪倩. (2021).发达国家高校科研社会影响力评价的经验与启示——以英国,荷兰和澳大利亚为例[D].江西师范大学.
[7] 王楠, 罗珺文, & 王红燕. (2018). 荷兰科研评估的模式与特点——以《标准化评估指南(2015-2021)》为分析对象. 高教探索(10), 6.
[8] 韩忠明, 陈炎, 刘雯, 原碧鸿, 李梦琪, & 段大高. (2017). 社会网络节点影响力分析研究. 软件学报, 28(1), 21.
[9] 马千淳,王楠. (2020). 美国star metrics项目的实施与评价——兼论对我国科技政策与科研评估的启示. 科技管理研究, 40(21), 7.
[10] 李攀,&雷二庆. (2015). STAR METRICS__美国色彩浓厚的科技评价框架. 科研管理, 36(1).
[11] 杨国梁, 肖小溪, & 李晓轩. (2011). 美国star metrics项目及其对我国科技评价的启示. 科学学与科学技术管理, 32(12), 7.
话题讨论
当今中国的科研为何难以形成社会影响力？
欢迎在留言区留下你的观点。
IPP-Review
编辑 | Aleutian，周浩锴
为什么基层每天加班，却无法产生实效？这可能与资源分配和考核机制有关
读懂了中国的县域，才能真正地读懂中国
深圳跑远了，广州怎么追？
关于IPP
华南理工大学公共政策研究院（IPP）是一个独立、非营利性的知识创新与公共政策研究平台。IPP围绕中国的体制改革、社会政策、中国话语权与国际关系等开展一系列的研究工作，并在此基础上形成知识创新和政策咨询协调发展的良好格局。IPP的愿景是打造开放式的知识创新和政策研究平台，成为领先世界的中国智库。
原文链接：https://www.163.com/dy/article/IDNP4QJ10514BTKQ.html
