Skip to Main Content

科研评价分析平台: 指标选择

目录

  • 注意事项
  • InCites 指标说明
  • SciVal 指标说明
  • 期刊指标说明
  • 论文指标说明

说明

科研评价应注意的因素

•时间   •出版物类型   •人为操控   •规模   •学科  •数据库收录范围


• 时间

时间跨度对于某些指标来说十分重要。比如说引文影响力指标集(出版物积累引用需要一定的时间)、h指数(对时间不敏感,如果用该指数评价处于研究生涯早期的青年研究者用处不大,因为青年研究人员需要时间以积累更多的科研成果以及引用)。

因此在选择指标时应注意时间的选择。

对于时间不敏感的指标:合作关系的指标集(通过使用机构署名信息获得)、高水平期刊中的发文量(使用的是文献所在期刊的被引频次)等。


• 出版物类型

不同类型出版物的引用率往往不同。综述文章往往比原创性文章吸引到更多的引用,其它不同类型文章的引用率也有差异。

某些评估和排名只限定了Article和Review的文献数据源,因此在实际操作中应注意选择。


• 人为操控

1.自引。自引易遭滥用,在某些分析情境下应考虑是否选择“排除自引”,目前InCites和SciVal平台中都有此选项。

2.研究单位组合。将一些研究单位组合在一起,有利于提升与规模相关的指标,从而在评价时提高本机构绩效表现。


• 规模

某些指标的值会受分析对象规模大小的影响产生显著差异。比如大团体的科研产出数量、被引次数等指标会高于小团体。


• 学科

某些指标的值会因不同学科和研究领域的不同在存在显著的差异。

在不同学科中影响的具体因素是:

出版频率:比如与数学领域的学者相比,化学工程等领域的研究者发表论文更为频繁;

参考文献列表的长度:比如毒理学等领域文后所列参考文献往往比社会科学的要多得多;

合著者的数量:比如物理学研究的合作通常比人文艺术领域要多,因而每篇论文的合著者更多。

在进行不同学科的绩效评估时建议选择归一化指标进行分析,比如CNCI/FWCI。


• 数据库收录范围

分析平台的来源数据库的收录范围有所不同。例如分析平台SciVal(数据源为Scopus)会比分析平台InCites(数据源为Web of Science)收录的文献数量要广。另外,也应注意对于人文艺术和社会科学领域来说,它们文献的学科覆盖率在Scopus或者数据库中Web of Science往往都较低。

InCites常见指标说明

InCites指标 说明
Citation Impact 引文数/ 论文数量
Category Normalized Citation Impact 学科规范化的引文影响力(同年份,学科领域及文献类型计算)
Journal Normalized Citation Impact 期刊规范化的引文影响力(同年份及文献类型计算)
h-index h-指数,某研究人员至少有 h 篇文献被引用 h 次
Average Percentile 一篇出版物的百分位(同出版年、同学科领域、同文献类型)
% Documents Cited 一组出版物种至少被引用过一次的论文展总论文数的百分比
% Documents in Top 1% and % Documents in Top 10% 被引频次排名前1%或10%的文献数量/该组文献总数 (同年份、学科领域、及文献类型)
% of International Collaborations 国际合作论文的数量/该论文集的论文总数的数值
% of Industry Collaborations 横向合作发表文献数/该文献集合中文献总数的数值
% Highly Cited Papers ESI高被引论文数/该文献集中文献总数的数值
% Hot Papers 入选ESI热点论文(按学科和时间段统计的引文数排名前0.1%)的出版物百分比
ESI Most Cited 因引用最多而被收录到ESI的机构
International Collaboration 包含一位或多位国际共同作者的论文

 

SciVal常见指标说明

SciVal指标 说明
Scholarly Output / Publications 发表的文献总数
Citation Count / Citations 文献被引用数
Citation per Publication 被引用数/文献数
Field-Weighted Citation Impact ( FWCI ) 归一化的文献引用次数(同年份,学科领域及文献类型)
Outputs in Top Citation Percentiles 按出版年份,引用次数被列入世界前 X% 的文献
Publications in Top Journal Percentiles 发表在高影响力期刊( CiteScore / SJR / SNIP ) 的文献百分比
International Collaboration 作者所属机构跨国合作的的文献数量
Academic-Corporate Collaboration 机构和企业合作发文的数量
h -index h-指数,某研究人员至少有h 篇文献被引用h次
h5 -index 过去五年间文献的h指数
Views 文献被浏览的次数
Field-Weighted Views Impact 归一化的文献的浏览次数(同年份,学科领域及文献类型)
Awarded Grants 研究经费
Economic Impact 被专利引用的经济影响
Societal Impact 大众媒体的社会影响

 

期刊指标说明

期刊评价指标可以在一定程度上反映期刊质量,而期刊的维度可反映科研实力。


JIF与CiteScore

JIF 提出年限较早,在期刊评价中一直处于统治地位,CiteScore 的出现与 JIF 形成有力的竞争关系。 二者算法简单,已成为现今最常用的两个期刊评价指标。二者仅适于相同学科领域期刊的比较。

  JIF CiteScore
数据源 分子:WOS—CORE 分子:Scopus 
分母:SCI、SSCI期刊 分母:Scopus收录期刊 
时间窗口 2年 3年
说明 连续两年的发表文章数量在第三年的引用次数 连续三年的发表文献数量在第四年的引用次数
公式
文献类型 分子:全部 分子:全部
分母:研究论文、综述、会议论文 分母:全部

其中,t 为年份,Cit 为论文被引次数,Pub 为载文量

在时间窗口上,CiteScore 较 JIF 长,对如人文社科这类引用半衰期较长的学科期刊,评价更加公平。在分值上: 由于 CiteScore 时间窗口更长,数据来源于体量更大的 Scopus,因此理论上同一期刊 CiteScore 分值较 JIF 大; 但对于包含了更多文献类型( 如编辑评述、读者来信、更正信息、新闻等) 的综合类期刊而言,这些类型被 CiteScore 分母包含在内,却被 JIF 分母剔除,其 CiteScore 得分往往低于 JIF。

此外,二者易受到少数超高引用论文的影响,出现突然升高的情况。同时,由于不排除自引,期刊易通过人为操控提高被引频次。对于自引过高的期刊,JCR每年会发布镇压期刊( Title Suppressions) 名单。


EF与SJR

相较于JIF和 CiteScore,EF及SJR的优势首先体现在它们同时衡量了期刊被引数量和质量,即若期刊被高影响力期刊引用越多,则影响力越高; 其次两者均考虑了期刊自引,减小了通过人为操控提高分值的概率。此外,相较于 JIF,EF数据窗口延长至 5 年,平衡了一部分由引证半衰期不同而引起的评价差异,加上施引数据来源的扩大 ,弱化了 JIF 中自然科学与社会科学期刊间的差距,使评价对社科类期刊更加公平; 但二者算法复杂,模拟计算困难,因此其应用广度仍无法超越 JIF及CiteScore。

EF及SJR算法类似 Google 网页排名的 PagRank 算法,借助引文链接,将文献看作期刊间的关系网络,对高声望期刊的引用分配更高的权重,并以此规则迭代计算至收敛,最终反映期刊的权威性和引文影响力。二者的使用仍局限于学科领域内,且受期刊年刊载量影响。理论上刊载量越大,获得的引用越多,EF与SJR也越大。


AI与SNIP

AI 在EF基础上进行了归一化处理,引入期刊刊载论文的标准化比值 X。计算时将 SCI/ SSCI 所有期刊的论文总数设为 1,因此 AI 可以理解为 EF 除以归一化的该期刊 5 年刊载论文数占所有出版物论文数的比值。它仅反映期刊论文的平均影响力,但不等同于单篇论文的实际影响。这在一定程度上继续弱化了由学科及文献类型不同引起的差异。如综述类期刊因单篇论文的引用量大,AI 也更高。就数值表现而言,当 AI 大于 1 时,表示该期刊每篇论文的影响力高于 SCI/ SSCI 期刊平均水平;反之亦然。

SNIP 从引文和被引两个方面进行计量,它引入了 1979 年 Garfield 提出的“引文潜力”概念,即某一学科领域的篇均参考文献数。需要注意的是,SNIP 对主题领域的界定是从引文角度对每一种目标期刊进行界定,即某期刊某年所属的主题领域由引用该期刊前 10 年刊载论文的集合构成。之后,通过对不同学科引文潜力的标准化处理来平衡被引频次的差异,实现 SNIP 在不同学科领域间期刊影响力比较的可行性。

论文指标说明

下表列出了常见的论文维度的评价指标。

InCites平台 SciVal平台
文献总数 Documents Scholarly Output / Publications
被引总数 Citations Citation Count / Citations
篇均被引 Citation Impact (CI,引文影响力) Citations per publication ( CPP,SciVal 篇均引文数量)
归一化指标 Category Normalized Citation Impact(CNCI,学科规范化引文影响力) Field Weighted Citation Impact (FWCI,领域加权的引用影响)
百分比指标 % Documents in Top 1% and % Documents in Top 10% Outputs in Top Citation Percentiles
% Highly Cited Papers ESI Publications in Top Journal Percentiles
% Hot Papers
合作指标 % of International Collaborations International Collaboration
% of Industry Collaborations Academic-Corporate Collaboration

篇均指标(CI、CPP)

引文影响力是科研评价中广泛使用的指标,表示一组论文的篇均被引次数,可通过论文集被引总量除以论文数得出,主要包含Incites的Citation Impact及SciVal的Citations per publication。二者均为相对指标,对文献类型、时间窗口没有限制,且不排除自引。因此,它不依赖论文量,但受单篇超高或超低引用次数的影响。同时,它依赖论文出版时间,出版时间越长,引用越多,数值也越大。二者均适于相同学科领域、相同文献类型的论文集影响力比较。


归一化指标(CNCI、FWCI)

学科规范化引文影响力是排除了出版年、文献类型作用的归一化影响力指标,矫正了由学科领域不同引起的引文影响力差异,可进行不同规模、不同学科的论文集比较。指标主要包含IncitesCNCISciValFWCICNCI(FWCI)=1,表示该组论文的被引表现与全球平均水平相当。CNCI(FWCI)1,表示高于全球平均水平;CNCI(FWCI)1,表示低于全球平均水平。

注意:一组论文的CNCI(FWCI)为单篇论文CNCI(FWCI)的平均值。由于二者采用论文被引平均值,会受到部分异常值的影响;而对刊载量少的期刊,影响则更为强烈,数值更不稳定。


百分比指标

% Documents in Top 1% and % Documents in Top 10%:被引频次排名前1%或10%的文献数量/该组文献总数 (同年份、学科领域、及文献类型)

% Highly Cited Papers: ESI高被引论文数/该文献集中文献总数的数值

% Hot Papers:入选ESI热点论文(按学科和时间段统计的引文数排名前0.1%)的出版物百分比

Outputs in Top Citation Percentiles:按出版年份,引用次数被列入世界前 X% 的文献

Publications in Top Journal Percentiles:发表在高影响力期刊( CiteScore / SJR / SNIP ) 的文献百分比