#博主之聲# 【觀點:停止在學術評估中使用h指數】2005年,美國加利福尼亞大學聖地亞哥分校的物理學家Hirsch, Jorge E.提出h指數,用於評估科研人員的發文與被引水平[1]。該指標與是否獲得諾貝爾獎、是否獲得頂尖大學的教職、是否晉升等相關[2],因此,常常被用於學術評估。不過,自問世以來,有關它的各種爭議也從未平息。

在2021年5月19日,荷蘭萊頓大學三位科學計量學者Sarah de Rijcke、Ludo Waltman與Thed van Leeuwen 撰文詳細分析了h指數的缺陷,並呼籲停止在學術評估中使用h指數[3]。

【h指數的不穩定性】

早在2012年,Ludo Waltman通過理論上的分析,發現h-index存在著嚴重的不穩定性,並不能准確反應出科學家水平和科學貢獻[4]。例如,科學家 X 和 Y 的發文的被引次數如下:

X:5,5,5,5,5,2,2

Y:6,6,6,6,3,3,3

在這種情況下,科學家 X 和 Y 的 h指數分別是5和4,前者的學術影響力高於後者。然後科學家 X和 Y 合作發表了兩篇論文,被引次數均為8,結果如下:

X:8,8,5,5,5,5,5,2,2

Y:8,8,6,6,6,6,3,3,3

在這種情況下,科學家 X 和 Y 的 h 指數分別變成5和6,後者的影響力反超了。這種反超是由 h 指數計算過程的不穩定性導致的。

【h指數不能比較處於不同職業階段的科研人員】

h指數只會隨著時間的推移而增加。這種時間依賴性意味著 h 指數有利於更資深的研究人員而不是年輕學者。由於 h 指數沒有考慮學術年齡,學術年齡較短的研究人員自然表現更差。因此,h指數無法對處於不同職業階段的科研人員進行公平比較。

科學計量學家Lutz Bornmann也支持在學術評估中停止使用 h 指數,但他認為,最重要的理由是h指數的不穩定性,而不是其他。因為,h指數對資深科學家的優勢已被h指數的提出者Jorge Hirsch在2005年回應過,即h指數在計算時是除以自發表第一篇論文以來的年數。同時他認為h指數在透明度和靈活度表現得並不差,可以很容易地與開放數據一起使用。

【h指數不能用於跨領域比較】

h指數沒有考慮領域之間甚至領域內發表和引用實踐的差異。舉例來說,發表和引用密度低的領域,如古生物學的研究人員的h指數為3,而發表和引用密度高的領域,如經濟學的研究人員的h指數為45。兩位研究人員的h指數差異並不能反映二者科研能力的差異。相反,它只是由兩位研究人員活躍的領域之間發表和引用實踐的差異造成的。

【在學術評價中使用h指數可能帶來的問題】

第一,加劇了不公平的比較。如在不同領域內,h 指數有利於來自具有更高發表和引用密度的領域的研究人員。在同一領域內,h 指數有利於活躍時間較長的研究人員。

第二,導致“唯指標論”盛行。這意味著研究人員只要盡可能多的發表成果,就能提升h指數。這非常容易會導致不良的作者行為,如出現成果注水、過量自引、要求同事引用等。

第三,忽略了除論文發表之外的學術貢獻。過分強調論文產出,h指數將科學家的研究水平桎梏成單一標准。對其他有利於學術活動和團隊發展的所需能力視而不見,如領導力、協作能力、教學能力、臨床技能等。一個健康的研究體系需要不同類型的人才,這意味著對研究人員的評估需要公正地反映學術活動的多樣性,而不僅僅是基於發文和被引兩個維度。

在學術評價中停止使用h指數後,該怎麼評價科研人員?具體方案:

首先,在針對科研人員的學術評估中,采用同行評議。

其次,可以在同行評議的基礎上,采用定量指標,但這些指標必須具有透明度和靈活度。透明度意味著指標的計算被清楚地記錄在案,並且指標所依據的數據可以公開訪問。從這個角度來看,『暗箱』指標不得使用。靈活度則是意味著指標的使用需要根據科研人員的工作類型、所屬學科等具體情況而定。也就是說,不存在『放之四海評價而皆准』的指標。

最後,重視被評價者的自述材料。個人陳述需要成為評估的重要組成部分,例如,在晉升或申請資助的時,申請人可以提交突出已有成就及未來計劃的相關材料。

總之,對於科研人員的評價,應該交給同行評議,同行評議的過程中可以輔以定量指標,這些指標應該覆蓋科研人員跟學術相關的各種能力。

【參考文獻】

[1] Hirsch, J. E. (2005). An index to quantify an individual's scientific research output. Proceedings of the National academy of Sciences, 102(46), 16569-16572.

[2] Bornmann, Lutz; Daniel, Hans-Dieter (July 2007). "What do we know about the h-index?". Journal of the American Society for Information Science and Technology, 58(9): 1381–1385.

[3] de Rijcke, S., Waltman, L., van Leeuwen, T. Halt the h-index. http://t.cn/A6VdinCQ

[4] Waltman, L., & Van Eck, N. J. (2012). The inconsistency of the h‐index. Journal of the American Society for Information Science and Technology, 63(2), 406-415.(李江)
http://t.cn/A6VdinC8

更多學習動態

全站最新消息

d