【專家提醒莫混淆概念:智能計算機不是超級計算機】近日,某城市人工智能(AI)計算中心建成投用,媒體在報道該中心算力時稱:“中心一期建設規模100P FLOPS人工智能算力……其算力相儅於5萬台高性能計算機。”該報道一出,引發高性能計算領域專家關注。相關專家對《中國科學報》表示,該報道內容存在對“超級計算機”與“智能計算機”認識不清、概念混淆,極易引發誤導。

中國科學院計算技術研究所研究員、中國計算機學會高性能計算專業委員會祕書長張雲泉告訴《中國科學報》:“智能計算機不是超級計算機,兩者的概念應該區分清楚,否則可能會引起行業混亂。”

△ 超級計算機、智能計算機,傻傻分不清楚?

目前業界用於衡量超級計算的Linpack測試,測試的是超級計算機的“雙精度浮點運算能力”,即64位浮點數字的計算(FP64)。在以二進制所表示數字精度中,還有單精度(32位,FP32)、半精度(16位,FP16)以及整數類型(如INT8、INT4)等。數字位數越高,意味著人們可以在更大范圍內的數值內體現兩個數值的變化,從而實現更精確計算。

與許多科學計算等不同,AI所需的計算力不需要太高精度。“比如一些AI應用需要處理的對象是語音、圖片或視頻,運行低精度計算甚至整型計算即可完成推理或訓練。”張雲泉說,這種專用計算機處理AI算法速度快、能耗低,這是由其特點決定的。

智能計算機是一種專用算力,它們在推理或訓練等智能計算方面的確表現出色,但由於AI推理或訓練一般僅用到單精度甚至半精度計算、整型計算,多數智能計算機並不具備高精度數值計算能力,這也限制其在AI計算之外的應用場景使用。

相對比而言,超級計算機是一種通用算力,其設計目標是提供完備、複雜的計算能力,在高精度計算能力更強,應用范圍更廣,比如科學家常使用超級計算機進行行星模擬、新材料開發、分子藥物設計、基因分析等科學計算和大數據處理。

中國工程院院士陳左寧曾形象地將使用超級計算做AI計算是“大馬拉小車”,來說明超級計算雖然“十項全能”,但畢竟不是為AI量身打造。智能計算機由此興起。

此前曾一度熱炒AI與超算融合,其實正是將改良的計算機“AI專用化”,嚴格意義上來說,它們已經不再屬於傳統超算范疇。

近年來,隨著AI產業化的深入,不少地方希望建設AI算力平台,以滿足日益增長的AI計算需要。但是,一些地方在建設之時,並非都能區分智能計算機與超級計算機之間的區別。

“現在不論超級計算中心落成還是智能計算中心,都宣稱算力是多少‘FLOPS’,其實這個單位是‘每秒浮點運算能力’,而一些智能計算機的單位其實是‘OPS’——每秒操作次數。如果不加區別地報道,大家很容易誤認為是同一種計算精度、同一種計算能力。”張雲泉說,這也導致一些地方以為花了小錢建了世界頂級的“大超級計算”,好像占了便宜;等項目上了馬,將項目介紹給超算業內人士時,才恍然大悟。

△ 用新指標引導行業健康發展

張雲泉告訴記者,除了混淆智能計算機和超級計算機之外,業內還存在另外一種誤導。

“有些廠商還會模糊智能計算機的推理性能和訓練性能。”張雲泉告訴《中國科學報》:“與推理相比,訓練性能往往需要計算精度高一些,比如32位甚至64位;而大部分性能‘燿眼’的AI芯片,往往指的是其推理性能,而且可能還只是理論值。”

對於AI計算而言,訓練性能往往更重要——許多智能模型正是有賴於此。張雲泉說,訓練模型的計算量與參數量成正比,而且需要反複迭代,直到達到理想中的效果。

如果要畫一張AI所需算力的示意圖,“推理”位於算力矩陣的最下層,因為半精度算力(FP16)或整型算力(如INT8)即可滿足推理需要;排在其上的是“訓練”,一般需要使用單精度算力(FP32)或半精度算力(FP16);對算力需求最高的是類腦“模擬”,它的算力需求需要雙精度算力(FP64)和低精度算力同時支持。

“混淆傳統超級計算與智能計算、混淆智能計算的訓練性能和推理性能,這兩種情況可能會導致用戶或地方政府錯誤決策——如果他們本意是希望建設強大的計算集群,最後卻有可能花了不少錢只建成了一台只有推理性能的機器。”張雲泉說。

對此,張雲泉認為,需要一個簡單有效的指標來幫助判斷系統的AI算力和整個高性能AI領域的發展狀況,從而防止行業亂象。

2020年11月,張雲泉聯合清華大學教授陳文光、美國阿貢國家實驗室研究員Pavan Balaji和瑞士蘇黎世聯邦理工學院教授Torsten Hoefler,與ACM SIGHPC China委員會共同發起了基於AIPerf大規模AI算力基准評測程序的“國際人工智能性能算力500排行榜”(即AIPerf500)。記者注意到,這一榜單的算力單位是OPS。

“超級計算與AI計算,一碼歸一碼,需要一個新的標尺來引導AI計算行業走上健康發展的道路。”張雲泉說。

△ 國產AI芯片正待奮蹄直追

算力始於芯片。在AI芯片賽道上,我國擁有華為(昇騰)、百度昆侖、燧原等芯片設計企業,但即便如此,國內的智能計算機仍很少能繞過美國GPU巨頭英偉達。

這是一個無奈的現實:國內上馬的諸多智能計算中心,英偉達是切切實實的受益者。

“專門做智能計算的AI芯片,只要核數足夠多、主頻足夠高,就可以實現速度更快、在低精度計算中高出幾個量級的性能。但如果某個計算集群既需要高精度計算又需要低精度計算,那這對AI芯片的要求就高了。”張雲泉說,英偉達的GPU各種精度的計算能力都很突出、比較均衡。這也是大部分國產AI芯片難以與英偉達GPU硬碰硬的原因之一。

不過,國產AI芯片並非完全沒有機會。

首先,當下我國的算力基礎設施,都有強烈的國產化意願。即便英偉達、英特爾等巨頭虎踞龍盤,但綜合成本、生態等各類因素,國產化的大潮仍不可阻擋。

其次,就AI當前發展而言,場景、數據、模型、算力缺一不可,這也就意味著,中國將是未來全球AI算力富集地。AI芯片作為核心需要,不可能被一種形態、一種生態所壟斷,寒武紀、昇騰等國產AI芯片的佼佼者仍坐擁巨大發展空間。

一位不願透露姓名的超算專家向《中國科學報》提醒道,雖然芯片是算力的主要來源和最根本的物質基礎,但是算力的生產、聚合、調度和釋放是一個完整過程,需要複雜系統的軟硬件生態共同配合,才能實現“有效算力”。因此,不能只關注芯片的單一性能指標,更要注重上層軟件應用生態。

△ 沒有巨大算力無法發展AI?

在算力概念被混淆的背後,是AI計算有如脫韁野馬一般瘋漲的算力需求。

由多位矽谷“大亨”聯合建立的人工智能非營利組織OpenAI,在2020年5月推出了其新一代無監督的轉化語言模型GPT-3,目前已有1750億參數,訓練數據量達到45TB(約1萬億單詞量)。

GPT-3模型目前已經在語義搜索、文本生成、內容理解、機器翻譯等方面取得重大突破。其最大價值是證實了機器在無監督下的自我學習能力,驗證了純粹通過擴大規模即可以實現性能提升。

更壯觀的是,萬億參數模型已經在路上。6月初,北京智源人工智能研究院發布了“悟道2.0”,宣稱達到1.75萬億參數,超過之前由谷歌發布的Switch Transformer,成為全球最大的預訓練模型。

迅猛增長的參數體量,也意味著更高的計算需求——有的可能需要數千塊GPU來提供必要的算力。張雲泉說,類似GPT這樣的巨模型,對算力的需求“不是鬧著玩的”。

難道,沒有巨大算力就無法發展AI嗎?

張雲泉認為,在目前AI的發展階段(感知智能和認知智能)中,算力仍然是第一位的。

他的理由是,發展AI可以通過算力提升、算法革命等途徑提升,但在“資本導向”的現階段,相比不確定性的算法模型突破,算力提升是個容易的選擇。

但是必須要指出的是,運用巨大算力並不是人工智能發展的唯一方向,GPT-3這樣的巨模型同樣存在缺陷,如缺乏常識等;而探索人腦奧妙機理,實現小數據學習、遷移學習也是重要手段。

畢竟,大腦的功耗只有20W左右,實現低能耗的智能系統或許是更重要的努力方向。http://t.cn/A6VkovI2

更多學習動態

全站最新消息

d