每日熱議!鄔賀銓：建議開(kāi)放國(guó)家算力平臺(tái)支持各類大模型訓(xùn)練

2023-07-06 09:39:53來(lái)源：人民郵電報(bào)

【資料圖】

我國(guó)在算力總規(guī)模上雖可與美國(guó)相比，但跨數(shù)據(jù)中心的算力協(xié)同還面臨體制機(jī)制的挑戰(zhàn)，不少智算中心算力利用率和效率不高。不少單位各自獨(dú)立研究大模型，難免低水平重復(fù)。ChatGPT的上線使我們看到了在AIGC上中美的差距，現(xiàn)在需要清楚認(rèn)識(shí)和重視我們面對(duì)的挑戰(zhàn)，進(jìn)行實(shí)實(shí)在在的創(chuàng)新，將挑戰(zhàn)化為機(jī)遇。

近日，中國(guó)工程院院士鄔賀銓在接受媒體采訪時(shí)表示，我國(guó)在大模型開(kāi)發(fā)方面起步相對(duì)較晚，ChatGPT出來(lái)后，國(guó)內(nèi)不少單位紛紛表示在研發(fā)生成式大模型，但研究主體數(shù)量多并不意味著中國(guó)在大模型上研發(fā)水平高。因此，他建議在國(guó)家科技與產(chǎn)業(yè)計(jì)劃的協(xié)調(diào)下合理分工形成合力，開(kāi)放國(guó)家實(shí)驗(yàn)室的算力平臺(tái)支持各類大模型訓(xùn)練，同時(shí)建議組建算力聯(lián)盟，集中已有高檔GPU的算力資源，提供大模型數(shù)據(jù)訓(xùn)練所需算力。

鄔賀銓表示，雖然已有中國(guó)公司聲稱可推出類似ChatGPT的聊天機(jī)器人，但就支持多語(yǔ)種能力方面目前不如ChatGPT，就中文對(duì)話能力方面及響應(yīng)速度而言也還有差距。中國(guó)企業(yè)在獲得中文語(yǔ)料和對(duì)中國(guó)文化的理解方面比外國(guó)企業(yè)有天然的優(yōu)勢(shì)，中國(guó)制造業(yè)門類最全，具有面向?qū)嶓w產(chǎn)業(yè)訓(xùn)練產(chǎn)業(yè)AIGC的有利條件。

鄔賀銓認(rèn)為，在算力方面，中國(guó)已具有較好的基礎(chǔ)。據(jù)OpenAI報(bào)告，訓(xùn)練GPT-3模型所需的算力高達(dá)3.64EFlops／天，相當(dāng)于3～4個(gè)鵬城云腦Ⅱ。按2022年年底的數(shù)據(jù)，美國(guó)占全球算力的36％，中國(guó)占31％，現(xiàn)有算力總規(guī)模與美國(guó)相比有差距但不大，而在以GPU和NPU為主的智能算力規(guī)模中，中國(guó)明顯高于美國(guó)，我國(guó)不僅是大型互聯(lián)網(wǎng)企業(yè)具有相當(dāng)規(guī)模的算力，國(guó)家實(shí)驗(yàn)室和一些城市政府支持的實(shí)驗(yàn)室也有大規(guī)模的算力資源，可以說(shuō)在訓(xùn)練大模型所需算力支持方面中國(guó)也能做到。據(jù)了解，鵬城實(shí)驗(yàn)室正在設(shè)計(jì)鵬城云腦Ⅲ，算力達(dá)到16EFlops，比GPT-3所用算力高3倍，預(yù)計(jì)耗資60億元，將為人工智能訓(xùn)練持續(xù)提供強(qiáng)有力的算力支持。

僅有算力還是不夠的。鄔賀銓表示，我國(guó)大模型在一些方面還面臨不小挑戰(zhàn)：一是大模型的基礎(chǔ)是深度學(xué)習(xí)框架，雖然國(guó)內(nèi)企業(yè)也自主開(kāi)發(fā)了深度學(xué)習(xí)框架，但市場(chǎng)考驗(yàn)還不夠，生態(tài)還有待打造。二是將AIGC擴(kuò)展到產(chǎn)業(yè)應(yīng)用可能需要不止一個(gè)大模型，如何將多個(gè)大模型高效地整合，有標(biāo)準(zhǔn)化和數(shù)據(jù)融合的挑戰(zhàn)。三是大模型需要海量數(shù)據(jù)訓(xùn)練，中國(guó)有數(shù)千年的文明，但豐富的文化沉淀絕大多數(shù)并未數(shù)字化，中文在ChatGPT訓(xùn)練所用到的語(yǔ)料中還不到0.1％。雖然我國(guó)互聯(lián)網(wǎng)企業(yè)擁有大量電商、社交、搜索等網(wǎng)絡(luò)數(shù)據(jù)，但各自的數(shù)據(jù)類型不夠全面，網(wǎng)上知識(shí)的可信性又缺乏嚴(yán)格保證，中文可供訓(xùn)練的語(yǔ)料還需要做大量的挖掘工作。四是模型訓(xùn)練所依賴的GPU芯片以英偉達(dá)公司的A100芯片為代表，但該芯片已被美國(guó)限制向中國(guó)出口，國(guó)產(chǎn)GPU的性能還有待進(jìn)一步考驗(yàn)，目前在算力的利用效率上還有差距。五是在中國(guó)從事AI研究的技術(shù)人員不算少，但具有架構(gòu)設(shè)計(jì)能力和AIGC數(shù)據(jù)訓(xùn)練提示師水平的人才仍然短缺。

鄔賀銓認(rèn)為，ChatGPT的上線使我們看到了在AIGC上中美的差距，現(xiàn)在需要清楚認(rèn)識(shí)和重視我們面對(duì)的挑戰(zhàn)，進(jìn)行實(shí)實(shí)在在的創(chuàng)新，將挑戰(zhàn)化為機(jī)遇，在新一輪的AI賽道上做出中國(guó)的貢獻(xiàn)。

鄔賀銓進(jìn)一步表示，我國(guó)在算力總規(guī)模上雖可與美國(guó)相比，但跨數(shù)據(jù)中心的算力協(xié)同還面臨體制機(jī)制的挑戰(zhàn)，不少智算中心算力利用率和效率不高。不少單位各自獨(dú)立研究大模型，難免低水平重復(fù)，建議在國(guó)家科技與產(chǎn)業(yè)計(jì)劃的協(xié)調(diào)下合理分工形成合力。建議開(kāi)放國(guó)家實(shí)驗(yàn)室的算力平臺(tái)支持各類大模型訓(xùn)練，同時(shí)建議組建算力聯(lián)盟，集中已有高檔GPU的算力資源，提供大模型數(shù)據(jù)訓(xùn)練所需算力。此外，需要基于大模型開(kāi)發(fā)出各類面向行業(yè)應(yīng)用的模型，盡快使大模型在產(chǎn)業(yè)上落地見(jiàn)效，在面向各行各業(yè)的應(yīng)用中培養(yǎng)更多的人才。

標(biāo)簽：