摩爾線程CEO張建中：萬(wàn)卡集群不是光靠堆積GPU就能實(shí)現(xiàn)

7月3日，摩爾線程宣布其AI旗艦產(chǎn)品夸娥（KUAE）智算集群解決方案實(shí)現(xiàn)重大升級(jí)，從當(dāng)前的千卡級(jí)別大幅擴(kuò)展至萬(wàn)卡規(guī)模。摩爾線程夸娥（KUAE）萬(wàn)卡智算集群目標(biāo)是打造能夠承載萬(wàn)卡規(guī)模、具備萬(wàn)P級(jí)浮點(diǎn)運(yùn)算能力的國(guó)產(chǎn)通用加速計(jì)算平臺(tái)。此外，當(dāng)天摩爾線程聯(lián)合中國(guó)移動(dòng)青海公司、中國(guó)聯(lián)通青海公司、北京德道信科集團(tuán)、中國(guó)能源建設(shè)股份有限公司總承包公司、桂林華崛大數(shù)據(jù)科技有限公司分別就三個(gè)萬(wàn)卡集群項(xiàng)目進(jìn)行了戰(zhàn)略簽約，多方聚力共同構(gòu)建好用的國(guó)產(chǎn)GPU集群。

會(huì)議期間，《中國(guó)電子報(bào)》記者就AI大模型發(fā)展趨勢(shì)以及破解我國(guó)算力瓶頸等問(wèn)題對(duì)摩爾線程創(chuàng)始人兼CEO張建中進(jìn)行了專訪。

大模型演進(jìn)呼喚高性能算力

關(guān)于業(yè)界熱議的大模型未來(lái)走向，張建中認(rèn)為，有三方面演進(jìn)趨勢(shì)值得關(guān)注。

一是Scaling Law（標(biāo)度律）將持續(xù)奏效。Scaling Law自2020年提出以來(lái)，已揭示了大模型發(fā)展背后的“暴力美學(xué)”，即通過(guò)算力、算法、數(shù)據(jù)的深度融合與經(jīng)驗(yàn)積累，實(shí)現(xiàn)模型性能的飛躍，這也成為業(yè)界公認(rèn)的將持續(xù)影響未來(lái)大模型的發(fā)展趨勢(shì)。Scaling Law將持續(xù)奏效，需要單點(diǎn)規(guī)模夠大并且通用的算力才能快速跟上技術(shù)演進(jìn)。

二是Transformer架構(gòu)不能實(shí)現(xiàn)大一統(tǒng)，會(huì)和其他架構(gòu)持續(xù)演進(jìn)并共存，形成多元化的技術(shù)生態(tài)。生成式人工智能的進(jìn)化并非僅依賴于規(guī)模的簡(jiǎn)單膨脹，技術(shù)架構(gòu)的革新同樣至關(guān)重要。Transformer架構(gòu)雖然是當(dāng)前主流，但新興架構(gòu)如Mamba、RWKV和RetNet等不斷刷新計(jì)算效率，加快創(chuàng)新速度。隨著技術(shù)迭代與演進(jìn)，Transformer架構(gòu)并不能實(shí)現(xiàn)大一統(tǒng)，從稠密到稀疏模型，再到多模態(tài)模型的融合，技術(shù)的進(jìn)步都展現(xiàn)了對(duì)更高性能計(jì)算資源的渴望。

三是AI、3D和HPC跨技術(shù)與跨領(lǐng)域融合不斷加速，推動(dòng)著空間智能、物理AI和AI4Science、世界模型等領(lǐng)域的邊界拓展，使得大模型的訓(xùn)練和應(yīng)用環(huán)境更加復(fù)雜多元，市場(chǎng)對(duì)于能夠支持AI+3D、AI+物理仿真、AI+科學(xué)計(jì)算等多元計(jì)算融合發(fā)展的通用加速計(jì)算平臺(tái)的需求日益迫切。

萬(wàn)卡已是模型訓(xùn)練主戰(zhàn)場(chǎng)的標(biāo)配

“多元趨勢(shì)下，AI模型訓(xùn)練的主戰(zhàn)場(chǎng)，萬(wàn)卡已是標(biāo)配。”張建中強(qiáng)調(diào)，隨著計(jì)算量不斷攀升，大模型訓(xùn)練亟需超級(jí)工廠，即一個(gè)“大且通用”的加速計(jì)算平臺(tái)，以縮短訓(xùn)練時(shí)間，實(shí)現(xiàn)模型能力的快速迭代。當(dāng)前，國(guó)際科技大廠都在通過(guò)積極部署千卡乃至超萬(wàn)卡規(guī)模的計(jì)算集群，以確保大模型產(chǎn)品的競(jìng)爭(zhēng)力。隨著模型參數(shù)量從千億邁向萬(wàn)億，模型能力更加泛化，大模型對(duì)底層算力的訴求進(jìn)一步升級(jí)，萬(wàn)卡甚至超萬(wàn)卡集群成為這一輪大模型競(jìng)賽的入場(chǎng)券。

然而，構(gòu)建萬(wàn)卡集群并非一萬(wàn)張GPU卡的簡(jiǎn)單堆疊，而是一項(xiàng)高度復(fù)雜的超級(jí)系統(tǒng)工程。它涉及超大規(guī)模的組網(wǎng)互聯(lián)、高效率的集群計(jì)算、長(zhǎng)期穩(wěn)定性和高可用性等諸多技術(shù)難題。這是難而正確的事情，摩爾線程希望能夠建設(shè)一個(gè)規(guī)模超萬(wàn)卡、場(chǎng)景夠通用的加速計(jì)算平臺(tái)，并優(yōu)先解決大模型訓(xùn)練的難題。

中國(guó)如何突破算力瓶頸？

“當(dāng)前，我們正處在生成式人工智能的黃金時(shí)代，技術(shù)交織催動(dòng)智能涌現(xiàn)，GPU成為加速新技術(shù)浪潮來(lái)臨的創(chuàng)新引擎。”張建中表示，“中國(guó)的人工智能落地場(chǎng)景相比國(guó)外來(lái)說(shuō)更加廣泛，因?yàn)橹袊?guó)在人工智能應(yīng)用領(lǐng)域里面開發(fā)者數(shù)量很多，落地速度也更快。”

他認(rèn)為，目前國(guó)內(nèi)大模型行業(yè)發(fā)展面臨的主要問(wèn)題，不是中國(guó)公司的研發(fā)人員技術(shù)水平比國(guó)外差，歸根結(jié)底還是缺少充足的算力。而這個(gè)問(wèn)題不是光靠堆積GPU的數(shù)量就能解決的。“集中力量辦大事，打造好用的萬(wàn)卡級(jí)別的算力集群，才能讓用戶真正地使用好大模型。”張建中說(shuō)道。

張建中強(qiáng)調(diào)，在技術(shù)層面，中國(guó)企業(yè)完全有信心有能力去追趕全球頂級(jí)GPU企業(yè)，做出更先進(jìn)、性價(jià)比更高的芯片。但光有技術(shù)還不夠，更重要的是生態(tài)環(huán)境的完善，這需要政府及產(chǎn)業(yè)上下游全行業(yè)共同努力。