國產GPU達到國際水準！摩爾線程已媲美RTX 4090、A100

摩爾線程官方宣布，2024年5月份與智譜AI開展了新一輪GPU大模型適配、性能測試，包括大模型推理、基于夸娥（KUAE）千卡智算集群的大模型預訓練。

測試使用的相關大模型，來自智譜AI基座大模型及其開源版本。

測試結果表明，在推理方面，摩爾線程自研全功能GPU顯著優(yōu)于基準對比產品RTX 3090和RTX 4090，其中全部測試用例中優(yōu)于RTX 3090，在多batch下優(yōu)于RTX 4090。

在訓練方面，摩爾線程夸娥千卡智算集群的訓練精度與A100集群相比，誤差在1％以內，而集群性能擴展系數超過90％，模型算力利用率（MFU）與A100集群相當。

這一結果，對于中國大模型產品技術生態(tài)具有重要的意義：

一是技術自主新突破。

摩爾線程千卡智算集群成功應用ChatGLM預訓練，標志著摩爾線程有能力讓大模型訓練與推理在全國產可控的算力底座上運行，可增強技術自主性，保障信息安全。

二是助力打破算力瓶頸。

根據Scaling laws（尺度定律），有限的算力供應可能成為制約大模型發(fā)展的關鍵瓶頸，而摩爾線程全功能GPU可以提高大模型的迭代速度和自研水平，助推中國大模型更好發(fā)展。

三是開拓創(chuàng)新空間。

摩爾線程與智譜AI卓有成效的適配與測試合作，有利于推動實現軟硬件的深度融合與協(xié)同創(chuàng)新。

四是降低運營成本。

摩爾線程憑進的AGI算力底座，不僅可以兼容適配全球主流AI軟件生態(tài)，節(jié)約遷移成本，而且在單位算力總體擁有成本上擁有較為明顯優(yōu)勢，能夠有效降低大模型產品研發(fā)成本。

值得一提的是，早在2022年8月，智譜AI就開源了GLM-130B模型，2023年又推出了千億基座對話模型ChatGLM，以及開源版本的ChatGLM-6B。

最近，摩爾線程陸續(xù)公布了與國產AI企業(yè)在大模型訓練、推理方面的合作，主要包括：

－第一家接入無問芯穹，適配無穹Infini-AI大模型開發(fā)與服務平臺，完成LLama2 700億參數大模型訓練測試、MT-infini-3B 3B(30億參數)規(guī)模大模型實訓

－完成憨猴集團70億、340億。700億參數量級大模型的分布式訓練

－完成與滴普企業(yè)大模型Deepexi v1.0的訓練、推理適配

－完成羽人科技70億參數大語言模型YuRen-7b的訓練測試

－完成師者AI 70億參數全學科教育大模型的高強度訓練測試