3月13日，美國加速生成式人工智能（AI）公司Cerebras Systems推出第三代超級AI芯片Wafer Scale Engine 3（WSE-3）。在相同的功耗和價格下，WSE-3的性能是之前紀錄保持者Cerebras WSE-2的兩倍，是全球最大的晶圓體AI芯片。集成5nm的4萬億晶體管的WSE-3專為訓練業(yè)界最大的AI模型而打造，可賦能Cerebras CS-3 AI超級計算機，通過900,000個AI優(yōu)化計算核心提供125 petaflops的峰值A(chǔ)I性能。

圖片來源：Cerebras Systems

具體規(guī)格：4萬億個晶體管；90萬個AI核心；125 petaflops的峰值A(chǔ)I性能；44GB片上SRAM；5納米臺積電工；1.5TB、12TB或1.2PB外部存儲器；訓練多達24萬億個參數(shù)的AI模型；集群規(guī)模高達2048個CS-3系統(tǒng)。

CS-3擁有高達1.2 PB的巨大內(nèi)存系統(tǒng)，旨在訓練比GPT-4和Gemini大10倍的下一代前沿模型。2萬億個參數(shù)模型可以存儲在單個邏輯內(nèi)存空間中，無需分區(qū)或重構(gòu)，從而極大地簡化了訓練工作流程，并提高了開發(fā)人員的工作效率。在CS-3上訓練1萬億個參數(shù)模型就像在GPU上訓練10億個參數(shù)模型一樣簡單。

CS-3專為滿足企業(yè)和超大規(guī)模需求而構(gòu)建。緊湊的四系統(tǒng)配置可以在一天內(nèi)微調(diào)70B模型，同時使用2048個系統(tǒng)進行全面調(diào)整，Llama 70B可以在一天內(nèi)從頭開始訓練——這對于生成AI而言是前所未有的壯舉。

最新的Cerebras軟件框架（Software framework）為PyTorch 2.0和最新的AI模型和技術(shù)（如多模態(tài)模型、視覺轉(zhuǎn)換器、專家混合和擴散）提供原生支持。Cerebras仍然是唯一為動態(tài)和非結(jié)構(gòu)化稀疏性提供本機硬件加速的平臺，將訓練速度提高了8倍。

Cerebras首席執(zhí)行官兼聯(lián)合創(chuàng)始人Andrew Feldman表示：“八年前，當我們開始這一旅程時，每個人都說晶圓級處理器是一個白日夢。我們非常自豪能夠推出WSE-3，這是世界上最快的AI芯片，專為最新的尖端AI工作而設(shè)計，從專家混合到24萬億個參數(shù)模型。我們很高興將WSE-3和CS-3推向市場，以幫助解決當今最大的人工智能挑戰(zhàn)?！?/p>