類腦 AI 再突破!SpikingBrain 1.0 登場,百倍推理速度震撼亮相
近日,中國科學院自動化研究所公布全新「類腦」大型語言模型 SpikingBrain 1.0,基於腦神經脈衝(spiking)計算架構,具領先超長上下文處理能力和高效能運行表現。
(Source:論文,下同)
SpikingBrain 1.0包括7B和76B兩個關鍵版本,後者採用混合線性注意力機制,在參數規模和性能上逼近甚至超越國際先進Transformer模型如Llama2-70B。該模型以其創新的持續預訓練機制(CPT)著稱,訓練中依次將序列長度從8千字元擴展到128千字元,有效支援超長文本任務。
硬體層面,SpikingBrain 1.0完全依賴中國自研MetaX GPU平台,為長序列並行推理構建含ZeCO和P2P通訊的多卡架構,實現了推理階段相較傳統模型快100倍的速度提升,且能耗顯著降低。據技術報告指出,其使用的脈衝編碼機制令神經元只於必要時觸發,達到節能並提升響應速度。
這項突破不僅彰顯中國在類腦AI技術領域的實力,也具有重要戰略意義,尤其在當前美國加強高階AI晶片出口限制背景下,讓中國在人工智慧核心硬體和生態系統上的自主可控能力大幅提升。
此外,SpikingBrain 1.0的研發成果已於今年IAA MOBILITY慕尼黑車展等國際重大場合亮相,體現中國科技在全球創新舞台上的強勁競爭力。
(首圖來源:shutterstock)