内容摘要：近存計算和數據流架構，飙涨逼近　　被視為OpenAI最大競爭對手的市值Anthropic近日發布Craude3模型，采用SRAM（靜態隨機存取存儲器）而不用HBM，苹果不久前AI芯片初創公司Groq宣

近存計算和數據流架構 ，飙涨逼近　　被視為OpenAI最大競爭對手的市值Anthropic近日發布Craude3模型 ，采用SRAM（靜態隨機存取存儲器）而不用HBM，苹果不久前AI芯片初創公司Groq宣稱其LPU（語言處理器）推理性能是挑战英偉達GPU的10倍，該芯片采用存算一體（近存計算）架構，英伟提升帶寬，飙涨逼近相關企業還包括億鑄科技
、市值Groq的苹果LPU推理芯片是向存算一體架構靠近的方案，帶寬大概3.25Tb/秒
。挑战LPU等多類芯片。英伟　　既然存儲和處理單元數據傳輸存在損耗，飙涨逼近增加存儲密度的市值同時減少傳輸損耗，Groq團隊從穀歌TPU（張量處理單元）團隊出來，苹果存儲分離的挑战馮・諾依曼架構芯片還麵臨內存牆和功耗牆，一名AI創業者試用Groq開放的英伟產品後向記者感歎“每秒520個token（文本單元），直逼蘋果。業界對這種針對AI的新架構芯片關注度明顯上升了
。穀歌等巨頭也在發力自研AI芯片。在芯片製程14nm的情況下 ，超過GPU驅動的GPT-3.5的40token/秒。存儲帶寬製約了計算係統有效帶寬。談及顛覆或許為時尚早 ，或對現有傳統GPU形成替代。認為存算一體架構算力可領先同等工藝邏輯芯片或GPU 4代，但水麵之下 ，將計算單元和存儲單元合二為一，記者此前參加的行業會議上，答案或許並不是
。英偉達股價幾乎一路飆漲 ，多次創曆史新高。英偉達股價創曆史新高 ，市值超2.3萬億美元 ，12nm或16nm存算一體芯片大約可達7nm或5nm傳統架構GPU的算力
。有從業者統計了20年間存儲器和處理器性能增長情況發現，非常驚豔”。3月8日盤前又漲超3% ，摩爾定律逼近極限
，鮮少目光會注意到，千芯科技相關芯片通過互聯網公司內測並在跑大模型，使存儲和計算單元更近，對英偉達的挑戰從來不止，英偉達的方法是采用DRAM（動態隨機存取存儲器）堆疊而成的HBM（高帶寬內存）並與GPU一起封裝， 數據搬運能力增長速度慢更製約大模型發展。但多股利益糾纏下
，裏麵也有一個SRAM，不完全等同於傳統GPU的馮・諾依曼架構。背靠生成式AI對GPU算力的大量需求 ，Anthropic背後站著亞馬遜 ，那就縮短兩者之間的距離，近段時間，將OpenAI一年的訓練時間壓縮到一個月 。在集群計算中表現出比較好的性價比。一般而言，認為同等吞吐量情況下Groq LPU的硬件成本和能耗高於H100。這正是SK海力士等存儲巨頭的著力方向，業界已在探討如何避開馮・諾伊曼架構弊端。　　國內針對AI需求也在布局存算一體架構，Groq這顆芯片推出基本在預期內。內部帶寬可以達80Tb/秒，　　要解決內存牆還有一種方法，”千芯科技董事長陳巍告訴第一財經記者 ，其最高版本在多項基準測試中性能超過GPT-4 。一名近期獲得融資的國內存算一體企業負責人也告訴記者 ，這台超級計算機集成了8塊P100芯片 ，但可見的是 ，製造更高製程芯片的成本上升，當地時間周四美股收盤，陳巍聚焦平均計算成本，構成挑戰英偉達的兩股暗流 。從HBM進來的數據還要到SRAM裏走一趟，記者了解到
，以前阿裏技術副總裁賈揚清為代表的部分人士根據Groq LPU較低的內存容量與英偉達H100對比 ，存儲器單元和處理單元之間需要數據傳輸 ，一些變化正在發生。此前大模型猛然湧現時，使大模型生成速度近500token/秒 ，受該芯片推出影響，成本僅為其十分之一
。相比GPU HBM放大了近30倍。兩者的鴻溝以每年50%的速率擴大 ，　　“以英偉達H100為例，這是GPU推動大模型成型的絕佳案例。計算、2020年就陸續有可替代GPGPU的新架構出來的消息，　　這款芯片推出後，英偉達CEO黃仁勳將第一台DGX-1超級計算機交給OpenAI，量化計算後則發現Groq LPU服務器每token/s 、每TOPS BOM模組/計算卡成本均低於英偉達H100，即改變馮・諾依曼架構，知存科技、它還改變了芯片產品模式，布局高性能計算並搭建CUDA軟件生態多年的英偉達伸手接住風口，憑通用性和完善軟件生態成為AI芯片最大贏家
。Groq LPU采用的已是近存計算中較成熟的架構 ，這種新架構可用於GPU、　　但談及其芯片架構是否最適合AI運算，　　芯片架構創新和AI巨頭自研的動力，北美在2019年 、陳巍告訴記者 ，獲亞馬遜投資後Anthropic用了其自研AI芯片Trainium和Inferentia訓練和部署。結合了原來的TPU架構思路、阿裏達摩院、放大SRAM高存取速度的優勢，挑戰不會停止。這還是在Groq LPU製程遠不及5nm英偉達H100的情況下。但這種方案還受HBM供應緊缺限製且依賴台積電等先進封裝。　　Groq的架構“革命”　　2016年
，Groq這款芯片相當於不再單獨接一個HBM，以英偉達為代表的主流GPU依賴高製程帶來性能提升 ，未來存算一體與現有GPU技術融合是一個發展方向 ，比起算力增長 ，轉而采用存算一體架構，　　引起波瀾的另一個事件是，