NVIDIA 擴大 NVLink Fusion 的合作範圍，宣布推出新一代高頻寬記憶體技術 NVHBM，並由記憶體合作夥伴進行驗證與供應。Amazon 旗下 Annapurna Labs 將成為首批與 NVIDIA 合作開發 NVHBM 的公司。
NVHBM 最大的不同，在於把原本位於 XPU 上的記憶體控制器，整合進 HBM 堆疊中的基底晶片。如此一來，可以減少記憶體控制器占用 XPU 運算晶片的面積，同時改善記憶體連接效率。
根據 NVIDIA 公布的數據，相較標準 HBM4E，NVHBM 記憶體頻寬最高可提升 30%、HBM 功耗降低 15%，並可替 XPU 運算晶片釋放最多 25% 的面積。
這種設計對 AI 加速器尤其重要。隨著 AI 模型朝兆級參數與 AI Agent 等工作負載發展，系統效能不只是看 GPU 或 XPU 本身的運算能力，記憶體頻寬與容量同樣成為瓶頸。若能把記憶體控制器從運算晶片挪出去，也能讓有限的晶片面積留下更多空間給運算單元。
NVIDIA 表示，目前正建立標準化的 NVHBM 實現方案，並由多家記憶體供應商提供，希望降低不同供應商之間的整合與驗證成本，讓採用 NVLink Fusion 的客戶更快推出客製化 AI 晶片。
Annapurna Labs 未來將從 Trainium4 開始，在新一代 Trainium 晶片中支援 NVLink Fusion，使 Amazon 自研晶片與 NVIDIA GPU 能夠在共同的機架級架構下協同運作。
簡單來說，NVIDIA 正試圖把 NVLink Fusion 從「讓客製化 XPU 接上 NVIDIA 平台」，進一步延伸到連 XPU 使用的 HBM 都能採用 NVIDIA 定義的架構。對 AI 晶片業者而言，可以少花一些時間處理底層互連與記憶體整合，把資源留給自己的 XPU 設計。
目前 NVIDIA 尚未公布 NVHBM 的具體產品時程、記憶體容量或實際供應商名單。
進一步了解 NVLink 與 NVLink Fusion。
NVHBM 最大的不同，在於把原本位於 XPU 上的記憶體控制器，整合進 HBM 堆疊中的基底晶片。如此一來，可以減少記憶體控制器占用 XPU 運算晶片的面積，同時改善記憶體連接效率。
根據 NVIDIA 公布的數據，相較標準 HBM4E，NVHBM 記憶體頻寬最高可提升 30%、HBM 功耗降低 15%，並可替 XPU 運算晶片釋放最多 25% 的面積。
這種設計對 AI 加速器尤其重要。隨著 AI 模型朝兆級參數與 AI Agent 等工作負載發展，系統效能不只是看 GPU 或 XPU 本身的運算能力，記憶體頻寬與容量同樣成為瓶頸。若能把記憶體控制器從運算晶片挪出去，也能讓有限的晶片面積留下更多空間給運算單元。
NVIDIA 表示，目前正建立標準化的 NVHBM 實現方案，並由多家記憶體供應商提供，希望降低不同供應商之間的整合與驗證成本，讓採用 NVLink Fusion 的客戶更快推出客製化 AI 晶片。
AWS 將率先採用
Amazon 旗下 Annapurna Labs 將與 NVIDIA 合作開發 NVHBM，以及 NVLink 垂直擴充架構。這也是雙方擴大 NVLink Fusion 合作的一部分。Annapurna Labs 未來將從 Trainium4 開始，在新一代 Trainium 晶片中支援 NVLink Fusion，使 Amazon 自研晶片與 NVIDIA GPU 能夠在共同的機架級架構下協同運作。
簡單來說，NVIDIA 正試圖把 NVLink Fusion 從「讓客製化 XPU 接上 NVIDIA 平台」，進一步延伸到連 XPU 使用的 HBM 都能採用 NVIDIA 定義的架構。對 AI 晶片業者而言，可以少花一些時間處理底層互連與記憶體整合，把資源留給自己的 XPU 設計。
目前 NVIDIA 尚未公布 NVHBM 的具體產品時程、記憶體容量或實際供應商名單。
進一步了解 NVLink 與 NVLink Fusion。