NVIDIA BlueField-4 驅動NVIDIA 推論情境記憶儲存平台(NVIDIA Inference Context Memory Storage Platform),這是一種專為千兆級推論而設計的全新 AI 原生儲存基礎架構,可加速並擴充代理型 AI。
全新的儲存處理器平台專為長情境處理代理式 AI 系統而設計,配備超快速的長期與短期記憶。
推論情境記憶儲存平台可延伸 AI 代理的長期記憶,並可在機架規模 AI 系統叢集之間實現高頻寬的情境共享,提升每秒處理的詞元數量,且能源效率最高提升 5 倍。
透過 NVIDIA Spectrum-X 乙太網路,多回合 AI...