推論效率
-
AI 應用 NVIDIA Blackwell 平台強調推論效率，Token 成本較 Hopper 降低 10 倍
NVIDIA 近期在官方部落格中表示，新一代 Blackwell 架構在 AI 推論（inference）效率方面取得顯著進展，尤其是在每個 token 成本（tokenomics）上，相較前代 Hopper 平台可降低最高達 10 倍。這項成果被歸因於 NVIDIA 所稱的極致軟硬體協同設計（extreme co-design）策略。 隨著多家業者陸續部署 Blackwell 平台，包括 Baseten、DeepInfra、Fireworks AI 與 Together AI 等推論服務供應商已導入相關系統，用於託管大型開源模型。NVIDIA...- soothepain
- 主題
- blackwell hopper nvidia token 推論效率
- 回覆： 0
- 討論區： 新品資訊