目前最智慧的前 10 大開源模型,均採用混合專家(MoE)架構。
Kimi K2 Thinking、DeepSeek-R1、Mistral Large 3 等模型在 NVIDIA GB200 NVL72 上的運行速度可提升達 10 倍。
當今幾乎所有前沿模型在底層架構中,皆採用模擬人腦效率的混合專家(MoE)模型架構。
正如大腦會根據任務啟動特定區域,混合專家模型將工作分配給專門的「專家」,僅針對每個 AI 詞元啟動相關的專家。這使得詞元的產生速度更快、效率更高,而無需成比例地增加運算量。
業界已經認可這項優勢。在獨立的 Artificial...