AI 應用 OpenAI 推出 gpt-oss 開源模型 , NVIDIA RTX GPU 為本地 AI 運算加速

[soothepain]

隨著 AI 技術日益普及，OpenAI 宣布推出全新「gpt-oss」開源模型系列，並與 NVIDIA 合作，實現這些大型語言模型（LLM）在一般消費級與專業級 RTX GPU 上的本地部署與高速運行。這項合作代表過去僅限雲端的尖端 AI 模型，如今也能在個人電腦或工作站上運作，降低使用門檻，擴大開發者與創作者的應用彈性。

本次公開的 gpt-oss 系列共包含兩款模型，分別為：

• gpt-oss-20b：針對消費級 RTX AI PC 最佳化，建議搭配至少 16GB VRAM 的顯示卡使用。在高階 RTX 5090 GPU 上可達到每秒 250 token 的本地生成速度。
• gpt-oss-120b：更高階版本，主要設計給搭載 RTX PRO GPU 的專業工作站使用。
  

兩款模型皆具備長達 131,072 token 的上下文長度，並支援多任務指令理解、思維鏈推理（Chain-of-Thought）與工具使用等功能，架構上採用 Mixture of Experts（MoE）技術，提升靈活度與效率。

值得注意的是，gpt-oss 是首批在 NVIDIA RTX 環境中支援 MXFP4 精度 的模型。MXFP4 可在不增加 GPU 運算負擔的情況下，提升模型的表現與準確度。兩者均於雲端透過 H100 GPU 完成訓練，但部署可完全移至本機端，顯著減少依賴外部運算資源。

本地部署選項多元　從應用到開發工具支援齊全​

為了讓使用者能夠更輕鬆部署這些模型，NVIDIA 同步提供多項支援工具與平台，包括：

• Ollama：一款圖形化應用程式，內建 gpt-oss 模型支援，操作門檻低，適合 AI 初學者或輕量應用需求。
• Llama.cpp：開源開發者可透過 GitHub 上的 Llama.cpp 工具，利用 CUDA Graphs 技術提升模型推論效率。NVIDIA 與社群持續優化相關效能表現。
• Microsoft AI Foundry：Windows 使用者可透過此平台（目前處於預覽階段）快速在終端機中啟動模型，支援指令式操作與簡化開發流程。

這波模型開源與 RTX 化的背後，代表 OpenAI 不再將生成式 AI 的運行局限於雲端，而是逐步擴展到一般消費者與開發者的日常裝置上，提供更多在地部署的可能性。

本地 AI 成長曲線加速　美國科技陣營持續強化主導地位​

NVIDIA 執行長黃仁勳表示，此次與 OpenAI 的合作不僅是一項技術突破，也是對開源社群的一大助力。他指出：「gpt-oss 不僅讓開發者得以自由探索，也有助於強化美國在 AI 領域的技術領先地位。」

隨著生成式 AI 工具與模型日趨多樣化，模型規模不斷擴大，如何實現「落地部署」已成為產業關鍵議題之一。此次 OpenAI 與 NVIDIA 的合作，或許也代表了一種未來趨勢：AI 運算，將不再是雲端的專利，而是人人皆可掌握的本地工具。


欲深入了解 gpt-oss 模型的應用方式與技術細節，NVIDIA 將於本週在《RTX AI Garage》部落格中進一步介紹相關內容。