AI 應用新聞

NVIDIA 推出 Alpamayo 開源 AI 模型與工具,安全、基於推理的自駕車開發

NVIDIA 率先推出開放式推理視覺語言動作模型,專為解決自動駕駛的「長尾」挑戰而設計;NVIDIA Alpamayo 系列同時也涵蓋自動駕駛開發所需的模擬工具與資料集。

NVIDIA_Alpamayo.jpg


  • Alpamayo 1、AlpaSim 及物理 AI 開放資料集,協助開發具備類人判斷力的車輛,使其能夠進行感知、推理與行動,並讓開發者得以微調、蒸餾和測試模型,進而實現更高的安全性、穩健性與擴充性。
  • 藉由 Alpamayo,JLR、Lucid 與 Uber 等移動服務領導者,以及包括 Berkeley DeepDrive 在內的自駕研究社群,能加速推動安全且基於推理的 Level 4 自動駕駛部署藍圖。
VIDIA 今日發表 NVIDIA Alpamayo 系列開放人工智慧(AI)模型、模擬工具與資料集,旨在加速推動實現安全且基於推理的自駕車(AV)開發新紀元。

自駕車必須在極其廣泛的駕駛條件下安全運行。罕見且複雜的場景,通常被稱為「長尾(long tail)」,依然是自動駕駛系統安全掌控的最大挑戰之一。傳統的自動駕駛架構將「感知」與「規劃」分離,導致在面對新型或異常狀況時使系統的擴充性受限。雖然端到端學習近期已取得重大進展,但要克服這些長尾邊緣案例,模型必須要能夠針對因果關係進行安全推理,尤其是在狀況超出模型訓練經驗時。

Alpamayo 系列推出具備思維鏈且基於推理的視覺語言動作(VLA)模型,將類人思維導入自動駕駛的決策過程。這些系統能逐步解析新穎或罕見的場景,提高對於升級智慧車輛信任度與安全性至關重要的駕駛能力與可解釋性,並由 NVIDIA Halos 安全系統提供技術支持。

NVIDIA 創辦人暨執行長黃仁勳表示:「物理 AI 的 ChatGPT 時刻已經到來,機器開始在現實世界中理解、推理並採取行動。自駕計程車將是首批受益者之一。Alpamayo 為自駕車帶來推理能力,使其得以思考罕見場景、在複雜環境中安全駕駛,並解釋駕駛決策。這正是實現安全、可擴展自動駕駛的基石。」


基於推理之自動駕駛的完整開放生態系
Alpamayo 將三大支柱,包括開放模型、模擬框架與資料集,整合進一個緊密相連的開放生態系,任何汽車開發者或研究團隊皆可在此基礎上進行建構。

Alpamayo 模型並非直接在車內運行,而是作為大規模的教師模型(teacher model),讓開發者可以對其進行微調與蒸餾,進而成為完整自動駕駛技術堆疊的核心骨幹。


在 CES 大會上,NVIDIA 發佈:

Alpamayo 1業界首款為自駕研究社群設計的思維鏈推理視覺語言動作模型,現已於 Hugging Face 上架。憑藉百億參數架構,Alpamayo 1 能透過影片輸入產生行進軌跡與推理軌跡,展現每個決策背後的邏輯。開發者可將 Alpamayo 1 改造成運行時間較短的模型用於車輛開發,或將其作為基於推理的評估器和自動標註系統等自動駕駛開發工具的基礎。Alpamayo 1 提供開放的模型權重與開源推理指令碼。該系列未來的模型將具備更大的參數規模、更精細的推理能力、更靈活的輸入輸出選項,以及更多商業化用途。

AlpaSim:一款完全開源的端對端的模擬框架,用於高擬真度自動駕駛開發,現可於 GitHub 取得。AlpaSim 提供逼真的感測器建模、可配置的交通動態,以及具擴展性的閉環測試環境,從而實現快速驗證與策略最佳化。

物理 AI 開放資料集:NVIDIA 提供最豐富多元的大規模自駕開放資料集,其中包含超過 1,700 小時的駕駛資料,涵蓋最廣泛的地理區域與環境條件,並囊括對於提升推理架構至關重要的罕見複雜真實世界邊緣案例。這些資料集已在 Hugging Face 上架。

這些工具共同為基於推理的自動駕駛技術堆疊建立一個自我強化的開發迴圈。


自動駕駛產業廣泛支持 Alpamayo

包括 Lucid、JLR、Uber 與 Berkeley DeepDrive 在內的移動服務領導者和產業專家,正對 Alpamayo 展現興趣,以開發能實現 Level 4 自動駕駛的推理型技術堆疊。
Lucid Motors 先進駕駛輔助系統與自動駕駛副總裁 Kai Stepper 表示:「朝向物理 AI 的轉型凸顯了對AI 系統日益增長的需求,這些系統不僅能處理資料,更能對現實世界行為進行推理。先進的模擬環境、豐富的資料集與推理模型,是這場演進的重要元素。」

JLR 產品工程執行總監 Thomas Müller 表示:「開放且透明的 AI 開發,對於負責任地推動自動駕駛發展至關重要。透過開源 Alpamayo 等模型,NVIDIA 正在幫助加速整個自動駕駛生態系的創新,為開發者和研究人員提供新工具,以安全應對複雜的真實世界場景。」

Uber 全球自動駕駛移動及外送服務總監 Sarfraz Maredia 表示:「處理長尾與不可預測的駕駛場景,是自動駕駛面臨的決定性挑戰之一。Alpamayo 為產業創造了令人興奮的全新機會,能夠加速物理 AI 發展、提高透明度並增加Level 4 自動駕駛的安全部署。」

S&P Global 資深首席分析師 Owen Chen 指出:「Alpamayo 1 讓車輛即便在先前未曾遇過的場景中,也能解讀複雜環境、預判全新狀況,並做出安全決策。該模型的開源特性加速了整個產業的創新,使合作夥伴可以根據其獨特需求進行調整與最佳化。」

Berkeley DeepDrive 共同主任 Wei Zhan 表示:「Alpamayo 系列的發布代表研究界邁出了重大一步。NVIDIA 選擇將其公開提供此模型具有變革性意義,這些資源與能力讓我們得以進行前所未有的規模訓練,提供將自動駕駛推向主流所需的靈活性與資源。」

除了 Alpamayo,開發者還能利用 NVIDIA 豐富的工具與模型庫,包括來自 NVIDIA Cosmos™ 與 NVIDIA Omniverse™ 平台的資源。開發者可以利用自有的車隊數據,對發布的模型進行微調,並將其整合至基於 NVIDIA DRIVE AGX Thor™ 加速運算構建的 NVIDIA DRIVE Hyperion™ 架構中,同時在商業部署前於模擬環境中驗證效能。