AI 應用 NVIDIA 發布全新物理 AI 模型,全球合作夥伴同步揭曉新一代機器人

soothepain

full loading
已加入
9/17/03
訊息
22,589
互動分數
1,988
點數
113
網站
www.coolaler.com
  • 從行動機械手臂到人形機器人,Boston Dynamics、Caterpillar、Franka Robots、Humanoid、LG 電子和 NEURA Robotics 發表搭載 NVIDIA 技術的全新機器人與自主機器。
  • NVIDIA 發布用於機器人學習與推理的全新 NVIDIA Cosmos 與 GR00T 開放式模型與資料、用於機器人評估的 Isaac Lab-Arena 以及 OSMO 邊緣到雲端運算框架,以簡化機器人訓練工作流程。
  • NVIDIA 與 Hugging Face 將 NVIDIA Isaac 開放式模型與函式庫整合至 LeRobot,加速開源機器人社群的發展。
  • 由NVIDIA Blackwell 架構驅動的 Jetson T4000 模組現已上市,可將AI 運算能力與能源效率提升 4 倍。
nvidia_ai.jpg


NVIDIA 今日宣布推出物理人工智慧(AI)的全新開放式模型、框架與 AI 基礎架構,並攜手全球合作夥伴發表適用於各產業的機器人。

全新的 NVIDIA 技術可加速整個機器人開發生命週期的工作流程,以加速新一波機器人發展,包括打造可快速學習多項任務的通用專業機器人。

Boston Dynamics、Caterpillar、Franka Robotics、HumanoidLG 電子NEURA Robotics 等全球產業領導者,正運用 NVIDIA 機器人技術平台首次推出新的 AI 驅動機器人。

NVIDIA 創辦人暨執行長黃仁勳表示:「機器人技術的 ChatGPT 時刻已然到來。理解現實世界、推理並規劃行動的模型等物理 AI 的突破性技術,正開啟全新的應用。NVIDIA 的全端 Jetson 機器人技術處理器、CUDA、Omniverse 與開放式物理 AI 模型,強化全球合作夥伴生態系,透過 AI 驅動的機器人技術推動產業轉型。」


全新的開放式模型推動機器人學習與推理技術

若要將現今成本高昂、僅執行單一任務且難以撰寫程式的機器轉變為具有推理能力的「專業通才型」機器人,需要大量資金與專業知識才能打造基礎模型。

NVIDIA 正在打造開放式模型,讓開發人員繞過得消耗大量資源的預訓練,並專注於打造新一代 AI 機器人與自主機器。 這些新模型都在 Hugging Face 推出,包括:

NVIDIA Cosmos™ Transfer 2.5NVIDIA Cosmos Predict 2.5:可完全客製化的開放式世界模型,可在物理 AI 模擬中支援以物理為基礎的合成資料生成與機器人原則評估。

NVIDIA Cosmos Reason 2:這款開放式推理視覺語言模型(VLM),可讓智慧機器在物理世界像人類一樣看見、理解並採取行動。

NVIDIA Isaac™ GR00T N1.6:這款開放式推理視覺語言行動模型(VLA),專為人形機器人而設計,可解鎖全身控制,並使用 NVIDIA Cosmos Reason 實現更佳的推理與脈絡理解。

Franka Robotics、NEURA Robotics 與 Humanoid 正使用運用GR00T的工作流程來模擬、訓練及驗證機器人的新行為。Salesforce 正運用 Agentforce、Cosmos Reason 和 NVIDIA Blueprint 進行影片搜尋與摘要,以分析機器人拍攝的影片片段,將事件解決時間縮短 2 倍。

LEM Surgical 正運用 NVIDIA Isaac for Healthcare 與 Cosmos Transfer,訓練採用 NVIDIA Jetson AGX Thor™ 與 Holoscan 的 Dynamis 手術機器人上的自主手臂。XRlabs 正運用 Thor 與 Isaac for Healthcare,讓 Olympus 的 ORBEYE 外視鏡得以利用即時 AI 分析為外科醫生提供指導。


適用於機器人開發的全新開源模擬與運算框架

可擴展的模擬對於訓練及評估機器人至關重要,但目前的工作流程仍是分散且難以管理。基準測試通常需要手動完成且難以擴充,而端對端流程需要跨不同運算資源進行複雜的協調工作。

NVIDIA 今天在 GitHub 上發佈了新的開源框架,可簡化這些複雜的流程,並加速從研究到實際使用案例的過渡期。

NVIDIA Isaac Lab-Arena 是一款可在 GitHub 上取得的開源框架,可為模擬中大規模機器人原則評估和基準測試提供協作系統,其評估和任務層次是與 Lightwheel 密切合作而設計的。Isaac Lab-Arena 連結至 Libero 和 Robocasa 等業界領先的評測基準,將測試標準化,並確保機器人技能在部署到物理硬體前穩定可靠。

NVIDIA OSMO 是雲端原生協調框架,將機器人開發整合至單一且易於使用的指揮中心。OSMO 可讓開發人員定義並執行合成資料生成、模型訓練與軟體循環測試,橫跨工作站到混合式雲端執行個體等不同運算環境以加速開發週期。

OSMO 現已開放使用,並已由 Hexagon Robotics等機器人開發人員使用,且已整合至 Microsoft Azure Robotics Accelerator 工具鏈。


NVIDIA 與 Hugging Face 加速開源物理 AI 開發

機器人是Hugging Face上成長最快的類別,在快速擴張的開源社群中,NVIDIA的開放模型與資料集的下載量保持領先。

為了鞏固這個社群,NVIDIA 正與 Hugging Face 合作,將開源 Isaac 與 GR00T 技術整合至領先的 LeRobot 開源機器人技術框架,提供整合式軟硬體工具的簡化存取,加速端對端開發。這項合作案將 NVIDIA 的 200 萬機器人開發人員與 Hugging Face 的 1300 萬 AI 建構者全球社群串連在一起。

GR00T N與 Isaac Lab-Arena現已在 LeRobot 資料庫中提供,可輕鬆微調與評估。Hugging Face 的開源 Reachy 2 人形機器人可與 NVIDIA Jetson Thor™ 機器人技術電腦完全互通,讓開發人員執行包括 GR00T N1.6 在內的任何視覺語言行動模型。 Hugging Face 的開源 Reachy Mini 桌面機器人也與 NVIDIA DGX Spark™ 完全互通,可利用 NVIDIA 大型語言模型以及在本機執行的語音與電腦視覺開放模型打造自訂體驗。


人形機器人開發人員採用 NVIDIA Jetson Thor

NVIDIA Jetson Thor 具備可滿足人形機器人的大規模運算需求的推理能力。在CES上,人形機器人開發人員展示現已與 Jetson Thor 整合的全新尖端機器人。

NEURA Robotics 正推出由 Porsche 設計的第 3 代人形機器人,以及小型化且為靈巧控制最佳化的人形機器人。Richtech Robotics 將推出 Dex 行動人形機器人,可在複雜工業環境進行精密的操作與導航。 AGIBOT 正針對工業與消費類領域推出人形機器人,以及與 Isaac Sim 整合的機器人模擬平台 Genie Sim 3.0。LG 電子發布了可執行多種室內家務的一款全新家用機器人。

Boston Dynamics、Humanoid 與 RLWRLD 都已將 Jetson Thor 整合至現有的人形機器人,以提升導航與操控能力。


將物理 AI 導入工業邊緣


全新NVIDIA Jetson™ T4000 模組將 NVIDIA Blackwell 架構引進自主機器和通用機器人領域,為NVIDIA Jetson Orin™ 客戶提供了一條具成本效益且高效能的升級途徑。此產品1000 台訂購量的售價為每模組 1999 美元。相較於前一代提供 1,200 FP4 每秒浮點運算次數的效能,並搭載 64GB 記憶體,位於可配置的 70 瓦特功耗範圍內,非常適合能源受限的自動化應用。

NVIDIA IGX Thor 將於本月稍晚發售,將機器人技術延伸至工業邊緣,提供高效能 AI 運算,以及企業軟體支援與功能安全。Archer正運用IGX Thor將AI帶至航太產業,推進航機安全、空域整合與自主化就緒系統的關鍵功能。

合作夥伴包括研揚科技、研華、凌華科技安提國際圓剛科技、Connect Tech、慧友電子ForeCR立端科技、RealTimes、Syslogic、超恩聰泰科技提供配備 Thor 的系統,用於邊緣 AI、機器人技術與嵌入式應用。

此外,Caterpillar 正擴大與 NVIDIA 的合作,將先進的 AI 與自主技術應用於建築與採礦業的設備與作業現場。 Caterpillar 執行長 Joe Creed 將在 1 月 7 日(星期三)的CES主題演講中,與 NVIDIA 機器人技術與邊緣 AI 副總裁 Deepu Talla 分享詳細資訊。