AI 應用 NVIDIA Metropolis 為開發者提供函式庫,打造 Cosmos 驅動的視覺 AI 代理

soothepain

full loading
已加入
9/17/03
訊息
23,356
互動分數
2,009
點數
113
網站
www.coolaler.com
隨著企業在真實世界中蒐集的影片資料日益增加,視覺 AI 正從被動感知與儀表板,進化為可即時理解、推理及採取行動的代理型系統。這些系統由具備推理能力的視覺語言模型(VLM)驅動,如 NVIDIA Cosmos 開放模型,能從影片中擷取豐富洞察,涵蓋營運狀況、環境脈絡或問題根本原因。

nvidia07164.jpg


要打造可投入生產且具高準確度的視覺 AI 代理,從資料蒐集、模型訓練、驗證到部署,可能需要數千小時的開發時間。NVIDIA Metropolis 現已整合超過 80 項全新技能,包括 NVIDIA VSS Blueprint 3.2、NVIDIA DeepStream 9.1、NVIDIA TAO 7 與 Physical AI Data Factory,協助開發者運用程式設計代理,將整體流程加速至少 6 倍。

日本工業與智慧空間領域的領導企業,包括 Asilla、AWL、富士通、Hitachi、歐姆龍、清水建設與 Yazaki North America,皆正運用 Metropolis 將視覺 AI 代理導入工廠、建築工地、街道、建築物及公共空間。


Metropolis 開放式函式庫與技能 涵蓋視覺 AI 完整生命週期

Metropolis 提供一套完整的開放式函式庫與技能,涵蓋視覺 AI 的完整開發生命週期,從建立資料管道、生成合成資料、微調模型,到大規模部署代理。


全新函式庫包括:
  • NVIDIA VSS Blueprint 3.2 協助開發者打造及運作視覺 AI 代理,這些代理可運用自然語言,對即時或錄製影片進行觀看、推理與採取行動。全新的程式設計代理技能,可加速打造及運作客製化且持續運作的影片代理,使其能在大型攝影機網路中發出警示、生成摘要及進行搜尋。
  • NVIDIA DeepStream 9.1 協助開發者建立及部署從邊緣到雲端的即時多感測器影片分析管道,用於大規模資料擷取、多攝影機追蹤與營運分析。
  • NVIDIA TAO 7 助力開發者透過標註、效能診斷、微調、資料生成及自動化機器學習等代理技能,客製化及最佳化 NVIDIA Cosmos 與其他視覺 AI 模型。
  • NVIDIA Physical AI Data Factory 技能協助開發者運用 NVIDIA Cosmos自動生成並擴增合成影像與影片資料,以補足罕見或新型產品瑕疵、環境變化及其他邊緣案例的訓練資料缺口,將視覺模型的準確度提升至全新層次。

企業運用 NVIDIA Metropolis 推進代理型視覺 AI

日本企業正運用全新 NVIDIA Metropolis 技術,為實體營運導入即時智慧。

nvidia07165.jpg


在工業檢測與營運方面,歐姆龍正運用由 VSS 驅動的影片分析代理來強化自動化檢測。

nvidia07166.jpg


DeepHow 正協助 Yazaki North America 將時間與動作研究自動化,把原本需耗時數週的流程縮短至數天,並可望每年節省數百萬美元。

在智慧空間與公共安全方面,Hitachi 的多項 HMAX 解決方案運用由 VSS 驅動的代理,產出可採取行動的洞察,並找出建築與鐵路基礎設施的問題。僅在鐵路應用中,便有助於將維護成本與能源消耗降低 15%。富士通 Kozuchi AI 平台則結合 VSS 與其 Agentic Memory 技術,將長時間影片轉化為營運知識,加快製造、物流、零售與智慧空間等領域的決策速度。同時,清水建設正嘗試運用 VSS 提升建築工人的安全。

Asilla 運用 DeepStream 與視覺語言模型監控公共空間和商業設施,以偵測事件並縮短應變時間;AWL 則運用 DeepStream 建構零售與製造解決方案。


開發者可在 GitHub 取得 NVIDIA VSS Blueprint 3.2 技能NVIDIA DeepStream 9.1 技能NVIDIA TAO 7 技能NVIDIA Physical AI Data Factory 與合成資料生成技能亦可透過 GitHub 取得,並可運用 NVIDIA Brev 上的 Physical AI Launchables 進行探索。