把 AI 算力裝進口袋不再是口號，ASUS 近日端出首款 USB 形式的 AI 加速裝置 UGen300。這款長得像大號隨身碟的小東西，目標很明確：讓你的老電腦或行動裝置不必連上雲端，就能原地變身成具備生成式 AI 推理能力的 Edge AI 工作站。
UGen300 雖然尺寸僅約 105 x 50 x 18 mm，內在卻不簡單。它搭載了 Hailo-10H 晶片，能有最高 40 TOPS 的 AI 算力，以及自帶 8GB LPDDR4 專用記憶體，不佔用系統資源。透過 USB 3.1 Gen2 Type-C 介面接上後，一般負載功耗僅約 2.5W。
在應用層面，UGen300 支援主流的 TensorFlow、PyTorch 與 ONNX 框架，能跑 LLM（大語言模型）和 VLM（視覺語言模型）。簡單來說，它就像是一個外掛的 NPU 輔助單元，能幫 CPU 分擔文字生成、影片摘要或即時語音指令等重活。更友善的是，它支援 Windows、Linux 與 Android 跨平台即插即用，這對最近剛把 Linux 市佔率推上 5% 的小眾玩家，或是被 Windows 11 更新搞到想跳槽的人來說，多了一個硬體升級的出口。
為了讓開發者少走彎路，ASUS 還配套推出了 UGen 工具，直接內建超過 100 個預訓練模型。讓你靠 USB 就能補足 AI 缺口，適合想低成本體驗離線 AI 的用戶。只是這小東西能跑到怎樣程度，還有待使用者分享了。
UGen300 雖然尺寸僅約 105 x 50 x 18 mm，內在卻不簡單。它搭載了 Hailo-10H 晶片，能有最高 40 TOPS 的 AI 算力，以及自帶 8GB LPDDR4 專用記憶體，不佔用系統資源。透過 USB 3.1 Gen2 Type-C 介面接上後，一般負載功耗僅約 2.5W。
在應用層面，UGen300 支援主流的 TensorFlow、PyTorch 與 ONNX 框架，能跑 LLM（大語言模型）和 VLM（視覺語言模型）。簡單來說，它就像是一個外掛的 NPU 輔助單元，能幫 CPU 分擔文字生成、影片摘要或即時語音指令等重活。更友善的是，它支援 Windows、Linux 與 Android 跨平台即插即用，這對最近剛把 Linux 市佔率推上 5% 的小眾玩家，或是被 Windows 11 更新搞到想跳槽的人來說，多了一個硬體升級的出口。
為了讓開發者少走彎路，ASUS 還配套推出了 UGen 工具，直接內建超過 100 個預訓練模型。讓你靠 USB 就能補足 AI 缺口，適合想低成本體驗離線 AI 的用戶。只是這小東西能跑到怎樣程度，還有待使用者分享了。
