NVIDIA DLSS 5 最近成了 Mod 圈的新玩具,現在又有人直接把其中的 Neural Rendering 網路重做成開源版本。開發者 MAAN 推出了 OpenDLSS-NR,以 Vulkan 實作 DLSS 5 Neural Rendering,並宣稱可以重現 NVIDIA 原版的 71 個神經網路區塊,連中間運算結果都能做到 bit-exact,而不是只看最後輸出的畫面像不像。
這裡講的不是 DLSS Super Resolution。Super Resolution 是拿低解析度畫面重建成較高解析度,而 DLSS 5 Neural Rendering 是在遊戲畫面已經算出來之後,再透過 AI 對畫面進行處理,包括增加細節、調整光照與材質,以及改善臉部特徵等。
OpenDLSS-NR 採用 U-Net 架構,裡面結合 Shifted-Window Transformer 與全域 Vision Transformer(ViT),運算使用 FP8 activation、FP16 accumulation,模型權重約佔 141 MiB。
開發者也針對 NVIDIA Tensor Core 加入最佳化 PTX kernel,同時提供 GLSL Compute Shader。以 RTX 4070 SUPER 測試時,完整神經網路的最低執行時間如下:
這些數字是連續測試 40 幀後記錄的最低執行時間,不是平均值,所以不能直接拿來當成遊戲實際 FPS 損耗。不過至少可以確認這套重製版確實能在 Ada Lovelace,也就是 RTX 40 系列硬體上執行。
目前 NVIDIA 官方 DLSS 5 是以 RTX 50 系列為主要支援平台,RTX 40 的官方支援則還要等後續更新。現在有人自己把 Neural Rendering 網路搬到 Vulkan,RTX 4070 SUPER 就已經能跑。
另外 OpenDLSS-NR 還做了一套 WebGPU 版本。這個版本不需要 NVIDIA Tensor Core,也不依賴原生 FP8 支援,因此理論上可以讓其他 GPU 架構與瀏覽器平台也跑這套神經網路。不過代價就是速度差很多,WebGPU 版本在 512 × 512 解析度下需要約 72ms,最佳化的原生實作則只需要約 2.7ms。
這個專案也不是下載後丟進遊戲資料夾就能直接使用的 DLSS 5 Mod。開發者沒有提供 NVIDIA 的專有模型權重,使用者仍然需要自行準備。
專案本身提供基於 Google Filament 的展示渲染器,包含 Motion Vector 與 Temporal Feedback 等功能,但沒有實作 DLSS Super Resolution。目前主要是在重現 Neural Rendering 這一塊,而不是把完整 DLSS 5 打包成一個開箱即用的版本。
對 Mod 玩家來說,這類專案證明 DLSS 5 的 Neural Rendering 並不是只有 RTX 50 才能跑。至少從這次 RTX 4070 SUPER 的測試來看,舊一代 Tensor Core 也可以。
OpenDLSS-NR Github 連結
github.com
更多資訊和演示可透過 MAAN 的 X 貼文
來源
這裡講的不是 DLSS Super Resolution。Super Resolution 是拿低解析度畫面重建成較高解析度,而 DLSS 5 Neural Rendering 是在遊戲畫面已經算出來之後,再透過 AI 對畫面進行處理,包括增加細節、調整光照與材質,以及改善臉部特徵等。
OpenDLSS-NR 採用 U-Net 架構,裡面結合 Shifted-Window Transformer 與全域 Vision Transformer(ViT),運算使用 FP8 activation、FP16 accumulation,模型權重約佔 141 MiB。
開發者也針對 NVIDIA Tensor Core 加入最佳化 PTX kernel,同時提供 GLSL Compute Shader。以 RTX 4070 SUPER 測試時,完整神經網路的最低執行時間如下:
| 解析度 | 最低執行時間 |
|---|---|
| 768 × 768 | 2.8 ms |
| 1920 × 1080 | 7.8 ms |
| 2560 × 1440 | 12.6 ms |
| 3840 × 2160 | 29.3 ms |
這些數字是連續測試 40 幀後記錄的最低執行時間,不是平均值,所以不能直接拿來當成遊戲實際 FPS 損耗。不過至少可以確認這套重製版確實能在 Ada Lovelace,也就是 RTX 40 系列硬體上執行。
目前 NVIDIA 官方 DLSS 5 是以 RTX 50 系列為主要支援平台,RTX 40 的官方支援則還要等後續更新。現在有人自己把 Neural Rendering 網路搬到 Vulkan,RTX 4070 SUPER 就已經能跑。
另外 OpenDLSS-NR 還做了一套 WebGPU 版本。這個版本不需要 NVIDIA Tensor Core,也不依賴原生 FP8 支援,因此理論上可以讓其他 GPU 架構與瀏覽器平台也跑這套神經網路。不過代價就是速度差很多,WebGPU 版本在 512 × 512 解析度下需要約 72ms,最佳化的原生實作則只需要約 2.7ms。
這個專案也不是下載後丟進遊戲資料夾就能直接使用的 DLSS 5 Mod。開發者沒有提供 NVIDIA 的專有模型權重,使用者仍然需要自行準備。
專案本身提供基於 Google Filament 的展示渲染器,包含 Motion Vector 與 Temporal Feedback 等功能,但沒有實作 DLSS Super Resolution。目前主要是在重現 Neural Rendering 這一塊,而不是把完整 DLSS 5 打包成一個開箱即用的版本。
對 Mod 玩家來說,這類專案證明 DLSS 5 的 Neural Rendering 並不是只有 RTX 50 才能跑。至少從這次 RTX 4070 SUPER 的測試來看,舊一代 Tensor Core 也可以。
OpenDLSS-NR Github 連結
GitHub - maanHimself/OpenDLSS-NR: A Vulkan reimplementation of NVIDIA's DLSS 5 Neural Rendering network, bit-exact against the original.
A Vulkan reimplementation of NVIDIA's DLSS 5 Neural Rendering network, bit-exact against the original. - maanHimself/OpenDLSS-NR
更多資訊和演示可透過 MAAN 的 X 貼文
來源
