大規模運作下仍具備最高單執行緒效能的 CPU，是為代理型人工智慧（AI）時代打造的全新 CPU 類別。
在代理型系統的建置與部署過程中，CPU 處於關乎推理、回應時間與學習的關鍵路徑上。CPU 是執行 AI 模型指令工作的處理器，包括工具呼叫、程式碼執行、資料處理、KV 快取與結果分析。
對 AI 工廠中的代理而言，速度至關重要。
CPU 執行工具的速度越快，代理完成當前任務的速度就越快。
對 AI 工廠而言，GPU 利用率是資料中心最具價值的資源，因此任何等待任務完成的時間，都會限制 AI 工廠的收益，更甚者，還可能因等待 CPU 完成任務而影響 GPU 的利用率。AI 工廠需要具備最高單執行緒效能的 CPU，才能將 AI 工廠的收益與代理效能最大化。
當今資料中心的 CPU 並非為大規模環境下的速度而設計。
雖然目前已經有適用於 PC 與工作站的高速 CPU，但資料中心 CPU 的發展方向，已逐漸偏離單執行緒效能。雲端的興起促使 CPU 製造商打造更高核心數的 CPU，並透過犧牲效能來降低成本。
為了最佳化每個可租用核心的成本，CPU 晶片中的核心數不斷增加，卻也排擠了原本能讓這些核心高速運作的晶片面積，例如高效能記憶體互連架構，以及每核心更快的指令處理能力。轉向小晶片（chiplet）架構雖然進一步降低了成本，卻也帶來「小晶片稅（chiplet tax）」的問題，使每個 CPU 的核心無法再充分利用晶片的完整記憶體效能。
AI 代理需要一款專為在大規模環境下實現最高單執行緒效能而設計的 CPU。
大規模運作下仍具備最高單執行緒效能的 CPU，能在系統滿載時，讓每個代理步驟維持高速運作。每個核心皆能以完整效能完成代理任務，不會受到其他核心拖慢。大規模運作下仍具備最高單執行緒效能的 CPU 採用不同設計，旨在實現：
每個核心都能在不受其他核心拖慢的情況下完成自身任務，帶來出色的輸送量，更重要的是，能實現單核心任務的極致效能。
NVIDIA Vera 展現了這類全新 CPU 設計。
如何打造在大規模運作下仍具備最高單執行緒效能的 CPU，以執行代理型迴圈
AI 代理不會在處理單一請求後就停止運作，而是以迴圈方式運作。模型會推理下一步該如何行動，CPU 會執行與模型相關的工作，結果會回傳給模型，模型再決定下一步該怎麼做，接著迴圈再次運作。
這種模式形成了傳統 CPU 未經最佳化的需求樣貌。傳統 CPU 的工作具備間歇性且由使用者驅動，主要由人們觸發的短暫互動所構成。代理型工作則是持續且平行的：大量的代理持續運作，每個代理依序執行一系列步驟，而每個步驟都取決於前一步的結果。
CPU 的核心數越多，意味著每個 CPU 可處理的代理任務越多，資料中心 CPU 也需要大量核心來最大化任務輸送量。
然而，增加 CPU 核心數並無法縮短單一代理迴圈中每個步驟所需的時間。更多核心無法讓單一任務運作得更快。事實上，為了最大化核心數而設計的 CPU，甚至可能因核心爭奪資源而降低每個核心的效能。
要推動每個步驟的完成速度，單一核心的個別效能至關重要。增加核心數所帶來的輸送量固然有用，但仍不足夠。由於每個動作都取決於前一步的結果，單一核心的速度決定了迴圈推進的速度。
最終，最頂尖的代理型 CPU 需要具備每核心最佳的單執行緒效能，且每個核心都必須毫不妥協地提供這樣的效能。世界以秒計算，代理則以奈秒計算。NVIDIA Vera 正是為這類全新工作型態與速度需求而打造。
NVIDIA Vera 是為代理打造，在大規模運作下仍具備最高單執行緒效能的 CPU
NVIDIA Vera 是一款在大規模運作下仍具備最高單執行緒效能的 CPU，從頭開始為代理迴圈而設計，也就是代理在使用工具、處理資料、執行程式碼與檢查結果時，於模型呼叫間所進行的工作。
Vera 的核心是 Olympus，NVIDIA 客製化的 CPU 核心，其每週期指令數較 NVIDIA Grace 提升 50%。這點相當重要，因為許多代理的步驟都是依序進行。無論是工具呼叫、程式碼執行、測試運作或資料處理步驟，都必須先完成，下一次模型呼叫才能使用其結果。更快的核心能讓每個迴圈更快向前推進。
Vera 將這些更快的核心，搭配高達 1.2TB/s 的 LPDDR5X 記憶體頻寬，且記憶體功耗低於 40 瓦。此外，Vera 採用單片運算裸晶，有助於讓運作中的核心持續獲得資料供應，並透過 3.4TB/s 的核心對核心頻寬，維持可預測的資料傳輸，這是其他任何資料中心 CPU 的 3 倍。這使得所有 88 個核心都能取得 CPU 的完整記憶體效能，同時避免產生會拖慢每個核心速度的瓶頸。
其結果是代理迴圈運作得更快。在代表代理型執行的滿載 CPU 工作負載中，Vera 展現的每核心持續效能是 x86 的 1.8 倍。
這些效益會在工具呼叫、程式碼執行、資料處理步驟與驗證流程中不斷累積，協助 AI 工廠以現有 GPU 完成更多代理工作。
Perplexity 已在每日運作的代理型工作中測試 Vera。在執行真實的程式碼工作流程，也就是複製儲存庫並在沙盒中執行其測試套件時，Vera 完成工作的速度約比 x86 快 1.5 倍，並能以最高 1.9 倍速度啟動並行沙盒。Perplexity 目前正計劃在其即將上線的生產系統中部署 Vera。
代理同樣仰賴資料。它們不斷查詢、擷取、篩選與傳輸資訊，而 Vera 能更快地執行這些 CPU 端資料工作負載。合作夥伴的測試顯示，相較於領先的 x86 伺服器 CPU，Vera 搭配 Starburst 可實現快 3 倍的大規模 SQL 分析，搭配 Redpanda 進行即時串流處理時，則可實現最高 6 倍更低延遲。
代理工作並非單一工作負載。代理會執行工具與沙盒、處理資料、回應請求，並透過強化學習訓練下一個模型，而這一切都依賴相同的優勢。
單一 Vera 即可處理所有應用場景，無需針對每種工作負載配備不同的 CPU。此外，由於 Vera 同時是 NVIDIA Vera Rubin 中承載 GPU 的 CPU，也驅動 NVIDIA BlueField-4 STX 儲存處理器，因此整個 AI 工廠皆基於單一架構與單一工具鏈運作。
NVIDIA 的腳步仍未停止。搭載 Rigel 核心的 NVIDIA 下一代 Rosa CPU，將延續 NVIDIA 為代理型 AI 時代打造的 CPU 產品藍圖。Rigel 是 NVIDIA 下一代 Arm v9.2 CPU 核心，在維持相同晶片面積的同時，提供比 Olympus 更高的每核心效能。主要改善包括更好的指令傳遞、更大的 L2 快取，以及更高效的記憶體處理。
為代理的速度而打造
在代理型 AI 時代，全球將出現數十億個代理，而每個代理都將仰賴 CPU 來行動、檢查、擷取、執行與驗證。在這個全新市場中，代理完成的工作就是產品。更快的代理迴圈能協助每顆 GPU 將更多時間用於執行可產生收益的工作，並減少等待時間。
NVIDIA Vera 正是為這個未來打造的 CPU。
深入了解 NVIDIA Vera CPU。
在代理型系統的建置與部署過程中，CPU 處於關乎推理、回應時間與學習的關鍵路徑上。CPU 是執行 AI 模型指令工作的處理器，包括工具呼叫、程式碼執行、資料處理、KV 快取與結果分析。
對 AI 工廠中的代理而言，速度至關重要。
CPU 執行工具的速度越快，代理完成當前任務的速度就越快。
對 AI 工廠而言，GPU 利用率是資料中心最具價值的資源，因此任何等待任務完成的時間，都會限制 AI 工廠的收益，更甚者，還可能因等待 CPU 完成任務而影響 GPU 的利用率。AI 工廠需要具備最高單執行緒效能的 CPU，才能將 AI 工廠的收益與代理效能最大化。
當今資料中心的 CPU 並非為大規模環境下的速度而設計。
雖然目前已經有適用於 PC 與工作站的高速 CPU，但資料中心 CPU 的發展方向，已逐漸偏離單執行緒效能。雲端的興起促使 CPU 製造商打造更高核心數的 CPU，並透過犧牲效能來降低成本。
為了最佳化每個可租用核心的成本，CPU 晶片中的核心數不斷增加，卻也排擠了原本能讓這些核心高速運作的晶片面積，例如高效能記憶體互連架構，以及每核心更快的指令處理能力。轉向小晶片（chiplet）架構雖然進一步降低了成本，卻也帶來「小晶片稅（chiplet tax）」的問題，使每個 CPU 的核心無法再充分利用晶片的完整記憶體效能。
AI 代理需要一款專為在大規模環境下實現最高單執行緒效能而設計的 CPU。
大規模運作下仍具備最高單執行緒效能的 CPU，能在系統滿載時，讓每個代理步驟維持高速運作。每個核心皆能以完整效能完成代理任務，不會受到其他核心拖慢。大規模運作下仍具備最高單執行緒效能的 CPU 採用不同設計，旨在實現：
- 負載狀況下具備強勁的每核心效能
- 足夠的每核心記憶體頻寬，為運作中的核心持續提供資料
- 可預測的延遲
每個核心都能在不受其他核心拖慢的情況下完成自身任務，帶來出色的輸送量，更重要的是，能實現單核心任務的極致效能。
NVIDIA Vera 展現了這類全新 CPU 設計。
如何打造在大規模運作下仍具備最高單執行緒效能的 CPU，以執行代理型迴圈
AI 代理不會在處理單一請求後就停止運作，而是以迴圈方式運作。模型會推理下一步該如何行動，CPU 會執行與模型相關的工作，結果會回傳給模型，模型再決定下一步該怎麼做，接著迴圈再次運作。
這種模式形成了傳統 CPU 未經最佳化的需求樣貌。傳統 CPU 的工作具備間歇性且由使用者驅動，主要由人們觸發的短暫互動所構成。代理型工作則是持續且平行的：大量的代理持續運作，每個代理依序執行一系列步驟，而每個步驟都取決於前一步的結果。
CPU 的核心數越多，意味著每個 CPU 可處理的代理任務越多，資料中心 CPU 也需要大量核心來最大化任務輸送量。
然而，增加 CPU 核心數並無法縮短單一代理迴圈中每個步驟所需的時間。更多核心無法讓單一任務運作得更快。事實上，為了最大化核心數而設計的 CPU，甚至可能因核心爭奪資源而降低每個核心的效能。
要推動每個步驟的完成速度，單一核心的個別效能至關重要。增加核心數所帶來的輸送量固然有用，但仍不足夠。由於每個動作都取決於前一步的結果，單一核心的速度決定了迴圈推進的速度。
最終，最頂尖的代理型 CPU 需要具備每核心最佳的單執行緒效能，且每個核心都必須毫不妥協地提供這樣的效能。世界以秒計算，代理則以奈秒計算。NVIDIA Vera 正是為這類全新工作型態與速度需求而打造。
NVIDIA Vera 是為代理打造，在大規模運作下仍具備最高單執行緒效能的 CPU
NVIDIA Vera 是一款在大規模運作下仍具備最高單執行緒效能的 CPU，從頭開始為代理迴圈而設計，也就是代理在使用工具、處理資料、執行程式碼與檢查結果時，於模型呼叫間所進行的工作。
Vera 的核心是 Olympus，NVIDIA 客製化的 CPU 核心，其每週期指令數較 NVIDIA Grace 提升 50%。這點相當重要，因為許多代理的步驟都是依序進行。無論是工具呼叫、程式碼執行、測試運作或資料處理步驟，都必須先完成，下一次模型呼叫才能使用其結果。更快的核心能讓每個迴圈更快向前推進。
Vera 將這些更快的核心，搭配高達 1.2TB/s 的 LPDDR5X 記憶體頻寬，且記憶體功耗低於 40 瓦。此外，Vera 採用單片運算裸晶，有助於讓運作中的核心持續獲得資料供應，並透過 3.4TB/s 的核心對核心頻寬，維持可預測的資料傳輸，這是其他任何資料中心 CPU 的 3 倍。這使得所有 88 個核心都能取得 CPU 的完整記憶體效能，同時避免產生會拖慢每個核心速度的瓶頸。
其結果是代理迴圈運作得更快。在代表代理型執行的滿載 CPU 工作負載中，Vera 展現的每核心持續效能是 x86 的 1.8 倍。
這些效益會在工具呼叫、程式碼執行、資料處理步驟與驗證流程中不斷累積，協助 AI 工廠以現有 GPU 完成更多代理工作。
Perplexity 已在每日運作的代理型工作中測試 Vera。在執行真實的程式碼工作流程，也就是複製儲存庫並在沙盒中執行其測試套件時，Vera 完成工作的速度約比 x86 快 1.5 倍，並能以最高 1.9 倍速度啟動並行沙盒。Perplexity 目前正計劃在其即將上線的生產系統中部署 Vera。
代理同樣仰賴資料。它們不斷查詢、擷取、篩選與傳輸資訊，而 Vera 能更快地執行這些 CPU 端資料工作負載。合作夥伴的測試顯示，相較於領先的 x86 伺服器 CPU，Vera 搭配 Starburst 可實現快 3 倍的大規模 SQL 分析，搭配 Redpanda 進行即時串流處理時，則可實現最高 6 倍更低延遲。
代理工作並非單一工作負載。代理會執行工具與沙盒、處理資料、回應請求，並透過強化學習訓練下一個模型，而這一切都依賴相同的優勢。
單一 Vera 即可處理所有應用場景，無需針對每種工作負載配備不同的 CPU。此外，由於 Vera 同時是 NVIDIA Vera Rubin 中承載 GPU 的 CPU，也驅動 NVIDIA BlueField-4 STX 儲存處理器，因此整個 AI 工廠皆基於單一架構與單一工具鏈運作。
NVIDIA 的腳步仍未停止。搭載 Rigel 核心的 NVIDIA 下一代 Rosa CPU，將延續 NVIDIA 為代理型 AI 時代打造的 CPU 產品藍圖。Rigel 是 NVIDIA 下一代 Arm v9.2 CPU 核心，在維持相同晶片面積的同時，提供比 Olympus 更高的每核心效能。主要改善包括更好的指令傳遞、更大的 L2 快取，以及更高效的記憶體處理。
為代理的速度而打造
在代理型 AI 時代，全球將出現數十億個代理，而每個代理都將仰賴 CPU 來行動、檢查、擷取、執行與驗證。在這個全新市場中，代理完成的工作就是產品。更快的代理迴圈能協助每顆 GPU 將更多時間用於執行可產生收益的工作，並減少等待時間。
NVIDIA Vera 正是為這個未來打造的 CPU。
深入了解 NVIDIA Vera CPU。