NVIDIA Vera: Rebuilding the CPU for Agentic AI

Source: https://semiwiki.com/events/372854-nvidia-vera-rebuilding-the-cpu-for-agentic-ai/

NVIDIA’s Vera CPU is a server processor designed specifically for agentic AI, where language models repeatedly observe, reason, invoke tools, access memory, and act. These workflows depend on GPUs for model inference, but they also generate substantial CPU work: browser execution, orchestration, data preparation, security enforcement, storage access, networking, and tool calls. NVIDIA’s argument is that conventional cloud CPUs emphasize aggregate core count, whereas agentic systems require strong, predictable single-thread performance at rack scale.

NVIDIA의 베라(Vera) CPU는 에이전틱 AI(agentic AI)를 위해 특별히 설계된 서버 프로세서로, 언어 모델이 반복적으로 관찰, 추론, 도구 호출, 메모리 접근 및 행동을 수행하는 워크로드를 지원합니다. 이러한 워크플로우는 모델 추론을 위해 GPU에 의존하지만, 브라우저 실행, 오케스트레이션, 데이터 준비, 보안 집행, 스토리지 접근, 네트워킹, 도구 호출 등 상당한 양의 CPU 작업도 유발합니다. NVIDIA의 주장에 따르면, 기존의 클라우드 CPU는 전체 코어 수에 집중하는 반면, 에이전틱 시스템은 랙 규모에서 강력하고 예측 가능한 단일 스레드 성능을 요구합니다.

Vera is built around 88 custom Olympus cores supporting 176 threads. Unlike a conventional chiplet processor, it uses a monolithic compute die, placing cores, cache, memory controllers, coherency infrastructure, and I/O in one tightly integrated design. This reduces the latency and unpredictability associated with crossing chiplet boundaries. The processor includes 164 MB of L3 cache and NVIDIA’s second-generation Scalable Coherency Fabric, providing 3.4 TB/s of bisection bandwidth so cores can collaborate on large datasets without creating internal bottlenecks.

베라는 176개 스레드를 지원하는 88개의 커스텀 올림푸스(Olympus) 코어를 기반으로 제작되었습니다. 기존의 칩렛 프로세서와 달리 모놀리식 연산 다이를 사용하여 코어, 캐시, 메모리 컨트롤러, 일관성 인프라, I/O를 긴밀하게 통합된 하나의 설계로 구현했습니다. 이를 통해 칩렛 경계를 넘을 때 발생하는 지연 시간과 예측 불가능성을 줄였습니다. 이 프로세서는 164MB의 L3 캐시와 NVIDIA의 2세대 스케일러블 코어런시 패브릭(Scalable Coherency Fabric)을 탑재하여 3.4 TB/s의 이분 대역폭(bisection bandwidth)을 제공하므로, 코어들이 내부 병목 현상 없이 대규모 데이터셋에서 협업할 수 있습니다.

The Olympus core is a wide out-of-order design. Its front end can fetch 16 instructions and decode ten per cycle, supported by a large branch predictor, a 64 KB instruction cache, and a 96 KB data cache. Each core also has a private 2 MB L2 cache. A ten-micro-operation allocation and commit path feeds multiple integer, vector, branch, load, and store units. These resources are intended to accelerate irregular CPU workloads such as Python execution, compilation, code analysis, databases, event simulation, and browser automation.

올림푸스 코어는 광범위한 비순차적(out-of-order) 설계로 이루어져 있습니다. 프론트엔드는 사이클당 16개의 명령어를 가져와 10개를 디코딩할 수 있으며, 대규모 분기 예측기, 64KB 명령어 캐시, 96KB 데이터 캐시의 지원을 받습니다. 각 코어는 또한 2MB의 전용 L2 캐시를 갖추고 있습니다. 10개의 마이크로 연산 할당 및 커밋 경로는 여러 정수, 벡터, 분기, 로드, 스토어 유닛에 명령을 공급합니다. 이러한 리소스는 Python 실행, 컴파일, 코드 분석, 데이터베이스, 이벤트 시뮬레이션, 브라우저 자동화 등 불규칙한 CPU 워크로드를 가속하도록 설계되었습니다.

A notable feature is spatial multithreading. Traditional simultaneous multithreading allows two threads to compete dynamically for shared execution resources, which can increase total throughput but produce “noisy neighbor” effects. Vera instead partitions key resources between threads. This sacrifices some opportunistic sharing in exchange for deterministic performance and isolation. NVIDIA reports that loaded per-core performance remains near 100 percent, compared with 67 percent for a traditional CPU in its example. Internal preproduction SPEC CPU comparisons show gains ranging from approximately 1.2 to 1.8 times, with the largest improvements appearing in Python, GCC, LLVM, and code-analysis workloads.

주목할 만한 특징은 공간적 멀티스레딩(spatial multithreading)입니다. 전통적인 동시 멀티스레딩(SMT)은 두 스레드가 공유 실행 리소스를 동적으로 두고 경쟁하게 하여 전체 처리량은 증가할 수 있으나 '시끄러운 이웃(noisy neighbor)' 효과를 발생시킬 수 있습니다. 반면 베라는 스레드 간에 주요 리소스를 분할합니다. 이는 기회주의적 공유를 일부 포기하는 대신 결정론적 성능과 격리를 확보하기 위한 것입니다. NVIDIA에 따르면, 예시에서 전통적인 CPU가 67퍼센트를 기록한 것과 비교해 부하가 걸린 상태에서의 코어별 성능은 거의 100퍼센트에 가깝게 유지됩니다. 내부 사전 생산 단계의 SPEC CPU 비교 결과, 약 1.2배에서 1.8배에 이르는 성능 향상이 나타났으며, 가장 큰 개선은 Python, GCC, LLVM 및 코드 분석 워크로드에서 관찰되었습니다.

Power and memory provisioning are equally important. Vera uses data-center-class LPDDR5X-9600 rather than conventional DDR5 DIMMs. The processor supports up to 1.5 TB of SOCAMM LPDDR5X memory with 1.2 TB/s of bandwidth. NVIDIA claims roughly five times the memory-bandwidth-per-watt of several DDR5 configurations. This choice supplies every core with sufficient bandwidth while reducing the power consumed by memory movement, helping the processor sustain frequency as utilization rises.

전력 및 메모리 프로비저닝 역시 매우 중요합니다. 베라는 기존의 DDR5 DIMM 대신 데이터 센터 급 LPDDR5X-9600을 사용합니다. 이 프로세서는 최대 1.5 TB의 SOCAMM LPDDR5X 메모리를 지원하며 1.2 TB/s의 대역폭을 제공합니다. NVIDIA는 이 구성이 여러 DDR5 구성에 비해 메모리 대역폭 대 전력비가 약 5배 높다고 주장합니다. 이러한 선택은 모든 코어에 충분한 대역폭을 공급하는 동시에 메모리 이동에 소모되는 전력을 줄여, 사용량이 증가해도 프로세서가 클록 주파수를 유지할 수 있도록 돕습니다.

Vera also emphasizes external connectivity. Its aggregate off-die bandwidth reaches 4.3 TB/s. A coherent NVLink-C2C interface supplies 1.8 TB/s between the CPU and Rubin GPUs, while PCIe Gen 6 contributes 256 GB/s and supports CXL 3.1. These interfaces are intended to keep GPUs, memory, storage, and networking continuously supplied with work. In NVIDIA’s full Vera Rubin NVL72 system, 36 Vera CPUs support 72 Rubin GPUs.

베라는 외부 연결성도 강조합니다. 다이 외곽의 총 대역폭은 4.3 TB/s에 달합니다. 일관성을 지원하는 NVLink-C2C 인터페이스는 CPU와 루빈(Rubin) GPU 간에 1.8 TB/s를 공급하며, PCIe Gen 6는 256 GB/s를 제공하고 CXL 3.1을 지원합니다. 이 인터페이스들은 GPU, 메모리, 스토리지, 네트워킹에 지속적으로 작업을 공급하도록 설계되었습니다. NVIDIA의 완전한 베라 루빈 NVL72 시스템에서는 36개의 베라 CPU가 72개의 루빈 GPU를 지원합니다.

Security extends across this CPU-GPU complex. Vera provides confidential-computing trusted execution environments, memory encryption, protected I/O, and security checks across coherent CPU-GPU communication. Integration with BlueField data-processing units and NVIDIA’s DOCA software is intended to protect data and workloads across an entire rack rather than only within an isolated processor.

보안은 이 CPU-GPU 복합체 전반으로 확장됩니다. 베라는 기밀 컴퓨팅 신뢰 실행 환경(TEE), 메모리 암호화, 보호된 I/O, 그리고 일관성 있는 CPU-GPU 통신 전반에 걸친 보안 검사를 제공합니다. 블루필드(BlueField) 데이터 처리 장치(DPU) 및 NVIDIA DOCA 소프트웨어와의 통합은 단일화된 프로세서 내부뿐만 아니라 랙 전체에 걸쳐 데이터와 워크로드를 보호하도록 설계되었습니다.

Why does this matter? Agentic AI changes the system bottleneck. Generating model tokens is only one stage; an agent must also interpret results, run software, retrieve context, communicate with services, and enforce governance. If CPU latency delays these steps, expensive GPUs sit idle and user interaction slows. Strong single-thread performance therefore becomes as important as aggregate throughput.

이것이 중요한 이유는 무엇일까요? 에이전틱 AI는 시스템의 병목 현상을 바꾸어 놓습니다. 모델 토큰을 생성하는 것은 단지 한 단계일 뿐이며, 에이전트는 결과 해석, 소프트웨어 실행, 컨텍스트 검색, 서비스 통신, 거버넌스 집행도 수행해야 합니다. 만약 CPU 지연 시간이 이러한 단계들을 지연시키면, 고가의 GPU는 유휴 상태로 대기하게 되고 사용자 상호작용 속도가 느려집니다. 따라서 강력한 단일 스레드 성능은 전체 처리량만큼이나 중요해집니다.

Bottom line: Vera represents NVIDIA’s attempt to co-design the entire AI factory rather than optimize the GPU alone. Its custom cores, deterministic threading, high-bandwidth low-power memory, coherent GPU links, and rack-level security treat the CPU as an active component of AI performance. The larger significance is architectural: future AI systems may be judged not by the speed of any individual chip, but by how efficiently CPUs, GPUs, memory, networking, storage, and security operate as one coordinated machine.

결론적으로, 베라는 GPU만을 최적화하는 대신 전체 AI 팩토리를 공동 설계하려는 NVIDIA의 시도를 나타냅니다. 커스텀 코어, 결정론적 스레딩, 고대역폭 저전력 메모리, 일관성 있는 GPU 링크, 랙 수준의 보안은 CPU를 AI 성능의 능동적인 구성 요소로 다루게 합니다. 더 큰 차원에서 그 중요성은 아키텍처에 있습니다. 미래의 AI 시스템은 개별 칩의 속도가 아니라, CPU, GPU, 메모리, 네트워킹, 스토리지, 보안이 하나의 조율된 기계처럼 얼마나 효율적으로 작동하는가에 따라 평가될 것입니다.

Source: Jonathon Evans and Polychronis Xekalakis, “NVIDIA Vera CPU,” Hot Chips 2026. Performance figures are NVIDIA claims, and several results were based on preproduction or unofficial testing.