The AI Inference Revolution Is Here

Source: https://spectrum.ieee.org/inference-hardware-revolution

Today’s tidal wave of queries is forcing hardware makers to pivot

오늘날 쏟아지는 방대한 양의 질문(요청) 세례로 인해 하드웨어 제조사들은 방향 전환을 강요받고 있습니다.

Since about 2020, AI has largely focused on training bigger and better models. Large language models (LLMs) ballooned from millions of parameters to trillions. This proved effective: The largest version of OpenAI’s GPT-3, released in 2020, correctly answered just 43.9 percent of questions on a popular knowledge-and-reasoning benchmark. Just four years later, GPT-4o reached a score of 88.7 percent on the same exam, effectively matching those of human experts.

2020년경부터 인공지능(AI)은 주로 더 크고 우수한 모델을 훈련하는 데 집중해 왔습니다. 거대 언어 모델(LLM)은 수백만 개였던 매개변수(파라미터)가 수조 개 규모로 급증했습니다. 이는 효과가 입증되었습니다. 2020년에 출시된 OpenAI의 GPT-3 최대 버전은 인기 있는 지식 및 추론 벤치마크의 질문 중 43.9퍼센트만 맞혔습니다. 불과 4년 후, GPT-4o는 동일한 시험에서 88.7퍼센트의 점수를 기록하며 인간 전문가의 수준과 사실상 대등해졌습니다.

Advanced AI labs are still training ever larger models, but that training has somewhat receded to the background of the AI conversation. In 2026, inference—the use of trained models to produce code, write essays, or make images of ourselves as elves—has come to the forefront.

첨단 AI 연구소들은 여전히 그보다 더 거대한 모델을 훈련하고 있지만, 그러한 훈련 과정은 AI 업계 논의의 전면에서 다소 물러나게 되었습니다. 2026년 현재는 훈련된 모델을 활용해 코드를 생성하고, 에세이를 작성하거나, 우리 자신의 모습을 엘프처럼 이미지로 만들어내는 등의 추론(Inference)이 핵심 무대로 부상했습니다.

“It’s like training is yesterday’s news,” says Matt Kimball, principal data-center analyst at Moor Insights & Strategy. “All that any chief information officer wants to talk about is inference.” Nvidia CEO Jensen Huang, speaking at the company’s GTC 2026 conference, touted this change as the “inflection point of inference.”

"훈련은 이제 한물간 뉴스가 되었습니다." 무어 인사이츠 앤드 스트래티지(Moor Insights & Strategy)의 수석 데이터센터 분석가 맷 킴벌(Matt Kimball)의 말입니다. "모든 최고정보책임자(CIO)들이 이야기하고 싶어 하는 것은 오직 추론뿐입니다." 젠슨 황 엔비디아 CEO는 자사의 GTC 2026 컨퍼런스에서 이러한 변화를 "추론의 변곡점"이라고 강조했습니다.

Part of what’s caused the shift is very simple: LLMs are becoming useful, so people are using them. On top of that, many models on the market today are reasoning models. In response to a user’s query, they run inference not just once but multiple times, reprompting themselves in a process called chain of thought. Reasoning models generate longer outputs, and models with high reasoning effort can produce up to 20 times as much text as those with low or no effort. Adding even more to the world’s inference workload, the rise of agentic AI has resulted in inference running not just as a real-time response to a user’s query but also around the clock, working autonomously toward a user-defined goal.

이러한 전환을 이끌어낸 요인 중 일부는 매우 단순합니다. LLM이 유용해지면서 사람들이 실제로 사용하기 시작했다는 점입니다. 게다가 현재 시장에 나와 있는 많은 모델은 추론 모델입니다. 사용자의 질문에 답할 때, 이들은 단 한 번이 아니라 여러 번 추론을 수행하며, '사고 체인(chain of thought)'이라는 과정을 통해 스스로에게 다시 프롬프트를 입력합니다. 추론 모델은 더 긴 출력물을 생성하며, 추론 노력이 큰 모델은 노력이 적거나 없는 모델보다 최대 20배에 달하는 텍스트를 만들어낼 수 있습니다. 전 세계의 추론 작업 부하를 더욱 가중시키는 요인으로, 에이전트형 AI(agentic AI)의 부상 역시 꼽을 수 있습니다. 이로 인해 추론은 사용자의 질문에 대한 실시간 응답에만 그치지 않고, 사용자가 정의한 목표를 향해 24시간 내내 자율적으로 작동하며 이루어지고 있습니다.

The resulting explosion in inference demand has led to unexpected alliances among tech giants. OpenAI and Amazon have deployed chips the size of a dinner plate designed by Cerebras, despite Amazon having its own Trainium chips. Nvidia bought key talent and intellectual property from AI-inference startup Groq in a controversial deal worth US $20 billion. And Anthropic is paying LLM competitor SpaceXAI over a billion dollars per month to lease spare compute.

이러한 추론 수요의 폭발적인 증가는 기술 거인들 간의 예상치 못한 동맹으로 이어졌습니다. 오픈AI(OpenAI)와 아마존(Amazon)은 아마존 자체의 트레이니엄(Trainium) 칩을 보유하고 있음에도 불구하고, 세레브라스(Cerebras)가 설계한 접시 크기만 한 칩을 도입했습니다. 엔비디아(Nvidia)는 논란이 된 200억 달러 규모의 계약을 통해 AI 추론 스타트업 그록(Groq)의 핵심 인재와 지식재산권을 인수했습니다. 그리고 앤스로픽(Anthropic)은 여유 연산 자원을 임대하기 위해 LLM 경쟁사인 스페이스XAI(SpaceXAI)에 매달 10억 달러가 넘는 금액을 지불하고 있습니다.

Although they might seem similar, AI training and AI inference are computationally different. These big moves from tech giants signal that in order to support the inference demand, we’re going to need a very different mix of hardware than experts may have expected even a couple of years ago.

비록 비슷해 보일 수 있지만, AI 훈련과 AI 인공지능 추론은 연산 구조상 큰 차이가 있습니다. 테크 거인들의 이러한 대규모 행보는, 추론 수요를 뒷받침하기 위해 불과 몇 년 전 전문가들이 예상했던 것과는 완전히 다른 조합의 하드웨어가 필요하게 될 것임을 시사합니다.

How does AI inference differ from AI training?

An untrained LLM is like a jumble of Scrabble tiles on a table. Instead of single letters, though, the tiles show fragments of words, called tokens. Everything you’d need to write almost anything is present, but nothing makes sense.

훈련되지 않은 LLM은 테이블 위에 흩어진 스크래블(Scrabble) 타일 더미와 같습니다. 하지만 단일 글자 대신 타일에는 토큰이라고 불리는 단어 조각들이 적혀 있습니다. 거의 무엇이든 쓰는 데 필요한 모든 것이 그곳에 있지만, 그 어떤 것도 의미를 통하지 않습니다.

Training a model organizes this jumble using a guessing game played at scale. The model is shown real text with the next token hidden and asked to predict what comes next. After each guess, the correct token is revealed and then compared to the prediction, and the difference is used to calculate the model’s accuracy. The game is played not with a single sentence but over billions of passages.

모델을 훈련하는 것은 대규모로 진행되는 추측 게임을 통해 이 뒤섞인 조각들을 체계적으로 정리하는 과정입니다. 모델에게는 다음 토큰이 가려진 실제 텍스트가 제시되며, 다음에 올 내용이 무엇인지 예측하도록 요구받습니다. 매번 추측을 마친 후에는 정답 토큰이 공개되고 모델의 예측값과 비교되며, 그 차이를 이용해 모델의 정확도를 계산합니다. 이 게임은 단 하나의 문장이 아니라 수십억 개의 지문을 대상으로 진행됩니다.

While a real game of Scrabble can be played over a bag of chips and a few drinks, AI training is computationally intense. The model updates its parameters through backpropagation, a process that repeatedly calculates how each of a model’s billions or trillions of parameters should shift to make the next prediction better. This is why tech giants are building larger data centers than ever before.

실제 스크래블 게임은 감자칩 한 봉지와 몇 잔의 음료를 마시며 즐길 수 있지만, AI 훈련은 엄청난 연산량을 요구합니다. 모델은 역전파(backpropagation)를 통해 매개변수를 업데이트하는데, 이는 다음 예측을 더 정확하게 만들기 위해 수십억 또는 수조 개에 달하는 모델의 매개변수 각각을 어떻게 조정해야 하는지 반복해서 계산하는 과정입니다. 이 때문에 테크 거인들은 그 어느 때보다 거대한 데이터 센터를 구축하고 있습니다.

Eventually the model’s creator decides further training isn’t worth the cost, and the guessing game stops. Backpropagation ends, the parameters are frozen, and the LLM becomes a pretrained model. Fine-tuning—a short training run on smaller, more specialized data—adds final tweaks, and the model is deployed.

결국 모델 개발자는 추가적인 훈련이 비용을 들일 가치가 없다고 판단하고 추측 게임을 멈춥니다. 역전파가 끝나고 매개변수들은 고정되며, LLM은 사전 훈련된 모델이 됩니다. 더 작고 특화된 데이터를 활용해 짧게 진행하는 훈련인 파인튜닝(미세조정)을 통해 최종적인 조정이 더해진 후, 모델이 배포됩니다.

Next comes inference. This is the process of using the deployed model, which, now that it’s been trained, has learned to spit out Scrabble tiles—tokens—in a sensible order.

다음은 추론(Inference) 단계입니다. 이 과정은 배포된 모델을 사용하는 단계로, 훈련을 마친 모델은 이제 스크래블 타일—즉 토큰—을 의미가 통하는 순서대로 뱉어내는 법을 학습한 상태입니다.

You might think that AI inference is less computationally demanding because the backpropagation calculations used to update parameters are eliminated. But Sudeep Bhoja, founder and CTO of the inference-hardware company d-Matrix, explains that inference adds new challenges.

매개변수를 업데이트하는 데 사용되는 역전파 연산이 사라지기 때문에 AI 추론은 연산 부담이 더 적을 것이라고 생각할 수도 있습니다. 하지만 추론 하드웨어 기업인 디매트릭스(d-Matrix)의 창립자이자 최고기술책임자(CTO)인 수딥 보자(Sudeep Bhoja)는 추론이 새로운 도전을 안겨준다고 설명합니다.

The models are “autoregressive” in nature. That is, the next output depends on the previous one. “So to generate the next token, you have to read all of the weights and all of the [context] from the previous token,” explains Bhoja. The context includes all of your prompts, all of the LLM’s replies, and all of the files you upload. It’s a lot of data and a lot of processing.

모델들은 본질적으로 ‘자기회귀적(autoregressive)’입니다. 즉, 다음 출력값은 이전 출력값에 의존한다는 뜻입니다. "따라서 다음 토큰을 생성하려면, 이전 토큰의 모든 가중치(weights)와 모든 [문맥(context)]을 읽어와야 합니다." 보자의 설명입니다. 문맥에는 사용자의 모든 프롬프트, LLM의 모든 답변, 그리고 사용자가 업로드한 모든 파일이 포함됩니다. 이는 엄청난 양의 데이터와 처리 과정을 동반합니다.

An LLM generates its reply in two phases: prefill and decode. Prefill is the model reading a prompt. It processes every token at once, computing how each token relates to all the others. This operation is called attention, and it’s a defining characteristic of the transformer architecture behind modern LLMs. It allows them to respond to a word in its sentence, paragraph, and larger context rather than on its own. Think of it like arranging Scrabble tiles before you place them in a game. Many players move tiles around to imagine how they connect. Self-attention plays a similar role, though instead of moving physical tiles, each token sends a query to the others and receives a score indicating the token’s relevance.

LLM은 응답을 생성할 때 사전 채우기(prefill)와 디코딩(decode)이라는 두 가지 단계를 거칩니다. 사전 채우기는 모델이 프롬프트를 읽는 과정입니다. 이 단계에서는 모든 토큰을 한 번에 처리하며, 각 토큰이 다른 모든 토큰들과 어떤 관계를 맺고 있는지 계산합니다. 이 연산은 '어텐션(attention)'이라고 불리며, 현대 LLM의 기반이 되는 트랜스포머(transformer) 아키텍처의 핵심적인 특징입니다. 이를 통해 모델은 단어를 독립적으로 보는 것이 아니라 문장, 문단, 그리고 더 넓은 문맥 속에서 해당 단어에 반응할 수 있게 됩니다. 이는 게임에서 스크래블 타일을 내려놓기 전에 미리 배열해 보는 것과 비슷합니다. 많은 플레이어들이 타일을 이리저리 옮기며 어떻게 연결될지 상상하곤 합니다. 셀프 어텐션(self-attention)도 이와 비슷한 역할을 수행합니다. 다만 물리적 타일을 움직이는 대신, 각 토큰이 다른 토큰들에게 질의(query)를 보내고 해당 토큰의 관련성을 나타내는 점수를 받는 방식으로 작동합니다.

These queries result in two types of vectors: the keys and values. They are typically placed in a store called the KV cache. This isn’t strictly required, as a model could instead recompute these vectors with each new token it generates. But nearly all LLMs use a KV cache to reduce how much computing they do. The KV cache is stored in memory and becomes a scratchpad to which the LLM can return to understand a conversation, and though it starts small, it can swell to dozens of gigabytes.

이러한 질의들은 키(key)와 값(value)이라는 두 가지 유형의 벡터를 만들어냅니다. 이들은 대개 KV 캐시(KV cache)라고 불리는 저장소에 보관됩니다. 모델이 새로 생성되는 토큰마다 이 벡터들을 매번 다시 계산하는 방식도 이론적으로는 가능하므로, KV 캐시가 반드시 필수적인 것은 아닙니다. 하지만 거의 모든 LLM은 연산량을 줄이기 위해 KV 캐시를 사용합니다. KV 캐시는 메모리에 저장되어 LLM이 대화 내용을 이해하기 위해 언제든 다시 찾아볼 수 있는 임시 메모장 역할을 하며, 처음에는 작게 시작하지만 수십 기가바이트 규모로 커질 수 있습니다.

Prefill is a problem that can be easily divided up and worked on in parallel. This is why GPUs became the dominant AI accelerator as LLMs surged in popularity. Graphics rasterization (computing the color of every pixel on a screen) is also massively parallel, so GPU architectures were a natural fit.

사전 채우기(Prefill)는 쉽게 여러 조각으로 나누어 병렬로 처리할 수 있는 작업입니다. 이 때문에 LLM이 큰 인기를 얻으면서 GPU가 지배적인 AI 가속기로 자리 잡게 되었습니다. 그래픽 래스터화(화면상의 모든 픽셀 색상을 계산하는 작업) 역시 대규모 병렬 처리를 기반으로 하기에, GPU 아키텍처는 자연스럽게 최적의 선택이 되었습니다.

Next comes decode. Here, the model generates its reply one token at a time. At each step it takes the most recent token, weighs it against everything in the KV cache, uses that information to predict the next token, and adds the new token’s key and value to the cache. Then it repeats in sequence, token by token.

다음 단계는 디코딩(decode)입니다. 이 단계에서 모델은 한 번에 하나의 토큰씩 답변을 생성합니다. 매 단계마다 가장 최근의 토큰을 가져와 KV 캐시 안의 모든 내용과 비교하여 가중치를 매기고, 그 정보를 활용해 다음 토큰을 예측한 뒤, 새로운 토큰의 키와 값을 캐시에 추가합니다. 그런 다음 이 과정을 토큰마다 순차적으로 반복합니다.

This is where the autoregressive nature of the model works against inference speed. Predicting each token requires reading the entire model from memory, and that model consists of possibly tens to hundreds of gigabytes of parameters (the numbers representing what the model learned in training). Crucially, this is in addition to the memory required to store the KV cache.

바로 이 지점에서 모델의 자기회귀적(autoregressive) 특성이 추론 속도를 저해하는 요인으로 작용합니다. 각각의 토큰을 예측하려면 메모리 전체에서 모델을 읽어와야 하는데, 이 모델은 아마도 수십에서 수백 기가바이트에 달하는 매개변수(모델이 훈련을 통해 학습한 내용을 나타내는 숫자들)로 이루어져 있습니다. 결정적으로, 이는 KV 캐시를 저장하는 데 필요한 메모리 외에도 추가로 요구되는 작업입니다.

As a result, the movement of all this data through memory often requires more bandwidth than inference hardware has available. So at least some of the computing parts of a GPU sit idle as it waits for data. Researchers found that Nvidia H100 GPUs running open-source LLMs sit idle 50 to 80 percent of the time.

결과적으로 이 모든 데이터가 메모리를 통해 이동하는 과정은 종종 추론 하드웨어가 제공할 수 있는 것보다 더 많은 대역폭을 필요로 합니다. 이로 인해 GPU의 연산 장치 중 적어도 일부는 데이터를 기다리며 유휴 상태(idle)로 머물게 됩니다. 연구원들은 오픈소스 LLM을 구동하는 엔비디아(Nvidia) H100 GPU가 시간의 50%에서 80% 동안 유휴 상태로 방치된다는 사실을 발견했습니다.

Memory’s role in inferencing

Shahriar “Sha” Rabii, former head of silicon engineering at Meta and cofounder of the AI startup Majestic Labs, says idled processors are why many companies that are trying to improve AI-inference performance are laser-focused on memory. “With the GPU-based approach, you end up greatly over-provisioning compute and starved on memory. That’s driving the big [memory] scale out,” he says.

메타(Meta)의 실리콘 엔지니어링 전 총괄이자 AI 스타트업 매제스틱 랩스(Majestic Labs)의 공동 창업자인 샤리야르 “샤” 라비(Shahriar “Sha” Rabii)는 유휴 상태의 프로세서들이 바로 AI 추론 성능을 향상시키려 노력하는 많은 기업들이 메모리에 극도로 집중하는 이유라고 말합니다. "GPU 기반 접근 방식을 사용하면 결국 연산 자원은 엄청나게 과잉 공급되면서 메모리는 턱없이 부족해지게 됩니다. 이것이 바로 대규모 [메모리] 확장(scale out)을 이끄는 원동력입니다."라고 그는 설명합니다.

Bhoja’s d-Matrix and Rabii’s Majestic Labs both focus on this memory bottleneck. However, their companies imagine different solutions.

보자의 디매트릭스(d-Matrix)와 라비의 매제스틱 랩스(Majestic Labs) 모두 이 메모리 병목 현상에 주목하고 있습니다. 하지만 두 회사가 구상하는 해결책은 서로 다릅니다.

d-Matrix’s second-generation AI accelerator, Raptor, aims to improve inference performance by minimizing the distance between compute and memory. The GPUs in most current AI-inference deployments do this by placing high-bandwidth memory (HBM) around the perimeter of the GPU. Each HBM is a stack of DRAM dies linked together and connected to a superfast interface to the GPU. This is great for training, but for inference, the amount of memory you can stack this way and the bandwidth it can provide leave something to be desired.

디매트릭스(d-Matrix)의 차세대 AI 가속기인 랩터(Raptor)는 연산 장치와 메모리 사이의 거리를 최소화하여 추론 성능을 향상시키는 것을 목표로 합니다. 현재 대부분의 AI 추론 배포에 사용되는 GPU들은 고대역폭 메모리(HBM)를 GPU 주변 테두리에 배치하는 방식을 취하고 있습니다. 각각의 HBM은 여러 개의 D램 다이가 수직으로 적층되어 있으며 GPU와 초고속 인터페이스로 연결되어 있습니다. 이 구조는 모델 훈련에는 매우 훌륭하지만, 추론 작업의 관점에서는 이런 식으로 적층할 수 있는 메모리의 용량과 제공할 수 있는 대역폭 측면에서 아쉬움이 남습니다.

d-Matrix’s Raptor removes that bottleneck by stacking an AI accelerator on a DRAM die. Instead of stacking memory, d-Matrix stacks memory and compute. Bhoja says this reduces the distance that data must travel to “micrometers instead of millimeters.” Like building a skyscraper, going vertical makes it possible to do more inside the same physical footprint.

d-Matrix의 랩터(Raptor)는 D램 다이 위에 AI 가속기를 적층하는 방식으로 이러한 병목 현상을 해결합니다. 메모리만 쌓아 올리는 대신, 메모리와 연산 장치를 함께 적층하는 것입니다. 보자는 이로 인해 데이터가 이동해야 하는 거리가 "밀리미터 단위에서 마이크로미터 단위로" 줄어든다고 설명합니다. 마치 고층 빌딩을 짓는 것처럼 수직으로 공간을 활용함으로써, 동일한 물리적 면적 안에서 훨씬 더 많은 작업을 수행할 수 있게 됩니다.

Majestic takes the opposite approach. Instead of trying to minimize the length that data must travel between compute and memory, the company is focused on improving the memory interface to accommodate longer wire traces while keeping bandwidth high. Longer wires allow Majestic to connect memory stacks that aren’t directly next to the GPU, removing the space limitation of HBM.

매제스틱(Majestic)은 정반대의 접근 방식을 취합니다. 연산 장치와 메모리 사이의 데이터 이동 거리를 줄이려고 애쓰는 대신, 높은 대역폭을 유지하면서도 더 긴 배선(wire trace)을 수용할 수 있도록 메모리 인터페이스를 개선하는 데 집중하고 있습니다. 더 긴 배선을 사용하면 GPU 바로 옆에 붙어 있지 않은 메모리 스택들도 연결할 수 있어, HBM이 가진 공간적 한계를 극복할 수 있습니다.

“A memory interface has a very short physical distance it can operate over. In the case of HBM, it’s up to 2 or 3 millimeters. You have this shoreline around the periphery, which is the only place where you can put HBM,” says Rabii.

"메모리 인터페이스가 작동할 수 있는 물리적 거리는 매우 짧습니다. HBM의 경우 최대 2~3밀리미터에 불과합니다. 주변부 테두리(shoreline)가 바로 HBM을 배치할 수 있는 유일한 공간입니다." 라비의 설명입니다.

Majestic claims its memory interface can transmit bits as far as about a meter. That’s achieved with a proprietary copper link and a memory-aggregator chip that coordinates data. “The aggregator is the endpoint for the high-speed interface and a way to fan out to many, many commodity DRAM chips,” says Rabii. Because of this, Majestic can support up to 128 terabytes of DRAM memory in a single server rack—a significant increase over Nvidia’s GB300 NVL72 rack, which has about 20 TB of HBM3E.

매제스틱은 자사의 메모리 인터페이스가 비트를 최대 약 1미터 거리까지 전송할 수 있다고 주장합니다. 이는 독자적인 구리 링크와 데이터를 조율하는 메모리 집계기(memory-aggregator) 칩을 통해 구현됩니다. "집계기는 고속 인터페이스의 종단점(endpoint)이자, 수많은 범용 D램 칩으로 신호를 확장(fan out)하는 수단입니다." 라비의 설명입니다. 이 덕분에 매제스틱은 단일 서버 랙에서 최대 128테라바이트(TB)의 D램 메모리를 지원할 수 있습니다. 이는 약 20TB의 HBM3E를 탑재한 엔비디아의 GB300 NVL72 랙에 비해 엄청나게 향상된 수치입니다.

d-Matrix and Majestic have one thing in common: Instead of HBM, they both use off-the-shelf DRAM. This is the most common type of computer memory in the world; it’s in everything from smartphones to cars. Memory analyst Jim Handy says HBM costs two to three times as much as DRAM. d-Matrix and Majestic chose DRAM in part because of this price advantage. However, the proponents of HBM, which include memory giants like Samsung and SK Hynix, aren’t sitting idle.

디매트릭스와 매제스틱은 공통적으로 HBM 대신 범용 D램(off-the-shelf DRAM)을 사용합니다. 이는 스마트폰부터 자동차에 이르기까지 전 세계에서 가장 널리 쓰이는 형태의 컴퓨터 메모리입니다. 메모리 분석가 짐 핸디(Jim Handy)는 HBM의 가격이 일반 D램의 2~3배에 달한다고 말합니다. 디매트릭스와 매제스틱이 D램을 선택한 이유 중 하나도 이러한 가격 경쟁력 때문입니다. 하지만 삼성전자와 SK하이닉스 같은 메모리 거대 기업들을 포함하여 HBM을 지지하는 진영도 가만히 손을 놓고 있지는 않습니다.

HBM4, the latest version of HBM memory, is now in production and will be used by Nvidia’s Vera Rubin GPU, which is expected to ship in the second half of 2026. Hoshik Kim, head of memory-systems research at SK Hynix, says HBM4 “will decisively break the memory bottlenecks constraining AI inference today” by doubling HBM’s maximum memory bandwidth and increasing the amount of HBM memory per stack.

HBM4는 최신 버전의 HBM 메모리로, 현재 양산 중이며 2026년 하반기 출시가 예상되는 엔비디아의 베라 루빈(Vera Rubin) GPU에 탑재될 예정입니다. SK하이닉스의 메모리 시스템 연구 담당 임원인 김호식은 HBM4가 HBM의 최대 메모리 대역폭을 두 배로 늘리고 스택당 HBM 용량을 확대함으로써 "오늘날 AI 추론을 제약하는 메모리 병목 현상을 결정적으로 깨뜨릴 것"이라고 말합니다.

Combining chips for faster inference

The big players—Nvidia and Amazon—are going for an all-chips-on-deck approach. Nvidia’s GPUs and Amazon’s Trainium training accelerators are still great for part of the inference workload: the prefill stage, where all the context keys and values are calculated. But to accelerate decode, the part where new tokens are generated, they are looking to new, memory-centric architectures from smaller players.

대형 기업인 엔비디아와 아마존은 모든 칩을 총동원하는(all-chips-on-deck) 전략을 취하고 있습니다. 엔비디아의 GPU와 아마존의 트레이니움(Trainium) 훈련 가속기는 모든 컨텍스트 키와 값이 계산되는 사전 채우기(prefill) 단계와 같은 추론 워크로드의 일부 영역에서는 여전히 훌륭한 성능을 발휘합니다. 하지만 새로운 토큰이 생성되는 디코딩(decode) 단계를 가속화하기 위해, 이들은 소규모 플레이어들이 선보이는 새롭고 메모리 중심적인 아키텍처로 눈을 돌리고 있습니다.

In Nvidia’s case, the smaller player was Groq (not to be confused with Grok, the family of LLMs trained by SpaceXAI). Nvidia purchased intellectual property and hired talent from Groq at the end of 2025, and just three months later at the Nvidia’s GTC 2026 conference, Jensen Huang unveiled the Nvidia Groq 3 language-processing unit (LPU). Groq’s architecture relies on memory—in its case, SRAM—built directly into the chip’s architecture.

엔비디아의 경우, 그 소규모 플레이어는 그록(Groq, SpaceXAI가 훈련시킨 LLM 제품군인 Grok과 혼동하지 말 것)이었습니다. 엔비디아는 2025년 말 그록으로부터 지식재산권(IP)을 매입하고 인재를 영입했으며, 불과 3개월 뒤 열린 엔비디아 GTC 2026 컨퍼런스에서 젠슨 황 CEO는 엔비디아 그록 3 언어 처리 장치(LPU)를 공개했습니다. 그록의 아키텍처는 칩 자체 구조에 직접 내장된 메모리(이 경우 SRAM)에 의존합니다.

Unless you’re a chip architect, or a hardcore PC gamer, you probably never give SRAM a thought. SRAM has the benefit of being tightly integrated into a compute chip’s architecture—it’s on the same piece of silicon as the processor—and has the drawback of being less dense and more expensive than DRAM. Most chips include only a few dozen megabytes of SRAM. AI inference, however, has ignited new interest in SRAM as a means of bringing the model weights stored in memory closer to compute.

칩 아키텍트나 하드코어 PC 게이머가 아니라면, 아마 SRAM에 대해 깊이 생각해 본 적이 없을 것입니다. SRAM은 연산 칩의 아키텍처에 긴밀하게 통합되어 있다는 장점(프로세서와 동일한 실리콘 조각 위에 존재함)이 있는 반면, D램에 비해 집적도가 낮고 가격이 비싸다는 단점이 있습니다. 대부분의 칩에는 불과 수십 메가바이트 정도의 SRAM만 포함되어 있습니다. 하지만 AI 추론은 메모리에 저장된 모델 가중치를 연산 장치에 더 가까이 위치시키는 수단으로서 SRAM에 대한 새로운 관심을 불러일으키고 있습니다.

Ian Buck, vice-president and general manager of hyperscale and high-performance computing at Nvidia, says the LPU has a much different set of priorities than the company’s GPUs. The LPU has far less raw computing power than a standard GPU, but it gains 500 megabytes of on-die SRAM connected directly to its floating-point math units. “The benefit is the memory bandwidth. The LPU has seven times the memory bandwidth of the GPU,” he says.

엔비디아의 하이퍼스케일 및 고성능 컴퓨팅 부사장 겸 총괄인 이언 벅(Ian Buck)은 이 LPU가 자사 GPU와는 완전히 다른 우선순위를 가지고 있다고 말합니다. LPU는 표준 GPU에 비해 원시 연산 능력이 훨씬 떨어지지만, 부동소수점 연산 장치에 직접 연결된 500메가바이트의 온다이(on-die) SRAM을 확보합니다. 그는 "이 방식의 장점은 메모리 대역폭입니다. LPU는 GPU의 7배에 달하는 메모리 대역폭을 가지고 있습니다."라고 설명합니다.

Between the Rubin GPU and the Groq LPU, prefill and decode can both be accelerated to get the best of both worlds, the theory goes. “We do all the attention math and context processing on the Vera Rubin [GPU] rack,” explains Buck. “For all the expert calculations…the matrix multiplications, we do that part on the LPU.” The company packs 256 LPUs into the Groq 3 LPX, a system the size of a data-center rack.

루빈 GPU와 그록 LPU를 결합하면 사전 채우기(prefill)와 디코딩(decode) 모두를 가속화하여 양쪽의 장점을 모두 누릴 수 있다는 것이 이론적 배경입니다. 이언 벅은 "우리는 베라 루빈 [GPU] 랙에서 모든 어텐션 연산과 컨텍스트 처리를 수행합니다."라며, "모든 전문가(expert) 계산과... 행렬 곱셈은 LPU에서 처리합니다."라고 설명합니다. 엔비디아는 데이터센터 랙 크기의 시스템인 '그록 3 LPX(Groq 3 LPX)' 하나에 256개의 LPU를 집적합니다.

Amazon Web Services (AWS), for its part, struck a deal with Cerebras, to pair the Trainium accelerator with Cerebras’s Wafer-Scale Engine 3 (WSE-3). Cerebras takes a similar approach to Groq, though at a much larger scale. WSE-3 turns an entire silicon wafer into a single chip that contains over 4 trillion transistors. The design doesn’t connect to external memory but instead etches 44 gigabytes of SRAM into each wafer. “We store the [model] weights on the SRAM,” says James Wang, formerly director of product marketing at Cerebras who has since moved to SpaceXAI. “So that’s easily 40 to up to 80 billion parameters that we can support on one chip.”

아마존 웹서비스(AWS) 역시 자사의 트레이니움(Trainium) 가속기를 세레브라스(Cerebras)의 웨이퍼 스케일 엔진 3(WSE-3)와 결합하는 계약을 체결했습니다. 세레브라스는 그록과 유사한 접근 방식을 취하지만, 훨씬 더 거대한 규모로 이를 구현합니다. WSE-3는 통상적인 칩 형태를 넘어 실리콘 웨이퍼 전체를 4조 개 이상의 트랜지스터가 집적된 단일 칩으로 활용합니다. 이 설계 방식은 외장 메모리에 연결하는 대신 웨이퍼 자체에 44기가바이트의 SRAM을 에칭(회로 식각)하여 내장합니다. 세레브라스의 전 제품 마케팅 이사이자 현재는 SpaceXAI로 자리를 옮긴 제임스 왕(James Wang)은 "[모델] 가중치를 SRAM에 저장합니다."라며, "이를 통해 하나의 칩에서 400억 개에서 최대 800억 개에 달하는 파라미터를 손쉽게 지원할 수 있습니다."라고 설명합니다.

Amazon plans to use AWS Trainium chips for prefill, and Cerebras for decode. But Cerebras’s chips can also go it alone in inference. WSE-3 was deployed by OpenAI to power GPT-5.3-Codex-Spark, a variant of the company’s coding mode, outputting over 1,000 tokens per second. For comparison, OpenAI’s standard GPT-5.4 deployment outputs 50 to 125 tokens per second.

아마존은 사전 채우기(prefill) 작업에는 AWS 트레이니움 칩을, 디코딩(decode) 작업에는 세레브라스를 활용할 계획입니다. 하지만 세레브라스의 칩은 추론 과정에서 단독으로도 뛰어난 성능을 발휘할 수 있습니다. 세레브라스의 WSE-3는 오픈아이에이(OpenAI)에 의해 채택되어 코딩 전용 모델 변형 버전인 GPT-5.3-Codex-Spark를 구동하는 데 사용되었으며, 초당 1,000개 이상의 토큰을 출력해 냈습니다. 비교를 위해 말씀드리면, 오픈에이아이의 일반적인 GPT-5.4 배포 버전은 초당 50~125개의 토큰을 출력합니다.

Cerebras can also tackle prefill without moving the workload to different specialized chips. For this, it networks together multiple WSE-3 chips to form a single pool of memory. Cerebras has demonstrated it can serve models with up to 1T parameters, such as Moonshot AI’s Kimi 2.6, though Wang says “the architecture has no innate limitation in terms of how many parameters it will do.”

세레브라스는 서로 다른 특화 칩으로 워크로드를 분산하지 않고도 사전 채우기(prefill) 작업을 단독으로 처리할 수 있습니다. 이를 위해 여러 개의 WSE-3 칩을 네트워크로 연결하여 하나의 거대한 메모리 풀을 형성합니다. 세레브라스는 문샷 AI(Moonshot AI)의 키미 2.6(Kimi 2.6)과 같이 최대 1조(1T) 파라미터에 달하는 모델을 서비스할 수 있음을 입증해 보였습니다. 이에 대해 왕은 "이 아키텍처는 처리할 수 있는 파라미터 수에 있어 선천적인 한계가 없다"고 강조합니다.

Despite these differences in strategy, Nvidia and AWS seem to agree that the future of AI inference will be solved by a systems approach that pools different kinds of chips together to tackle the largest LLMs. Or, as Buck says: “To do modern AI inference, you need all the chips.”

이러한 전략적 차이점에도 불구하고, 엔비디아와 AWS는 미래의 AI 추론이 서로 다른 종류의 칩들을 하나로 결합하여 거대 언어 모델(LLM)을 처리하는 시스템 접근 방식으로 해결될 것이라는 점에 의견을 같이하는 것으로 보입니다. 이언 벅의 말마따나 "현대적인 AI 추론을 수행하려면 모든 종류의 칩이 필요하다"는 것입니다.

Learning to do more with less (bits)

Nvidia became the world’s most valuable tech company because it designed the world’s most desired GPUs. But not all of the attention is focused on improving AI-inference hardware. AI researchers are also learning how to optimize LLM software and hardware in tandem to make the best use of the memory and compute components.

엔비디아는 세계에서 가장 탐나는 GPU를 설계했기 때문에 세계에서 가장 가치 있는 기술 기업이 되었습니다. 하지만 AI 추론 하드웨어를 개선하는 데만 모든 관심이 집중되어 있는 것은 아닙니다. AI 연구자들은 메모리와 연산 컴포넌트를 최대한 활용하기 위해 LLM 소프트웨어와 하드웨어를 함께 최적화하는 방법도 배우고 있습니다.

Most computers store numbers in a 32-bit or 64-bit format. These determine how many bits are available to represent a single number. If too few bits are available, the number can’t be stored without losing information. The quality of an LLM benefits from more-precise number formats, but this creates a problem for inference performance. More-precise numbers aren’t free. The bits that describe them take up more space in memory and require more silicon and energy to compute.

대부분의 컴퓨터는 숫자를 32비트 또는 64비트 형식으로 저장합니다. 이는 하나의 숫자를 표현하는 데 사용할 수 있는 비트의 수를 결정합니다. 가용 비트가 너무 적으면 정보를 손실하지 않고는 숫자를 저장할 수 없습니다. LLM(거대 언어 모델)의 품질은 더 정밀한 숫자 형식을 사용할수록 좋아지지만, 이는 추론 성능 측면에서 문제를 야기합니다. 더 정밀한 숫자는 공짜로 얻어지지 않습니다. 이를 표현하는 비트는 메모리에서 더 많은 공간을 차지하며, 연산하는 데 더 많은 실리콘 면적과 에너지를 필요로 합니다.

Gilles Backhus, cofounder of the AI-accelerator company Tensordyne, says this creates a tension between model size and number precision. “Would you prefer a model that is size x but runs in 8-bit, or would you prefer a model that is twice the size but runs in 4-bit?” The size of each model will be roughly the same in terms of memory and compute, “but the 4-bit approach gives you twice as many synapses, if you will. And people are figuring out that [the 4-bit approach] is worth it.”

AI 가속기 기업 텐서다인(Tensordyne)의 공동 창립자인 질레스 백후스(Gilles Backhus)는 이로 인해 모델 크기와 숫자 정밀도 사이에 긴장 관계가 발생한다고 말합니다. "크기가 x이면서 8비트로 실행되는 모델을 선호하시겠습니까, 아니면 크기가 두 배이지만 4비트로 실행되는 모델을 선호하시겠습니까?" 메모리나 연산량 측면에서 두 모델의 전체 크기는 대략 비슷하지만, "4비트 방식을 사용하면 (비유하자면) 시냅스(synapses)를 두 배 더 많이 가질 수 있게 됩니다. 그리고 사람들은 [4비트 방식이] 그럴 가치가 있다는 것을 깨닫고 있습니다."

The process of converting an LLM from a more-precise number format to a less-precise format is called quantization, and it’s been in use for several years. However, researchers are finding new ways to quantize models down while retaining a large majority of the model’s quality.

LLM을 더 정밀한 숫자 형식에서 덜 정밀한 형식으로 변환하는 과정을 양자화(quantization)라고 하며, 이는 수년 동안 사용되어 왔습니다. 그러나 연구자들은 모델의 품질을 대다수 유지하면서도 모델을 더욱 극적으로 양자화할 수 있는 새로운 방법들을 계속해서 찾아내고 있습니다.

Nvidia recently created a new 4-bit number format, NVFP4, for this purpose. AMD, Intel, and Qualcomm have instead rallied around a competing 4-bit number format called MXFP4 that Nvidia also contributed to developing. “It’s the black art of AI,” says Buck, of Nvidia. When Nvidia quantized DeepSeek-R1 from FP8 to NVFP4, scores on seven major benchmarks degraded by less than one percent while performance improved by three times, the company says.

엔비디아는 최근 이를 위해 새로운 4비트 숫자 형식인 NVFP4를 자체 개발했습니다. 반면 AMD, 인텔, 퀄컴은 엔비디아도 공동 개발에 참여했던 경쟁 관계의 4비트 숫자 형식인 MXFP4를 중심으로 뜻을 모았습니다. 엔비디아의 이언 벅은 이를 두고 "AI 분야의 흑마법(black art) 같다"고 표현합니다. 엔비디아가 딥시크-R1(DeepSeek-R1) 모델을 FP8에서 NVFP4로 양자화했을 때, 7개의 주요 벤치마크 점수 하락 폭은 1% 미만에 그친 반면 성능은 3배 향상되었다고 회사는 밝히고 있습니다.

Quantization is likely just the tip of the spear, as AI researchers and startups are investigating a diversity of opportunities for optimization, some of which could dramatically change the silicon found in AI-inference hardware.

양자화는 빙산의 일각에 불과할 수 있습니다. AI 연구원과 스타트업들이 다양한 최적화 기회들을 적극적으로 모색하고 있으며, 이 중 일부는 AI 추론 하드웨어에 탑재되는 실리콘 칩의 형태를 근본적으로 뒤바꿀 잠재력을 품고 있기 때문입니다.

Tensordyne is expected to accelerate AI inference with a logarithmic number system that leans on a property of logarithms: The log of A times B equals the log of A plus the log of B. So, storing numbers as their exponents lets the chip add where it would otherwise multiply. That matters in silicon because multiplier circuits draw more power and use more die area than adders do. Tensordyne says its rack-scale hardware, called Napier, can produce up to 1,300 tokens per second per user, and can do so while using less than a tenth as much power as comparable Nvidia hardware.

텐서다인(Tensordyne)은 A와 B를 곱한 값의 로그는 A의 로그와 B의 로그를 더한 것과 같다는 로그의 성질을 활용한 로그 숫자 체계(logarithmic number system)로 AI 추론을 가속화할 것으로 기대됩니다. 따라서 숫자를 지수로 저장하면 칩이 원래 곱셈을 해야 할 연산을 덧셈으로 처리할 수 있게 됩니다. 곱셈기 회로가 덧셈기보다 더 많은 전력을 소모하고 더 넓은 다이 면적을 차지하기 때문에, 이는 실리콘 반도체 측면에서 매우 중요합니다. 텐서다인은 '네피어(Napier)'라는 랙 단위 하드웨어가 사용자당 초당 최대 1,300개의 토큰을 생성할 수 있으며, 동급의 엔비디아 하드웨어에 비해 10분의 1 미만의 전력만으로 이를 수행할 수 있다고 밝히고 있습니다.

Etched, a startup based in San Jose, Calif., is even designing AI accelerators that translate the transformer architecture used by LLMs directly into silicon. Rather than building general-purpose GPUs, the company is wiring up the connections needed for efficient transformer calculations into its chip, making the chip much less flexible but more efficient for the tasks most performed by current LLMs. The company says its first AI accelerator, Sohu, can run Meta’s Llama 70B model at a stunning 500,000 tokens per second, though this approach also means it won’t be able to run LLMs that move away from a typical transformer architecture.

미국 캘리포니아주 산호세에 본사를 둔 스타트업 에치드(Etched)는 LLM이 사용하는 트랜스포머(transformer) 아키텍처를 실리콘 회로에 직접 구현하는 AI 가속기를 설계하고 있습니다. 범용 GPU를 만드는 대신, 효율적인 트랜스포머 연산에 필요한 연결 구조를 칩 자체에 하드코어 방식으로 배선하여 유연성은 떨어지지만 현재 LLM이 가장 빈번하게 수행하는 작업에는 압도적인 효율을 발휘하도록 만들었습니다. 이 회사의 첫 번째 AI 가속기인 '소후(Sohu)'는 메타(Meta)의 라마 70B(Llama 70B) 모델을 초당 무려 50만 개의 토큰 속도로 구동할 수 있다고 밝혔습니다. 다만 이 접근 방식은 전형적인 트랜스포머 아키텍처에서 벗어난 새로운 LLM은 실행할 수 없다는 한계도 수반합니다.

Whether these ideas will prove fruitful remains to be seen. Etched just shipped their first rack in August. Tensordyne believes its first hardware will be available in 2027. Even so, these startups show how the demand for inference performance is fueling unconventional ideas.

이러한 아이디어들이 실제로 결실을 맺을지는 조금 더 지켜봐야 합니다. 에치드는 지난 8월 첫 번째 랙 제품을 막 출하했으며, 텐서다인은 자사의 첫 하드웨어가 2027년에 출시될 것으로 예상하고 있습니다. 비록 그러할지라도, 이러한 스타트업들의 행보는 추론 성능을 향상시키고자 하는 강력한 수요가 얼마나 파격적이고 독창적인 아이디어들을 이끌어내고 있는지 잘 보여줍니다.

Inference is everyone’s game

The sheer variety of approaches to AI-inference acceleration—stacking compute on memory, extending interfaces from millimeters to meters, using an entire silicon wafer for SRAM, squeezing models into 4 bits—raises a question: Which is going to win, and which is going to lose?

메모리 위에 연산 장치를 적층하는 방식, 인터페이스를 밀리미터 단위에서 미터 단위로 확장하는 방식, 실리콘 웨이퍼 전체를 SRAM으로 활용하는 방식, 모델을 4비트로 압축하는 방식 등 AI 추론 가속을 위한 접근 방식이 이토록 다양하다는 사실은 하나의 질문을 던집니다. 과연 어느 쪽이 승자가 되고 어느 쪽이 패자가 될 것인가?

But that’s likely not the right question, experts say. The demand for AI is currently insatiable, and while fears of an AI bubble stalk the industry, it has yet to hamper growth.

하지만 전문가들에 따르면 그것은 올바른 질문이 아닐 수 있습니다. AI에 대한 수요는 현재 만족할 줄 모르는 상태이며, 업계 전반에 AI 거품에 대한 우려가 도사리고는 있지만 아직까지 성장을 가로막지는 못하고 있습니다.

On the contrary, Kimball of Moor Insights & Strategy thinks inference could drive intense demand for AI hardware in the long term, because it’s not obvious where that demand will end. “You could add a million agents into your organization,” he says. “These things work 24 hours a day; they don’t go home at five at night like we do.”

반대로 무어 인사이트 앤드 스트래티지(Moor Insights & Strategy)의 킴볼(Kimball)은 추론이 AI 하드웨어에 대한 장기적인 강력한 수요를 견인할 수 있다고 봅니다. 그 수요가 어디서 끝날지 뚜렷하게 가늠하기 어렵기 때문입니다. 그는 "조직에 100만 개의 에이전트를 추가할 수도 있습니다"라며, "이러한 시스템은 24시간 내내 일하며, 우리처럼 저녁 5시에 퇴근하지 않습니다"라고 말합니다.

If AI inference remains as desirable as Kimball expects, the evolution is likely to follow the same trajectory as the CPU. The CPU didn’t improve along a single axis but instead across multiple fronts simultaneously. Once transistor scaling slowed, chip and system architecture innovations of all kinds proliferated. The list of individual innovations that led to today’s ubiquitous, powerful personal compute could fill dozens of books.

만약 킴볼의 예상대로 AI 추론에 대한 수요가 계속해서 폭발적으로 유지된다면, 그 진화 과정은 과거 CPU가 걸어왔던 궤적을 그대로 따를 가능성이 높습니다. CPU는 단 하나의 축을 따라서만 발전한 것이 아니라 여러 전선에서 동시에 진화했습니다. 트랜지스터 미세화가 둔화된 이후에는 온갖 종류의 칩 및 시스템 아키텍처 혁신이 급증했습니다. 오늘날 어디에나 존재하며 강력한 성능을 발휘하는 개인용 컴퓨팅을 만들어낸 개별 혁신들의 목록만 해도 수십 권의 책을 채우고도 남을 것입니다.

A few decades from now, the history of AI inference innovation will show similar depth.

수십 년 뒤, AI 추론 혁신의 역사 역시 그에 못지않은 깊고 방대한 궤적을 보여주게 될 것입니다.