LLM 추론에서 CPU의 역할 재정립

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

에이전트형 AI와 엣지·도메인 특화 모델의 확산으로 추론 워크로드가 반복적이고 도구 중심으로 바뀌면서 CPU의 비중이 빠르게 증가하고 있습니다. 에이전트 루프는 JSON 파싱, 네트워크 I/O, 샌드박스 실행 같은 짧고 조건부인 작업을 많이 발생시키므로 지연의 상당 부분이 CPU 측 작업으로 이동합니다. 산업계는 이미 하드웨어(예: NVIDIA Vera CPU, Vera Rubin NVL72 rack)와 대규모 인프라 계약(OpenAI+AWS)으로 이 전환에 대비하고 있으며, vLLM 같은 소프트웨어와 표준화된 벤치마크가 CPU 서빙의 실무적 채택을 촉진하고 있습니다.

섹션별 상세

대화형 LLM 서비스가 단일 요청-단일 응답 패턴에서 벗어나 에이전트형 반복 워크플로로 이동하면서 CPU의 역할이 커지고 있다. 구체적으로 에이전트는 모델이 계획을 생성하고 도구 호출이나 코드 실행을 반복해 결과를 합성하므로 요청당 수십 건의 짧은 모델 호출과 다수의 CPU 측 오케스트레이션 작업이 발생한다. 이 변화는 전체 지연에서 CPU 기반 처리 비중을 크게 늘려 기존 GPU 중심 인프라 설계의 가정을 다시 검토하게 만든다.

에이전트형 워크로드에서 CPU는 JSON 파싱, 네트워크 I/O, 샌드박스 내 코드 실행, 도구 디스패치와 같은 조건부 분기와 짧은 실행 단위를 효율적으로 처리한다. 연구와 산업 보고서는 에이전트 파이프라인에서 CPU 측 도구 처리비가 전체 지연의 50–90%를 차지할 수 있다고 보고하며, Intel은 에이전스·오케스트레이션 용도에서 CPU 비중이 1:8에서 1:1 혹은 일부 사례에서 4:1로 전환되고 있다고 제시했다. 따라서 토큰 생성은 GPU가 담당하되, 모델 주변의 루프와 멀티에이전트 조정은 CPU로 옮기는 작업 분할이 실용적인 효율 개선을 만든다.

작고 도메인에 특화된 모델의 보급도 CPU 기반 추론 전환을 촉진하고 있다. 엣지, 프라이버시, 비용, 오프라인 가용성 요구로 인해 작은 모델을 로컬 서버나 디바이스에 배포하는 수요가 늘었고, Hugging Face의 SmolLM2 같은 1.7B 이하 모델은 CPU에서 실용적인 응답성을 확보할 수 있다. 여기에 RAG와 도메인 미세조정을 결합하면 소형 모델이 특정 업무에서 더 큰 모델과 비슷하거나 더 나은 비용-성능을 제공할 수 있기 때문에 GPU가 항상 합리적 선택은 아니다.

업계 움직임은 이 전환을 뒷받침한다. NVIDIA는 에이전트형 워크로드용으로 Vera CPU를 공개하고 1.8× 샌드박스 성능과 메모리 대역폭 개선을 제시했으며, Vera Rubin NVL72 rack은 72 Rubin GPU에 36 Vera CPU를 결합해 전통적 1:8 비율을 1:2로 낮추는 설계를 보였다. OpenAI와 AWS의 380억 달러 파트너십은 수백만 GPU 접근과 동시에 수천만 CPU 확장 가능성을 언급해 에이전트형 확장 수요에 대비하는 것으로 해석된다.

소프트웨어 생태계의 개선도 CPU 추론 실용화를 가능하게 한다. vLLM의 CPU 백엔드는 continuous batching, PagedAttention, prefix caching 같은 스케줄링·메모리 기법을 도입해 고효율 서빙을 지원하며 Red Hat의 vllm-cpu-perf-eval 같은 표준화된 벤치마크 프레임워크는 재현 가능한 CPU 성능 측정을 목표로 한다. 이 조합은 온프레미스·클라우드·엣지에서 동일한 OpenAI 호환 API로 CPU와 GPU 백엔드를 교체하며 운영할 수 있게 해주므로 엔터프라이즈 채택을 촉진한다.

이미지 분석

Infographic
이 그림은 텍스트에서 제시된 핵심 수치들을 시각적으로 묶어 한눈에 배포·비용·성능 변화를 전달합니다. Vera CPU의 대역폭·샌드박스 성능 지표와 NVL72 랙의 구성은 하드웨어 설계 변경이 단순한 마케팅이 아니라 인프라 비율 재조정으로 이어지고 있음을 증거로 제시합니다. 투자·계약(예: OpenAI/AWS)과 시장 추정치(Morgan Stanley)를 함께 배치해 변화의 경제적 파급력을 강조합니다.
업계 전환을 요약한 인포그래픽으로 NVIDIA Vera CPU의 1.8× 샌드박스 성능 이점, NVL72 랙에서 CPU:GPU 비율이 1:8에서 1:2로 이동한 점, Arm·OpenAI·AWS·Morgan Stanley 관련 주요 개발을 보여준다.

용어 해설

에이전트형 AI(Agentic AI): — 에이전트형 AI는 단일 질문 응답을 넘어 계획 수립, 도구 호출, 조건 분기와 재시도를 포함하는 반복적 워크플로를 실행하는 시스템이다. 입력을 받아 계획을 생성하고 그 계획에 따라 API 호출이나 코드 실행 같은 외부 도구를 반복적으로 수행한 다음 결과를 집계해 최종 응답을 만든다. 이 과정에서 모델 자체 연산 외에 도구 오케스트레이션과 I/O, 샌드박스 실행 같은 CPU 중심 작업이 크게 증가한다.
CPU:GPU 비율(CPU:GPU ratio): — CPU:GPU 비율은 데이터센터나 랙 단위에서 배치된 CPU 코어 수 대비 GPU 수의 비율을 가리킨다. 전통적 대규모 학습·고동시성 추론 환경에서는 GPU 중심 설계로 1:8 수준이 보편적이었으나, 에이전트형 워크로드와 로컬·도메인 특화 모델 확산으로 이 비율이 1:4, 1:2, 심지어 1:1 수준으로 이동하고 있다. 비율 변화는 인프라 설계, 메모리 아키텍처, 비용 모델, 전력·냉각 요구를 함께 재구성하게 만든다.
검색 증강 생성(RAG)(RAG): — RAG는 외부 문서 또는 인덱스에서 관련 문서를 검색한 뒤 그 컨텍스트를 모델 입력에 결합해 답변을 생성하는 기법이다. 소형 모델이 외부 지식으로 성능을 보완할 때 이용되며, 도메인 특화 태스크에서 큰 모델 대비 계산·메모리 비용을 크게 낮출 수 있다. 이 접근법은 엣지나 온프레미스 환경에서 GPU가 없는 상태에서도 실용적 성능을 얻을 수 있게 해준다.
소형 언어 모델(SLM (Small Language Model)): — 소형 언어 모델은 수백만에서 수십억 파라미터 범위로 설계돼 자원 제약 환경에서도 실행 가능하도록 최적화된 모델 계열이다. 지연·프라이버시·비용 제약이 큰 엣지·온프레미스 배포에서 선호되며, RAG나 미세조정으로 도메인 성능을 보완하면 대형 모델을 대체할 수 있다. 일부 SLM 변형은 CPU 캐시에 들어가는 크기로 설계되어 모바일이나 저전력 서버에서 실시간 추론을 가능하게 한다.

근거 모음

근거

NVIDIA가 발표한 Vera CPU는 에이전트형 내부 루프 작업에서 선도적 x86 CPU 대비 1.8× 빠른 샌드박스 성능을 제공한다. — 기사 본문 'The Vera CPU delivers: 1.8× faster sandbox performance...' 및 Figure 1
Vera Rubin NVL72 rack은 72 Rubin GPU와 36 Vera CPU를 결합해 전통적 CPU:GPU 비율 1:8에서 1:2로 전환을 보여준다. — 본문 'Vera Rubin NVL72 rack combines 72 Rubin GPUs with 36 Vera CPUs per rack' 및 Figure 1
OpenAI와 AWS는 7년간 380억 달러 인프라 파트너십을 체결했고, 보도자료는 수백만 개의 NVIDIA GPU 접근과 수천만 대의 CPU로 확장 가능성을 언급한다. — 본문 'OpenAI + AWS signed a $38B, 7-year infrastructure partnership' 단락
Intel의 보고와 발표는 에이전트형 워크로드에서 CPU:GPU 비율이 학습시의 1:8에서 에이전트형에서는 1:1 또는 일부 고객 사례에서 4:1까지 가고 있다고 제시한다. — 본문의 Intel Q1 2026 수치 요약과 Lip-Bu Tan의 언급
Morgan Stanley는 에이전트형 CPU 전환이 2030년까지 325억~600억 달러의 추가 CPU 시장 성장을 의미한다고 추정한다. — 본문 'The agentic CPU shift represents $32.5–$60B in incremental CPU market growth by 2030' 및 Figure 1
Arm은 에이전트 시대에서 필요 CPU 코어 수를 전력 용량당 약 30M 코어에서 120M 코어로 4배 증가할 것으로 전망한다. — 본문 'Arm CEO Rene Haas estimates ... 30 million CPU cores per GW' 단락