추론 경제에서 소프트웨어의 역할

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

대규모 AI의 운영 관점이 칩 피크 성능에서 토큰당 비용과 지연 제약 내 토큰 산출로 전환되면서, NVIDIA는 Blackwell 플랫폼과 코드사인된 전체 스택 추론 소프트웨어로 동일 하드웨어에서 더 많은 유용 토큰을 제공하도록 파이프라인을 최적화했다. 회사 보고와 SemiAnalysis InferenceX 자료는 소프트웨어 업데이트로 DeepSeek V4에서 토큰 비용이 한 달 만에 최대 5배 낮아졌음을 보여주며, 실제 고객 사례에서는 TensorRT-LLM과 런타임 최적화를 통해 초당 토큰 처리량이 최대 50% 증가한 성과가 관찰됐다. 에이전트형 AI는 상태 유지와 도구 연동을 포함한 분산 워크플로를 요구하므로 소프트웨어 수준의 스케줄링·메모리·보안 최적화가 비용 효율성과 지연 목표 달성에 핵심 역할을 한다.

섹션별 상세

01

대규모 AI를 운영 환경으로 전환하면서 단순한 칩 성능 대신 토큰당 비용이 핵심 지표가 되었다는 문제가 발생했다. NVIDIA는 GPU·CPU·네트워크·시스템을 코드사인하고 오픈소스 생태계와 결합된 전체 스택 추론 소프트웨어를 통해 동일 하드웨어에서 더 많은 유용 토큰을 산출하도록 처리 파이프라인을 최적화했다. 회사는 Blackwell 플랫폼에서 소프트웨어만으로 DeepSeek V4 모델의 토큰 비용을 한 달 만에 최대 5배까지 낮춘 사례를 보고했고 이 결과는 SemiAnalysis InferenceX의 비용 대 상호작용 비교 자료와 일치한다. 이러한 비용 절감은 동일한 전력·지연 제약 안에서 토큰 산출을 늘려 서비스 단가와 스케일링 전략에 직접적인 영향을 미친다.

토큰당 비용과 상호작용성(초당 토큰·사용자당)을 비교한 그래프이며 04/30/2026과 06/03/2026 시점의 선형 곡선이 표시되어 5배 비용 차이를 시각화하고 있다. — Chart그래프는 동일 하드웨어 계열(GB300 NVL72)에서 소프트웨어 업데이트 전후의 토큰당 비용 곡선을 비교해 소프트웨어 개선으로 비용이 크게 하락했음을 정량적으로 보여준다. 도표의 주석과 점선이 5x 비용 저감 지점을 강조하며 이는 본문에서 언급한 '한 달 만의 최대 5배 비용 절감' 주장과 직접적으로 연결된다. 이 그래프는 토큰 경제성 개선이 상호작용 레벨(초당 토큰)에서 어떤 영향을 주는지를 이해하는 데 핵심적이다.

02

Agentic AI 워크로드는 상태 유지, 도구 연동, 메모리 접근, 보안 및 가속 컴퓨팅을 가로지르는 분산 실행 흐름을 요구하며 전통적 웹/서비스 요청과는 구조적으로 다르다. NVIDIA의 추론 소프트웨어 스택은 이런 분산·상태ful 환경에서 모델 호출과 툴 실행, 메모리 참조를 효율적으로 오케스트레이션하도록 런타임 최적화와 리소스 관리 기능을 제공한다. 실제 적용 사례에서 Baseten은 TensorRT-LLM을 활용해 DeepSeek V4 Pro를 Blackwell GPU에서 서빙하면서 런타임 최적화를 통해 초당 처리 가능한 토큰을 최대 50% 더 확보했으며 Cognition은 Dynamo를 이용해 추론 GPU 관리를 자동화해 강화학습 추론 워크로드의 확장 경로를 확보했다. 이러한 도입은 모델 최적화에서 운영 엔드포인트까지 걸리는 시간을 단축하고 인프라 재설계 없이 성능을 개선하는 실질적 경제적 효과로 귀결된다.

전통적 호모지니어스 아키텍처와 에이전트형(Agentic) 분산 아키텍처를 비교하는 다이어그램으로, 에이전트형에서는 LLM이 컨텍스트·관찰·추론·행동 단계에서 반복적으로 사용되는 구조가 표시되어 있다. — Diagram다이어그램은 에이전트형 워크로드가 상태 유지, 메모리 접근, 도구 호출, 보안·네트워크·가속기 연결을 포함해 여러 구성요소를 오케스트레이션해야 함을 시각적으로 전달한다. 이 구조는 전통적 웹 요청과 달리 단일 요청이 다중 리소스와 반복적 LLM 호출을 필요로 하며, 따라서 소프트웨어 수준의 스케줄링·메모리 관리·툴 인터페이스 최적화가 비용과 지연에 결정적임을 뒷받침한다.

용어 해설

토큰 경제성(Token Economics): — 모델 추론에서 산출되는 유용한 토큰을 단위 비용·전력·지연 내에서 얼마나 효율적으로 제공하는지를 평가하는 개념으로, 하드웨어 성능뿐만 아니라 소프트웨어 최적화와 실행 파이프라인이 비용 대비 토큰 산출량에 미치는 영향을 중심으로 설명한다.
추론 소프트웨어(Inference Software): — GPU·CPU·네트워크와 결합해 모델 실행 파이프라인을 구성하는 런타임·라이브러리·스케줄러의 집합으로, 배치·지연·메모리 오프로드·커널 최적화 등을 통해 동일 하드웨어에서 더 많은 토큰을 산출하게 만든다.
에이전트형 AI(Agentic AI): — 상태를 유지하며 다중 도구와 메모리, 보안, 네트워크, 가속 컴퓨팅을 오케스트레이션하는 분산 워크플로로, 단일 요청이 LLM 호출·툴 실행·외부 저장·결정 루프를 포함해 인프라 요구가 전통적 웹 요청과 다르게 나타난다는 점이 핵심이다.

기술

NVIDIA Dynamo
TensorRT-LLM
SGLang
GB300 NVL72
DeepSeek V4
Blackwell 플랫폼

활용 사례

추론 비용 최적화
장문 컨텍스트·리즌링 워크로드 서빙
실시간 코딩 엔드포인트
강화학습 추론의 확장