추론 경제에서 소프트웨어의 역할

대규모 AI의 운영 관점이 칩 피크 성능에서 토큰당 비용과 지연 제약 내 토큰 산출로 전환되면서, NVIDIA는 Blackwell 플랫폼과 코드사인된 전체 스택 추론 소프트웨어로 동일 하드웨어에서 더 많은 유용 토큰을 제공하도록 파이프라인을 최적화했다. 회사 보고와 SemiAnalysis InferenceX 자료는 소프트웨어 업데이트로 DeepSeek V4에서 토큰 비용이 한 달 만에 최대 5배 낮아졌음을 보여주며, 실제 고객 사례에서는 TensorRT-LLM과 런타임 최적화를 통해 초당 토큰 처리량이 최대 50% 증가한 성과가 관찰됐다. 에이전트형 AI는 상태 유지와 도구 연동을 포함한 분산 워크플로를 요구하므로 소프트웨어 수준의 스케줄링·메모리·보안 최적화가 비용 효율성과 지연 목표 달성에 핵심 역할을 한다.