AWS와 NVIDIA, GTC 2026에서 AI 인프라 및 모델 서비스 대규모 확장 발표

섹션별 상세

2026년부터 전 세계 AWS 리전에 Blackwell 및 차세대 Rubin 아키텍처를 포함한 100만 개 이상의 NVIDIA GPU를 배포하여 에이전트형 AI(Agentic AI) 시대의 대규모 연산 수요에 대응한다.

주요 클라우드 제공업체 중 최초로 NVIDIA RTX PRO 4500 Blackwell Server Edition GPU를 탑재한 Amazon EC2 인스턴스를 출시하며, AWS Nitro System을 통해 보안과 자원 활용도를 극대화한다.

NVIDIA Inference Xfer Library(NIXL)를 AWS Elastic Fabric Adapter(EFA)와 통합하여 분리형 LLM 추론 환경에서 KV-캐시 데이터 이동 지연 시간을 최소화하고 GPU 활용도를 높이는 기술을 도입한다.

Amazon EMR on EKS와 G7e 인스턴스의 최적화된 조합을 통해 Apache Spark 워크로드 성능을 기존 대비 3배 향상시켜 데이터 엔지니어링 및 ETL 작업 시간을 단축한다.

Amazon Bedrock에서 NVIDIA Nemotron 모델에 대한 강화 미세 조정(Reinforcement Fine-Tuning) 기능을 지원하여 사용자가 특정 산업 도메인에 맞춰 모델의 추론 방식을 정교하게 조정할 수 있게 한다.

NVIDIA Nemotron 3 Super 모델을 Amazon Bedrock에 도입하여 복잡한 다단계 워크플로를 수행하는 AI 에이전트 구축을 위한 빠르고 비용 효율적인 API 환경을 제공한다.

블랙웰 아키텍처(Blackwell): — NVIDIA의 차세대 GPU 아키텍처로, 수조 개의 파라미터를 가진 대규모 언어 모델을 효율적으로 학습하고 추론할 수 있도록 설계된 고성능 컴퓨팅 플랫폼이다.
분리형 추론(Disaggregated Inference): — 추론 과정에서 연산(컴퓨팅)과 데이터 저장(메모리) 자원을 물리적으로 분리하여 관리하는 방식으로, 대규모 모델 운영 시 자원 활용도를 극대화하고 병목 현상을 줄이는 기술이다.
키-값 캐시(KV Cache): — LLM 추론 시 이전 토큰들의 연산 결과를 메모리에 저장해두는 기술로, 동일한 문맥을 반복 계산하지 않게 하여 텍스트 생성 속도를 획기적으로 높이는 역할을 한다.
엘라스틱 패브릭 어댑터(EFA (Elastic Fabric Adapter)): — AWS 인스턴스 간의 초고속 통신을 가능하게 하는 네트워크 인터페이스로, 수만 개의 GPU가 연결된 클러스터에서 데이터 전송 지연을 최소화하여 분산 학습 및 추론 성능을 높인다.
강화 미세 조정(Reinforcement Fine-Tuning): — 강화학습 원리를 활용하여 모델이 특정 도메인의 피드백에 맞춰 최적의 응답을 생성하도록 학습시키는 기법으로, 단순 지식 습득을 넘어 모델의 추론 논리를 교정하는 데 사용된다.