SambaNova, AI 에이전트를 위한 분리형 추론 데모 공개

섹션별 상세

01

AI 에이전트의 복잡한 작업은 긴 컨텍스트와 반복적인 토큰 생성을 요구하며, 기존의 GPU 단독 추론 방식은 병목 현상을 유발한다.

02

분리형 추론은 연산 집약적인 프리필을 GPU에서, 메모리 대역폭이 핵심인 디코드를 RDU에서 처리하여 각 하드웨어의 강점을 활용한다.

03

NVIDIA B200 GPU와 SambaNova SN40 RDU를 결합한 구성은 기존 B200 단독 대비 2배의 추론 속도를 기록했다.

04

향후 출시될 SN50을 포함한 B300+SN50 구성은 기존 대비 10배의 시스템 처리량을 제공하여 추론 비용을 절감하고 마진을 개선한다.

05

Together.AI가 이 아키텍처를 상용 환경에 도입하는 첫 번째 고객으로 참여하여 실제 데이터 센터 환경에서 성능을 검증한다.

프리필(Prefill): — LLM 추론의 첫 단계로, 입력 프롬프트를 토큰화하고 KV 캐시를 생성하는 연산 집약적 과정이다. 이 단계는 병렬 처리가 중요하여 GPU 성능이 핵심적인 역할을 한다.
디코드(Decode): — LLM 추론의 두 번째 단계로, 생성된 KV 캐시를 바탕으로 토큰을 하나씩 순차적으로 생성하는 과정이다. 메모리 대역폭이 성능을 결정짓는 핵심 요소이다.
RDU: — SambaNova의 재구성 가능한 데이터 흐름 장치(Reconfigurable Dataflow Unit)로, 메모리 대역폭이 중요한 디코드 작업에 최적화된 하드웨어이다.
분리형 추론(Disaggregated Inference): — 추론의 각 단계를 최적화된 서로 다른 하드웨어(GPU, RDU)에서 분리하여 처리하는 아키텍처이다. 각 작업에 적합한 칩을 사용하여 전체 시스템 효율을 높인다.