Together AI, 주요 오픈소스 모델에 대해 업계 최고 수준의 추론 속도 달성

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Together AI는 차세대 GPU 하드웨어와 최적화된 커널, Speculative Decoding 기법을 결합하여 오픈소스 LLM 추론 속도를 대폭 향상시켰다. Artificial Analysis 벤치마크 결과, GPT-OSS-20B와 Qwen3-235B 등 주요 모델에서 타사 대비 최대 2.75배 빠른 성능을 보이며 업계 1위를 차지했다. 이러한 성과는 NVIDIA Blackwell 아키텍처에 최적화된 엔진과 고성능 Draft Model 학습 파이프라인 구축을 통해 가능해졌다. 향후 하이브리드 양자화 및 새로운 생성 전략을 통해 성능 격차를 더욱 벌릴 계획이다.

배경

LLM 추론 메커니즘 (Token generation), 양자화 (Quantization) 개념 (FP8, FP4), Speculative Decoding의 기본 원리

대상 독자

실시간 응답 속도가 중요한 LLM 서비스를 운영하는 개발자 및 인프라 엔지니어

의미 / 영향

Together AI가 오픈소스 모델 추론 시장에서 압도적인 속도 우위를 점함에 따라, 기업들이 폐쇄형 모델 대신 고성능 오픈소스 모델을 선택할 유인이 더 커졌다. 특히 Blackwell 하드웨어의 잠재력을 풀스택 최적화로 끌어올린 사례는 향후 AI 인프라 경쟁의 기준점을 높이는 계기가 될 것이다.

섹션별 상세

Together AI는 NVIDIA Blackwell 아키텍처와 GB200 NVL72에 최적화된 차세대 추론 엔진을 구축했다. 단순한 레이어 최적화를 넘어 연산 커널, 메모리 레이아웃, 실행 그래프 및 스케줄링을 통합 시스템으로 재설계하여 하드웨어 성능을 극대화했다. 특히 FP8 및 FP4 저정밀도 연산 경로를 최적화하여 실제 워크로드에서 높은 활용률을 달성했다.

gpt-oss-20B 모델의 제공업체별 출력 속도 비교 차트 — ChartTogether AI가 892 tokens/sec를 기록하며 2위인 Google Vertex(456 tokens/sec) 대비 약 2배 빠른 성능을 보여주고 있음을 입증한다.

자체 개발한 Together Kernels를 통해 대역폭 활용 능력을 획기적으로 높였다. 여기에는 Blackwell 아키텍처 전용 FlashAttention-4 커널과 라우팅 및 Expert FFN을 결합한 Fused MoE 커널이 포함된다. 이러한 하드웨어 인식 커널은 대규모 모델의 처리량을 직접적으로 개선하는 핵심 동력으로 작용한다.

FP8 및 FP4 포맷을 활용한 Near-lossless 양자화 기술을 적용했다. 아키텍처 인식 캘리브레이션과 블록 단위 스케일링, 민감한 경로에 대한 선택적 혼합 정밀도 기법을 통해 모델 품질 저하 없이 극단적인 압축을 실현했다. 런타임 수준에서 Fused FP4/FP8 커널과 양자화된 KV-Cache를 지원하여 대규모 모델의 지연 시간을 줄이고 처리량을 높였다.

gpt-oss-120B 모델의 제공업체별 출력 속도 비교 차트 — Chart120B 규모의 대형 모델에서도 Together AI가 898 tokens/sec로 1위를 차지하며 대규모 파라미터 모델에 대한 최적화 성능을 보여준다.

실제 서비스 환경에서 신뢰할 수 있는 Speculative Decoding 알고리즘을 구현했다. 각 타겟 모델에 최적화된 고정밀 Draft Model을 학습시키고, 출력 품질을 유지하면서 속도를 극대화하는 적응형 수락 전략을 도입했다. 이를 통해 Kimi나 Qwen3와 같은 모델에서 출력 속도를 거의 두 배로 높이는 성과를 거두었다.

Qwen3 235B 모델의 제공업체별 출력 속도 비교 차트 — ChartTogether AI(FP8)가 254 tokens/sec를 기록하여 2위인 Amazon(92 tokens/sec)보다 2.75배 이상 빠른 압도적인 격차를 시각화한다.

Kimi K2 0905 모델의 제공업체별 출력 속도 비교 차트 — ChartKimi K2 모델에서 Together AI가 216 tokens/sec를 기록하며 경쟁사 대비 65% 이상 빠른 성능을 유지하고 있음을 확인시킨다.

최대 1T 파라미터 이상의 모델을 지원하는 대규모 Speculator 학습 파이프라인을 구축했다. 커리큘럼 기반 학습과 데이터 믹싱 전략을 통해 Draft Model이 타겟 모델의 문체와 구조적 출력을 정확히 모방하도록 설계했다. 고성능 아키텍처와 사전 학습된 베이스 모델을 활용하여 다양한 타겟 모델에 신속하게 적응할 수 있는 체계를 갖췄다.

Qwen3 Coder 480B 모델의 제공업체별 출력 속도 비교 차트 — Chart480B에 달하는 초거대 코딩 모델에서도 Together AI가 153 tokens/sec로 가장 빠른 추론 속도를 제공함을 보여준다.

실무 Takeaway

NVIDIA Blackwell 하드웨어에 최적화된 전용 커널과 FP4 양자화를 적용하면 대규모 모델의 추론 처리량을 획기적으로 높일 수 있다.
고성능 Draft Model을 활용한 Speculative Decoding은 Qwen3와 같은 대형 모델의 실시간 출력 속도를 최대 2.75배까지 가속화하는 핵심 기술이다.
Together AI의 서버리스 인프라를 활용하면 DeepSeek-V3.1이나 R1 같은 최신 모델을 업계에서 가장 빠른 속도로 서비스에 도입할 수 있다.

언급된 리소스

문서Artificial Analysis Benchmarks

문서Together AI ATLAS Blog