본문으로 건너뛰기
Character AI Blog

Character.ai, AMD MI325X와 DigitalOcean을 통한 추론 성능 2배 향상 및 비용 최적화 사례

Character.ai가 AMD MI325X GPU와 DigitalOcean의 최적화된 인프라를 활용해 Qwen3-235B 모델의 추론 처리량을 2배 향상시키고 운영 비용을 대폭 절감한 기술적 여정을 다룹니다.

섹션별 상세

01
Qwen3-235B FP8 모델 최적화를 통해 VRAM 사용량을 50% 절감하고 하드웨어 가속 성능을 극대화했다. vLLM에서 가중치뿐만 아니라 KV 캐시까지 FP8로 설정하여 메모리 대역폭 압박을 줄이고 동시 사용자 처리 용량을 확보했다.
02
AMD의 AITER(AI Tensor Engine for ROCm) 라이브러리를 적용하여 최적화된 MoE 커널을 사용했다. Triton 및 Composable Kernel 기반의 고성능 연산자를 vLLM에 통합함으로써 하드웨어 효율성을 최고 수준으로 끌어올렸다.
bash
VLLM_USE_V1=1 SAFETENSORS_FAST_GPU=1
VLLM_ROCM_USE_AITER=1 VLLM_ROCM_USE_AITER_MOE=1
VLLM_USE_TRITON_FLASH_ATTN=0
vllm serve Qwen/Qwen3-235B-A22B-Instruct-2507-FP8 \
--tensor-parallel-size 4 \
--enable-expert-parallel \
--kv-cache-dtype fp8 \
--quantization fp8 \
--distributed-executor-backend mp \
--compilation-config '{"full_cuda_graph":false, "max_capture_size": 32768}' \
--trust-remote-code \
--enable-prefix-caching \
--max-model-len 32768 \
--max_num_batched_tokens 32768 \
--gpu-memory-utilization 0.90

AMD MI325X GPU에서 Qwen3-235B 모델을 TP4/EP4 구성으로 실행하기 위한 vLLM 최적화 설정 예시

03
단일 TP8 그룹 대신 두 개의 TP4 그룹을 운영하는 DP2/TP4/EP4 병렬화 전략을 도입했다. 이 구성은 GPU 간 통신 홉을 줄여 통신 오버헤드를 최소화하며, 단일 서버 내에서 전체 처리량(QPS)을 약 2배 향상시키는 결과를 냈다.
8개 GPU 서버에서의 DP2 / TP4 / EP4 및 AITER 구성 아키텍처 다이어그램
Diagram단일 서버 내에서 두 개의 vLLM 인스턴스가 각각 4개의 GPU(TP4/EP4 그룹)를 사용하는 구조를 보여준다. 각 그룹이 독립적인 출력 스트림을 생성하여 전체 처리량을 2배로 높이고, k8s-device-plugin을 통해 토폴로지 인식 할당이 이루어짐을 설명한다.
동시 요청 수에 따른 첫 번째 토큰 생성 시간(TTFT) 비교 차트
ChartMI325X 환경에서 TP8 베이스라인과 TP4(EP 적용 유무) 간의 TTFT 성능을 비교한다. 동시성 64 수준에서 TP4 구성이 목표 지연 시간 범위를 유지하면서도 효율적으로 작동함을 입증한다.
동시 요청 수에 따른 토큰당 생성 시간(TPOT) 비교 차트
Chart디코드 단계의 성능 지표인 TPOT를 비교하며, TP4 구성이 높은 동시성 환경에서도 급격한 성능 저하 없이 안정적인 토큰 생성 속도를 유지함을 보여준다.
동시 요청 수에 따른 초당 처리량(QPS) 비교 차트
ChartTP4 구성이 TP8 대비 더 높은 QPS 정점을 기록함을 시각화한다. 특히 EP(Expert Parallelism)를 적용했을 때 비적용 시보다 더 높은 처리량을 달성하여 최적화의 효과를 증명한다.
04
하드웨어 토폴로지 인식을 통한 GPU 할당 최적화를 수행했다. NUMA 노드와 Infinity Fabric 구조를 고려하여 동일 소켓 내 GPU들을 우선 할당함으로써 CPU-GPU 간 지연 시간을 줄이고 TTFT 성능의 편차를 방지했다.
05
DigitalOcean Kubernetes(DOKS)를 활용해 GPU 드라이버와 플러그인을 자동 관리하는 프로덕션 환경을 구축했다. NFS를 통한 모델 가중치 캐싱 기법을 도입하여 모델 로딩 시간을 기존 대비 10-15% 단축하고 운영 효율성을 높였다.

용어 해설

전문가 혼합 모델(MoE)
— 모델의 전체 파라미터 중 일부 전문가 네트워크만 활성화하여 추론하는 아키텍처이다. 메모리 효율성이 높고 계산 비용을 줄이면서도 대규모 모델 성능을 유지할 수 있어 대규모 서비스에 유리하다.
텐서 병렬화(Tensor Parallelism)
— 단일 모델 레이어를 여러 GPU에 가로 방향으로 쪼개어 분산 처리하는 기법이다. 개별 GPU 메모리에 담기지 않는 거대 모델을 실행할 때 필수적이며, GPU 간 고속 연결이 성능의 핵심이다.
비균등 메모리 액세스(NUMA)
— 멀티 프로세서 시스템에서 각 프로세서가 자기 로컬 메모리에 접근할 때와 다른 프로세서의 메모리에 접근할 때의 속도가 다른 구조이다. GPU 할당 시 NUMA 노드를 고려하지 않으면 소켓 간 통신 지연으로 성능이 저하된다.
첫 번째 토큰 생성 시간(TTFT)
— 사용자 요청 후 첫 번째 응답 토큰이 출력될 때까지 걸리는 지연 시간이다. 실시간 채팅 서비스의 사용자 경험(UX)을 결정짓는 가장 중요한 성능 지표 중 하나이다.
8비트 부동 소수점(FP8)
— 데이터를 8비트로 표현하는 수치 형식으로, 기존 16비트 대비 메모리 사용량과 대역폭 요구량을 절반으로 줄인다. 최신 GPU 하드웨어 가속을 통해 추론 처리량을 획기적으로 높일 수 있다.

기술

  • AMD MI325X
  • vLLM
  • AITER
  • ROCm
  • DigitalOcean Kubernetes (DOKS)
  • Qwen3-235B

활용 사례

  • 대규모 실시간 챗봇 서비스
  • MoE 기반 거대 언어 모델 추론
  • 비용 효율적인 GPU 클러스터 구축
AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 01. 14.수집 2026. 02. 21.출처 타입 RSS

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.