Dual 7900 XTX와 Gemma-4 26B MoE 조합의 벤치마크 성능 결과

작성자는 AMD GPU 환경에서의 성능에 매우 만족하고 있으며, NVIDIA의 고가 라인업인 RTX 5090을 대체할 수 있다는 긍정적인 반응을 보였다.

• AMD 7900 XTX를 듀얼로 구성하여 고성능 LLM 추론 서버를 구축할 때 Gemma MoE 모델을 활용하면 비용 대비 높은 처리량을 얻을 수 있다.
• TTFT가 수 초 단위로 발생하므로, 즉각적인 반응이 중요한 챗봇보다는 백엔드 처리나 데이터 분석용으로 활용하는 것이 유리하다.

전문가 혼합(MoE)

— 모델의 전체 파라미터 중 일부만 활성화하여 추론하는 아키텍처이다. 입력 데이터에 따라 적절한 '전문가' 레이어만 선택적으로 사용함으로써 연산 효율성을 높이고 모델 크기 대비 빠른 추론 속도를 제공한다.

첫 토큰 생성 시간(TTFT)

— 사용자의 요청이 입력된 후 첫 번째 토큰이 출력될 때까지 걸리는 시간이다. 시스템의 초기 응답성을 나타내는 핵심 지표로, 대화형 서비스에서 사용자 경험에 직접적인 영향을 미친다.

출력 토큰당 소요 시간(TPOT)

— 첫 번째 토큰 이후의 각 토큰을 생성하는 데 걸리는 평균 시간이다. 전체적인 텍스트 생성 속도를 결정하며, 이 수치가 낮을수록 사용자가 체감하는 글자 출력 속도가 빨라진다.

8비트 부동 소수점(FP8)

— 데이터를 8비트 정밀도로 표현하는 수치 형식이다. 정밀도를 낮추어 메모리 사용량과 연산량을 줄이면서도 모델의 성능 저하를 최소화하여 효율적인 추론을 가능하게 한다.