120B 모델 추론 속도 대결: DGX Spark 대 RTX 4090

실용적 조언

100B 이상의 모델을 실시간 서비스에 적용하려면 초당 40토큰 이상의 성능을 내는 전문 하드웨어가 권장된다.
로컬 RTX 4090 환경에서는 모델 경량화나 양자화 기술을 적용하여 추론 속도를 개선할 필요가 있다.

섹션별 상세

동일한 120B 모델을 사용하여 특정 작업을 먼저 완료하는 경주를 진행했다. 모델은 PID 파일을 파싱하고 종료 스크립트를 작성한 뒤 이를 먼저 실행해야 하며, 클라우드 환경의 첫 번째 토큰 생성 시간(TTFT)이 매우 빨라 로컬 머신이 생성 중일 때 이미 종료 신호를 보냈다. 이는 네트워크 지연보다 초기 응답 속도가 실제 작업 완료 시간에 큰 영향을 미칠 수 있음을 시사한다.

터미널에서 'ai-deathmatch' 디렉토리의 명령 프롬프트가 표시된 스크린샷이다. — Screenshot실험이 수행된 터미널 환경을 보여주며, 'ai-deathmatch'라는 프로젝트 이름을 통해 하드웨어 간의 성능 경쟁 실험임을 암시한다. 본문에서 언급된 스크립트가 실행되는 실제 작업 공간을 시각화한다.

순수 추론 속도 측정 결과 하드웨어 간의 성능 격차가 명확하게 드러났다. DGX Spark는 초당 42.9 토큰을 생성한 반면, 소비자용 플래그십인 RTX 4090은 초당 8.7 토큰을 생성하는 데 그쳤다. 동일한 모델임에도 불구하고 하드웨어 구성에 따라 약 4.9배의 성능 차이가 발생한다는 수치적 근거가 확인됐다.

실험에 사용된 스크립트는 오픈 소스로 공개되어 사용자가 자신의 하드웨어에서 직접 재현할 수 있다. 하드웨어 성능 측정 시 단순 벤치마크 점수보다 실제 워크플로(파일 파싱 및 스크립트 실행)에서의 속도가 중요함을 강조한다. 이를 통해 대규모 모델 운영 시 인프라 선택이 성능에 미치는 실질적인 영향을 평가할 수 있다.

용어 해설

첫 번째 토큰 생성 시간(Time-to-First-Token): — 사용자의 요청 후 모델이 첫 번째 응답 토큰을 출력하기까지 걸리는 지연 시간이다. 실시간 상호작용이 중요한 애플리케이션에서 사용자 경험을 결정짓는 핵심 지표로 활용된다.
초당 토큰 생성 수(Tokens per Second): — LLM이 텍스트를 생성하는 속도를 나타내는 단위이다. 하드웨어의 연산 능력과 메모리 대역폭에 따라 결정되며, 전체 응답 생성 시간을 좌우하는 성능 지표이다.
시그킬(SIGKILL): — 유닉스 계열 운영체제에서 프로세스를 즉시 강제 종료하기 위해 보내는 신호이다. 이 실험에서는 가장 빠른 모델이 다른 모델의 프로세스를 먼저 종료시키는 경주 조건의 도구로 사용됐다.

언급된 도구

DGX Spark추천

고성능 AI 추론 및 학습용 서버 하드웨어

RTX 4090중립

소비자용 고성능 GPU 하드웨어

언급된 리소스

문서What a SIGKILL race reveals about inference speed