120B 모델 추론 속도 대결: DGX Spark 대 RTX 4090

하드웨어 간의 압도적인 성능 차이에 주목하며, 특히 120B 모델을 로컬에서 구동할 때의 한계와 클라우드 인프라의 효율성에 대해 논의하는 분위기이다.

• 100B 이상의 모델을 실시간 서비스에 적용하려면 초당 40토큰 이상의 성능을 내는 전문 하드웨어가 권장된다.
• 로컬 RTX 4090 환경에서는 모델 경량화나 양자화 기술을 적용하여 추론 속도를 개선할 필요가 있다.

Time-to-First-Token

— 사용자의 요청 후 모델이 첫 번째 응답 토큰을 출력하기까지 걸리는 지연 시간이다. 실시간 상호작용이 중요한 애플리케이션에서 사용자 경험을 결정짓는 핵심 지표로 활용된다.

Tokens per Second

— LLM이 텍스트를 생성하는 속도를 나타내는 단위이다. 하드웨어의 연산 능력과 메모리 대역폭에 따라 결정되며, 전체 응답 생성 시간을 좌우하는 성능 지표이다.

SIGKILL

— 유닉스 계열 운영체제에서 프로세스를 즉시 강제 종료하기 위해 보내는 신호이다. 이 실험에서는 가장 빠른 모델이 다른 모델의 프로세스를 먼저 종료시키는 경주 조건의 도구로 사용됐다.