B300과 A100의 대형 모델 추론 비용 비교

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

대형 모델 추론에서 시간당 GPU 가격과 실제 토큰당 비용이 서로 다르게 움직이는 비교 결과입니다. Modal의 8× B300은 vLLM, tensor parallel 8, native MXFP4로 실행돼 약 27분의 cold boot 뒤 0.92~1.02초 TTFT와 약 92 tok/s의 decode 속도를 기록했으며, 출력 토큰 100만 개당 비용은 190달러였습니다. 1-bit UD-IQ1_S를 8× A100-80GB와 llama.cpp에서 실행한 구성은 시간당 비용이 2.8배 낮았지만 TTFT 7~60초, decode 약 9 tok/s로 토큰당 비용이 약 620달러까지 올랐습니다. 다만 1-bit 출력에서도 올바른 산술과 일관된 문장이 유지돼, 성능·지연시간·품질 요구에 따라 양자화 구성의 활용 여지가 남았습니다.

실용적 조언

추론 비용을 비교할 때 시간당 GPU 가격만 보지 말고 TTFT, decode tok/s, 출력 토큰당 비용을 함께 측정해야 합니다.
긴 출력이나 연속 요청이 많은 환경에서는 B300의 높은 처리량이 토큰당 비용을 낮출 수 있으므로 warm 운영 비용과 함께 계산해야 합니다.
간헐적 요청이나 품질 허용 범위가 넓은 환경에서는 1-bit UD-IQ1_S를 A100에서 실행하는 구성을 검토할 수 있지만, 7~60초 TTFT와 약 9 tok/s decode 속도를 감안해야 합니다.

섹션별 상세

01

작성자는 Modal에서 8× B300을 vLLM과 tensor parallel 8, native MXFP4 조합으로 실행해 cold boot 약 27분, TTFT 0.92~1.02초, 평균 decode 83 tok/s와 안정 상태 92 tok/s를 기록했습니다. 1.56TB 가중치 로딩과 JIT, 51회의 CUDA graph capture가 초기 부팅 시간에 포함됐으며, 출력 토큰 100만 개당 비용은 190달러였습니다. 한 번의 실행에 GPU 비용 약 36달러가 들고, warm 상태를 유지하면 하루 1,363달러가 필요하다는 점에서 높은 성능과 운영비가 함께 드러났습니다.

02

Unsloth의 Dynamic GGUF 중 1-bit UD-IQ1_S 594GB 버전은 8× A100-80GB에서 llama.cpp로 적재됐습니다. 시간당 GPU 비용은 19.99달러로 B300 구성보다 2.8배 낮았지만, TTFT는 프롬프트에 따라 7~60초, decode 속도는 약 9 tok/s로 측정됐습니다. 그 결과 출력 토큰 100만 개당 비용은 약 620달러로 오히려 3.3배 높았고, 1-bit에서도 산술 정답과 일관된 문장이 유지됐습니다.

03

두 구성의 비교는 시간당 인스턴스 가격만으로 추론 비용을 판단하기 어렵다는 점에 초점을 둡니다. B300 구성은 비싸지만 높은 decode 처리량 때문에 토큰당 비용이 190달러였고, A100 구성은 저렴한 시간당 가격에도 처리량 저하로 토큰당 비용이 약 620달러까지 상승했습니다. 따라서 긴 출력이나 지속적인 요청 처리에서는 처리량을, 간헐적 사용이나 메모리 제약 환경에서는 적재 가능성과 품질을 함께 비교해야 한다는 실무적 판단이 가능합니다.

이미지 분석

Chart
표는 B300·vLLM 조합이 native MXFP4 가중치 1,561GB를 사용하고 약 92 tok/s의 decode 속도와 190달러의 100만 토큰당 비용을 기록한 반면, A100·llama.cpp 조합은 1-bit UD-IQ1_S 594GB를 사용하고 약 9 tok/s와 약 620달러를 기록했음을 정리합니다. A100 구성은 시간당 가격이 19.99달러로 더 낮지만 TTFT가 7.3~60.4초까지 늘어나며, B300 구성은 시간당 56.79달러와 약 27분의 cold boot를 감수하고 더 낮은 지연시간과 높은 처리량을 얻습니다.
8× B300과 8× A100-80GB 환경에서 모델 크기, 메모리 적재 여부, 시간당 가격, 부팅 시간, TTFT, decode 속도, 토큰당 비용과 출력 품질을 비교한 표입니다.

Chart
두 번째 이미지는 첫 번째 이미지와 동일한 비교표로, GPU 시간당 비용과 실제 토큰 생성 비용이 반대 방향으로 움직이는 사례를 담고 있습니다. A100 구성은 2.8배 저렴한 시간당 가격에도 약 10배 느린 decode 속도 때문에 100만 토큰당 비용이 약 3.3배 높아졌고, 1-bit 출력은 올바른 산술과 일관된 문장을 유지했습니다.
8× B300·vLLM과 8× A100-80GB·llama.cpp의 추론 비용과 성능 차이를 수치로 비교한 표입니다.

용어 해설

Tensor Parallelism: — 하나의 대형 모델을 여러 GPU에 분할해 각 GPU가 일부 연산을 맡는 병렬 추론 방식입니다. 이 글에서는 8개 GPU에 모델을 나눠 적재하고 vLLM의 tensor parallel 8 설정으로 실행 시간을 줄이는 데 사용됐습니다.
첫 토큰 지연시간(Time to First Token): — 요청을 받은 뒤 첫 번째 출력 토큰이 생성될 때까지 걸리는 시간입니다. 모델 로딩과 프롬프트 처리 속도를 함께 반영하므로 대화형 서비스의 초기 응답성을 판단하는 지표로 쓰이며, 글에서는 TTFT로 측정됐습니다.
디코드 속도(Decode Speed): — 프롬프트 처리가 끝난 뒤 모델이 출력 토큰을 연속 생성하는 속도입니다. 초당 생성 토큰 수로 측정하며, 글에서는 GPU 구성과 양자화 방식에 따라 약 92 tok/s와 약 9 tok/s로 크게 갈렸습니다.

언급된 도구

vLLM중립

8× B300에서 tensor parallel 8과 native MXFP4 설정으로 대형 모델을 추론하는 데 사용됐습니다.

llama.cpp중립

8× A100-80GB에서 594GB 크기의 1-bit UD-IQ1_S Dynamic GGUF를 실행하는 데 사용됐습니다.

Modal중립

8× B300 GPU 인스턴스를 시간당 과금 방식으로 실행하는 호스팅 환경으로 사용됐습니다.

언급된 리소스

문서Kimi K3 Hosting