이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
셀프 호스팅의 비용 우위는 GPU 가격 자체가 아니라 GPU를 얼마나 지속적으로 바쁘게 유지하느냐에서 결정된다. 32B 모델을 GPU 한 장에서 약 50% 가동률로 운영하고 API가 백만 토큰당 $0.50, 요청당 약 500토큰이라면 손익분기점은 월 1,000만 요청, 약 50억 토큰 수준으로 계산된다. 월 500만 요청보다 적거나 전체 추론 비용이 월 2,000~3,000달러보다 낮으면 유휴 GPU와 운영 인력 비용 때문에 API가 더 합리적이라는 판단이다. 반면 4B·MoE 모델, Embedding, Reranking, Extraction처럼 반복 실행이 많은 작업은 GPU 가동률을 높여 손익분기점에 빠르게 도달하며, TEI와 SIE가 관련 배포 선택지로 제시된다.
실용적 조언
- 월간 요청 수와 토큰 처리량을 먼저 계산한 뒤 GPU 가동률을 반영해 API 비용과 비교해야 한다.
- 월 추론 비용이 2,000~3,000달러보다 낮거나 GPU가 유휴 상태로 남는다면 셀프 호스팅보다 API를 유지하는 편이 낫다.
- API에서 하나만 이전한다면 생성 호출보다 지속 실행과 재색인이 많은 Embedding, Reranking, Extraction 작업을 우선 검토해야 한다.
- Embedding과 Reranking을 함께 운영해 GPU 가동률을 높일 때 TEI와 SIE의 모델 배치 방식을 비교해야 한다.
섹션별 상세
셀프 호스팅과 API의 가격 비교에서 핵심 변수는 GPU의 구매·임대 가격이 아니라 실제 가동률이다. GPU는 유휴 상태에서도 같은 비용이 발생하지만 API는 호출한 토큰에 대해서만 과금되므로, GPU를 충분히 바쁘게 유지하지 못하면 토큰당 비용 우위가 생기지 않는다. 글의 가정처럼 32B 모델을 GPU 한 장에서 약 50% 가동률로 운영하고 API 가격을 백만 토큰당 $0.50으로 두면 월 1,000만 요청, 약 50억 토큰 부근에서 손익분기점이 형성된다.
32B 모델의 손익분기점은 월간 요청량이 낮을 때 유휴 GPU 비용을 회수하지 못한다는 전제에서 계산된다. 요청당 약 500토큰을 적용하면 월 1,000만 요청이 약 50억 토큰으로 환산되고, 월 500만 요청 아래에서는 GPU가 절반가량 놀아 API 대비 비용 차이를 좁히기 어렵다. 전체 추론 비용이 월 2,000~3,000달러보다 낮다면 GPU 운영과 장애 대응에 드는 운영 비용까지 고려할 때 셀프 호스팅을 피하라는 판단으로 이어진다.
모델 크기와 작업 유형에 따라 손익분기점의 위치가 크게 달라진다. 30B급 모델의 직접 운영 비용은 백만 토큰당 $0.06~$0.85 범위로 제시되지만, 4B 모델이나 MoE는 더 적은 처리 자원으로 같은 GPU를 활용하므로 32B보다 빨리 API 비용을 넘어선다. Embedding, Reranking, Extraction은 지속적으로 실행되고 재색인마다 작업량이 반복되기 때문에, 생성 요청보다 먼저 API에서 옮길 대상으로 제시된다.
가격표에 나타나지 않는 운영 인력 비용이 셀프 호스팅의 실제 절감액을 줄인다. GPU 장애나 배포 문제를 처리하기 위해 누군가 심야에도 대응해야 하므로, 하드웨어 비용만으로 손익분기점을 계산하면 실제 결과를 과대평가하게 된다. Embedding과 Reranking을 한 GPU에 함께 배치해 가동률을 높이려는 경우 TEI는 서버 하나에 모델 하나를 실행하고 SIE는 한 클러스터에 여러 모델을 묶는 차이가 운영 설계의 기준이 된다.
용어 해설
- GPU 가동률(GPU Utilization)
- — GPU가 전체 처리 용량 중 실제 추론에 사용되는 비율이다. 셀프 호스팅에서는 GPU를 구매하거나 임대하는 비용이 유휴 시간에도 발생하므로, 가동률이 API 호출량과 비용 손익을 가르는 핵심 변수로 작용한다.
- 손익분기점(Break-even Point)
- — 두 운영 방식의 총비용이 같아지는 사용량 기준이다. 이 글에서는 GPU를 직접 운영하는 비용과 토큰 단위 API 비용을 비교해, 월간 요청 수와 토큰 처리량이 어느 수준을 넘어야 셀프 호스팅이 유리한지 계산한다.
- MoE
- — 여러 Expert 중 일부만 입력 처리에 참여시키는 모델 구조다. 글에서는 4B 모델이나 MoE 모델이 32B 모델보다 필요한 처리량이 작아 셀프 호스팅 손익분기점에 더 빨리 도달한다고 설명한다.
- 리랭킹(Reranking)
- — 검색 결과 후보를 추가 모델로 다시 평가해 순서를 조정하는 단계다. Embedding과 함께 지속적으로 실행되고 재색인 때마다 처리량이 반복되므로, 생성 요청보다 GPU를 꾸준히 바쁘게 만들어 셀프 호스팅 효과를 내기 쉽다.
- 텍스트 Embedding 추론(Text Embeddings Inference)
- — 텍스트를 벡터로 변환하는 Embedding 모델을 서버에서 실행하는 추론 방식이다. 글에서 TEI는 서버 하나에 모델 하나를 배치하는 선택지로 제시되며, 반복적인 Embedding 작업을 API 대신 직접 처리하는 데 쓰인다.
언급된 도구
TEI중립
서버 하나에서 모델 하나를 실행하는 추론 서버 선택지다.
SIE중립
한 클러스터에 여러 모델을 배치해 Embedding과 Reranking으로 GPU 가동률을 높이는 선택지다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 09. 02.수집 2026. 09. 02.출처 타입 REDDIT
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
