용량 계획의 규칙이 바뀌었다: 추론 중심으로 전환되는 AI 인프라

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

엔터프라이즈 AI 인프라의 중심이 훈련에서 추론으로 이동하면서 기존의 용량 산정 규칙이 무력화되고 있다. 과거에는 모델 크기와 배치 사이즈로 학습 자원을 비교적 예측 가능하게 계획했지만, 추론은 요청 단위의 토큰 길이·응답 유형·동시성 등 확률적 변동이 핵심 변수여서 연속적이고 불확실한 부하를 처리하도록 설계해야 한다. 업계 수치(예: 추론이 전체 AI 컴퓨트의 약 2/3를 차지, 하이퍼스케일러의 대규모 CapEx 등)는 메모리·칩 비용과 Custom ASICs 채택이 추론 효율성과 총비용에 큰 영향을 준다는 점을 뒷받침한다. 따라서 플랫폼은 단순히 학습용 아키텍처를 축소해서 재사용할 수 없고, 요청 라우팅·오토스케일·토큰 기반 비용 제어·전력·메모리 설계를 통합해 추론 특유의 요구를 수용해야 한다. 이러한 전환은 하드웨어 조달 우선순위, 데이터센터 설계, 운영·모니터링 관행을 함께 재정의하는 결과를 낳는다.

섹션별 상세

과거 엔터프라이즈 AI 인프라 용량 계획은 주로 모델 학습을 기준으로 산정되었다는 상황에서, 최근 추론(workload)이 전체 AI 컴퓨트의 약 2/3를 차지하며 비중이 역전되었다는 관찰이 나왔다. 이 전환은 과거처럼 단순히 GPU 수와 런타임으로 계산하는 방식이 아니라 지속적이며 변동적인 요청 흐름을 처리하는 설계로 입력→처리→출력을 재정의한다. 기사에서는 Bloomberg Intelligence 등 자료를 인용해 추론 비중 확대와 하이퍼스케일러의 막대한 미집행 주문액(예: AWS·Oracle·Microsoft 사례)을 근거로 제시했다. 결과적으로 기업은 학습 중심의 수학으로 용량을 산정하면 실수요를 맞추지 못해 비용·성능 손실이 발생한다.

근거

최근 자료는 전체 AI 컴퓨트에서 추론이 대략 2/3를 차지한다고 보고했다. — 본문 초반 단락 — Bloomberg Intelligence 데이터 링크 인용 출처

학습(training)은 배치 단위로 모델 크기·데이터·글로벌 배치 사이즈·예상 런타임을 알고 계획 가능하지만, 추론은 요청마다 토큰 길이·응답 유형·추론 모드가 달라 예측 불가능한 연속 흐름이다. 입력(사용자 요청)이 200토큰 채팅인지 50,000토큰 문서 요약인지에 따라 CPU/GPU 메모리·지연·처리 시간이 크게 달라지며, 플랫폼은 각 요청 특성에 맞춰 자원을 동적으로 배분해야 한다. 기사 본문은 이 차이를 통해 기존의 '작은 트레이닝' 식 접근이 실패한다고 지적했고, 이 점이 인프라 설계에서 핵심 고려사항임을 수치적 예시로 뒷받침했다. 따라서 추론 중심 설계는 요청 단위 SLA·오토스케일·토큰 기반 비용 예측을 기본으로 삼아야 한다.

추론 전용 인프라는 메모리·칩 비용과 맞춤형 하드웨어(Custom ASICs)의 영향을 크게 받는다는 점에서 비용 구조가 트레이닝과 다르다. 본문은 하이퍼스케일러의 2026년 합산 CapEx 약 7250억 달러(그중 약 75%가 AI 인프라)와 Microsoft가 메모리·칩 비용 상승으로 특정 금액(예: 250억 달러)을 지목한 사실을 근거로 제시했다. 이 증거는 대규모 추론 플릿 확장 시 GPU뿐 아니라 전력·메모리·ASIC 조달·데이터센터 전력 설계가 용량 계산의 주요 변수로 떠오름을 의미한다. 따라서 인프라 투자 우선순위와 조달 전략이 근본적으로 재조정될 필요가 있다.

근거

하이퍼스케일러 4곳이 2026년을 위해 약 7250억 달러의 합산 CapEx를 약속했고 그중 약 75%가 AI 전용 인프라에 투자될 것으로 보고되었다. — 본문 중간 단락 — CapEx 수치 인용 및 Tom's Hardware 링크 출처
Microsoft는 메모리와 칩 비용 압박으로 인프라 비용 증가분 중 일부(예: 250억 달러)를 직접 언급했다. — 본문 중간 단락 — Microsoft CFO 인용 및 관련 Tom's Hardware 링크 출처

플랫폼 레이어는 단순히 학습 워크플로를 축소한 형태가 아니라 추론 특유의 연속성·변동성·실시간성에 맞춰 재설계되어야 한다는 관점이 ClearML의 핵심 주장이다. 입력 요청을 라우팅하고, 실시간 오토스케일링과 토큰 기반 비용 제어, 배치형 처리의 병목 회피를 결합하는 방식으로 처리→모니터링→결과 반환이 이루어져야 실제 추론 수요를 안정적으로 소화할 수 있다. 기사에서는 많은 기업이 추론을 '작은 학습'으로 취급해 실패하는 사례를 지적하며, 플랫폼이 워크로드 전환에 맞춰 역할을 달리해야 함을 근거로 들었다. 이로 인해 플랫폼 설계·운영 프로세스·비용 모델이 함께 전환되어야 한다는 결론이 도출된다.

용어 해설

추론(인퍼런스)(Inference): — 학습이 완료된 모델에 입력을 넣어 응답을 생성하는 연산 부하로, 요청마다 지연·입력 길이·동시성 등 자원 수요가 달라 예측이 어렵다. 이 글에서는 전체 AI 컴퓨트 중 약 2/3가 inference로 소비된다는 통계와 함께 인프라 설계 관점에서의 차이를 이해하는 데 필요하다.
맞춤형 ASIC(Custom ASICs): — 특정 워크로드(여기서는 추론)에 최적화해 설계된 비메모리 반도체로, 전력 효율·대량 처리에서 GPU 대비 이점이 있어 inference 전용 플릿 확장 시 주요 비용·성능 요소로 작용한다.
초당 쿼리 수(QPS): — 초당 처리해야 하는 요청 수(metric)로, 추론 인프라 용량 산정 시 지연·동시접속·오버헤드를 고려한 설계 기준이 되며 기존의 batch 중심 훈련 산정과 달리 연속적 변동성을 반영해야 한다.
용량 계획(Capacity Planning): — 인프라 자원을 어느 정도로 확보할지 결정하는 과정으로, training의 경우 런타임·배치 크기 기반 예측이 가능하지만 inference는 요청 패턴·토큰 길이·동시성 등을 실시간으로 고려해야 다른 접근이 필요하다.