토큰 생산 함수: Wooden Barrel 효과

토큰은 데이터센터의 전력, 냉각, 인터커넥트, 소프트웨어 구성까지 포함하는 계측 가능한 산출물이다. 일반적인 인퍼런스 평가가 정확도와 MFU 중심에 머물러 있는 사이, 실제로는 주어진 품질과 서비스 목표(q*, s*) 하에서 토큰 출력이 compute와 delivered power 중 어느 쪽에 의해 제한되는지가 비용과 용량의 핵심이다. 따라서 KV-cache 압축, 희소 어텐션, 양자화, 라우팅, 난이도 적응 추론 같은 시스템 최적화가 단순 벤치마크의 미세 조정이 아닌 에너지-투-토큰 프론티어를 확장하는 매크로 레버로 작동한다. 이 프레이밍은 실험과 벤치마크에서 Joules/token, active binding constraint, PUE-보정 delivered power, utilization-보정 토큰 출력의 보고를 요구한다.

토큰 출력은 컴퓨트(Keff)와 데이터센터 전력(PIT)의 두 한계에 의해 결정되는 산업 생산 공정으로 간주된다. Q˙token은 min(Keff/ctok, PIT/etok)에 의해 결정되며, U가 실제 운용에서 물리적 한계의 활용도를 반영한다. Φsystem은 메모리 대역폭, 디코드, 캐시 압축, 스케줄링, 라우팅 등 시스템 차원의 개입들로 ctok와 etok를 동시에 감소시킴으로써 같은 전력 예산에서 더 많은 토큰을 생성하게 한다. 결정적 구간은 ρ* = PIT/Keff와 ρ = PIT/Keff의 비교로 발생하며, 이는 compute- bound와 power-bound의 전환점을 가리킨다. 따라서 Joules/token 보고와 함께 active binding constraint를 공개하는 것이 바람직하다. Epoch 1에서 Ethereum- 같은 전력 소비는 비교적 여유로웠고, Epoch 2에서 메모리 대역폭이 주된 병목이었으며, Epoch 3에서 Power Wall이 본격적 제약으로 부상했다. 시스템 최적화는 에너지 매직 넘버를 증가시키는 매크로 레버이며, 단순한 하드웨어 증강만으로는 해결되지 않는다.

단락 1: Token Production Function의 전체 접근법과 핵심 아이디어를 제시한다. Q˙token(t; q*, s*) = min(Keff(t)/ctok(t; q*, s*), PIT(t)/etok(t; q*, s*)) · U(t; q*, s*)로 표현되는 다층 생산 구조를 도입한다. CTOK와 ETOK는 각각 compute와 energy의 한계치를 나타낸다. 단락 2: Φsystem의 구체적 메커니즘을 분해하고 각 구성요소의 estimator를 제시한다. Φmem ≈ Q˙obs/Q˙ceilBW, Φdecode는 decode-토큰에 한정, Φsched는 SM 기반 활성치/이상적 배치의 비율 등으로 측정한다. 단락 3: ρ-ρ* 진단의 원리를 설명하고 reporting convention의 필요성을 밝힌다. 단락 4: 65B-class H100 사례를 통해 peak-denominator와 realized-denominator 간의 차이를 보여주는 예시를 제시한다.

Epoch 1에서 K가 풍부하고 P가 여유로웠다. Epoch 2에서 메모리 트래픽이 주된 병목으로 확인되었고 FlashAttention, PagedAttention, INT4/INT8 등의 기법이 ctok와 etok를 낮췄다. API 가격 차이는 지역별 인프라 차이에 의해 나타나며, 에너지 제약이 초기에는 덜 두드러졌으나 점진적으로 커졌다. Epoch 3에서 Context 길이가 길어지며 Power Wall이 본격 제약으로 부상했고, 글로벌 데이터센터 전력은 2024년 415 TWh에서 2030년 945 TWh로 예상된다. 시스템 최적화로 etok를 감소시키면 같은 전력 예산에서 더 많은 토큰을 생성할 수 있으며, MLA/NSA/CSA/HCA 등의 조합이 1× baseline 대비 수십 배의 효율을 낼 수 있다(표와 근거는 보조적 figures 참조).