TL;DR
토큰은 데이터센터의 전력, 냉각, 인터커넥트, 소프트웨어 구성까지 포함하는 계측 가능한 산출물이다. 일반적인 인퍼런스 평가가 정확도와 MFU 중심에 머물러 있는 사이, 실제로는 주어진 품질과 서비스 목표(q*, s*) 하에서 토큰 출력이 compute와 delivered power 중 어느 쪽에 의해 제한되는지가 비용과 용량의 핵심이다. 따라서 KV-cache 압축, 희소 어텐션, 양자화, 라우팅, 난이도 적응 추론 같은 시스템 최적화가 단순 벤치마크의 미세 조정이 아닌 에너지-투-토큰 프론티어를 확장하는 매크로 레버로 작동한다. 이 프레이밍은 실험과 벤치마크에서 Joules/token, active binding constraint, PUE-보정 delivered power, utilization-보정 토큰 출력의 보고를 요구한다.
왜 중요한가
토큰은 데이터센터의 전력, 냉각, 인터커넥트, 소프트웨어 구성까지 포함하는 계측 가능한 산출물이다. 일반적인 인퍼런스 평가가 정확도와 MFU 중심에 머물러 있는 사이, 실제로는 주어진 품질과 서비스 목표(q*, s*) 하에서 토큰 출력이 compute와 delivered power 중 어느 쪽에 의해 제한되는지가 비용과 용량의 핵심이다. 따라서 KV-cache 압축, 희소 어텐션, 양자화, 라우팅, 난이도 적응 추론 같은 시스템 최적화가 단순 벤치마크의 미세 조정이 아닌 에너지-투-토큰 프론티어를 확장하는 매크로 레버로 작동한다. 이 프레이밍은 실험과 벤치마크에서 Joules/token, active binding constraint, PUE-보정 delivered power, utilization-보정 토큰 출력의 보고를 요구한다.
관련 Figure

에폭별 전력 소비 증가와 토큰당 에너지의 변화 경향을 시각화해, Context War & Power Wall 시점에서의 제약 변화와 규제의 영향을 설명한다.
Figure 2는 Epoch별 전력 소모 및 토큰당 소비량의 관계를 나타내며, 2020년대에서 2030년대까지의 흐름을 보여준다.
핵심 기여
Token Production Function의 수학적 형식화
Q˙token(t; q*, s*) = min(Keff(t)/ctok(t; q*, s*), PIT(t)/etok(t; q*, s*)) · U(t; q*, s*)를 제시하고, 토큰 출력 Qtoken = ∫0^T Q˙token dt로 정의한다. 이 다차원 모델은 품질 및 서비스 제약 하에서 토큰 생산을 compute- ceiling과 delivered power- ceiling의 공정 관계로 규정한다.
Leontief-형태의 경계(바인딩 제약) 도입
min(·,·) 구조를 채택하여 compute와 delivered power가 고정된 비율로 상호 의존하는 바운더리(ρ* = PIT/Keff)를 정의한다. ρ*보다 큰 ρ는 compute가, 작은 ρ는 delivered power가 바인딩되며, 이는 Roofline 확장에 해당하는 새로운 적용이다.
Φsystem의 계층적 구성
Φsystem을 Φpref ill, Φdecode, Φmem, Φcomp, Φsched, Φroute의 구성으로 분해하고 ctok = ctok(m, w, Φsystem), etok = etok(m, w, Φsystem, PUE)로 정의한다. 각 구성요소는 에너지-토큰 프런티어를 감소시키는 고유한 메커니즘을 나타낸다.
에폭 기반 분석 및 평가 제안
에폭 1(Pre-Cambrian), 에폭 2(LLM Explosion), 에폭 3(Context War & Power Wall)으로 인퍼런스 역사를 기술하고, Power Wall 및 PUE로 대표되는 물리적 한계가 토큰 출력에 미치는 영향을 논의한다. 또한 Joules/token, active binding constraint, PUE-adjusted delivered power, utilization-adjusted token output의 보고를 제안한다.
에너지-투-토큰 평가 체계에 대한 실용적 가이드
API 가격 분포의 관찰은 방향성 인자로 작용하며, 모든 비교는 (q*, s*)와 energy-accounting 경계가 명시될 때만 해석 가능하다. ρ-ρ* 진단은 설치된 하드웨어와 운영 점에 따라 바뀌므로 재현성을 확보하기 위한 측정 규칙이 필요하다.
핵심 아이디어 이해하기
토큰 출력은 컴퓨트(Keff)와 데이터센터 전력(PIT)의 두 한계에 의해 결정되는 산업 생산 공정으로 간주된다. Q˙token은 min(Keff/ctok, PIT/etok)에 의해 결정되며, U가 실제 운용에서 물리적 한계의 활용도를 반영한다. Φsystem은 메모리 대역폭, 디코드, 캐시 압축, 스케줄링, 라우팅 등 시스템 차원의 개입들로 ctok와 etok를 동시에 감소시킴으로써 같은 전력 예산에서 더 많은 토큰을 생성하게 한다. 결정적 구간은 ρ* = PIT/Keff와 ρ = PIT/Keff의 비교로 발생하며, 이는 compute- bound와 power-bound의 전환점을 가리킨다. 따라서 Joules/token 보고와 함께 active binding constraint를 공개하는 것이 바람직하다. Epoch 1에서 Ethereum- 같은 전력 소비는 비교적 여유로웠고, Epoch 2에서 메모리 대역폭이 주된 병목이었으며, Epoch 3에서 Power Wall이 본격적 제약으로 부상했다. 시스템 최적화는 에너지 매직 넘버를 증가시키는 매크로 레버이며, 단순한 하드웨어 증강만으로는 해결되지 않는다.
관련 Figure

min(Keff/ctok, PIT/etok)이라는 바인딩 제약을 통해 총 토큰 생산 속도가 결정되는 원리를 시각적으로 보인다. Φsystem의 역할은 ctok와 etok를 줄여 합리적 operating point를 유지하도록 돕는다는 점을 강조한다.
Figure 1은 토큰 생산 함수의 구성 요소를 시각화하며, compute와 delivered power가 함께 작동해 토큰을 생성하는 구조를 보여준다.
방법론
단락 1: Token Production Function의 전체 접근법과 핵심 아이디어를 제시한다. Q˙token(t; q*, s*) = min(Keff(t)/ctok(t; q*, s*), PIT(t)/etok(t; q*, s*)) · U(t; q*, s*)로 표현되는 다층 생산 구조를 도입한다. CTOK와 ETOK는 각각 compute와 energy의 한계치를 나타낸다. 단락 2: Φsystem의 구체적 메커니즘을 분해하고 각 구성요소의 estimator를 제시한다. Φmem ≈ Q˙obs/Q˙ceilBW, Φdecode는 decode-토큰에 한정, Φsched는 SM 기반 활성치/이상적 배치의 비율 등으로 측정한다. 단락 3: ρ-ρ* 진단의 원리를 설명하고 reporting convention의 필요성을 밝힌다. 단락 4: 65B-class H100 사례를 통해 peak-denominator와 realized-denominator 간의 차이를 보여주는 예시를 제시한다.
주요 결과
Epoch 1에서 K가 풍부하고 P가 여유로웠다. Epoch 2에서 메모리 트래픽이 주된 병목으로 확인되었고 FlashAttention, PagedAttention, INT4/INT8 등의 기법이 ctok와 etok를 낮췄다. API 가격 차이는 지역별 인프라 차이에 의해 나타나며, 에너지 제약이 초기에는 덜 두드러졌으나 점진적으로 커졌다. Epoch 3에서 Context 길이가 길어지며 Power Wall이 본격 제약으로 부상했고, 글로벌 데이터센터 전력은 2024년 415 TWh에서 2030년 945 TWh로 예상된다. 시스템 최적화로 etok를 감소시키면 같은 전력 예산에서 더 많은 토큰을 생성할 수 있으며, MLA/NSA/CSA/HCA 등의 조합이 1× baseline 대비 수십 배의 효율을 낼 수 있다(표와 근거는 보조적 figures 참조).
관련 Figure

KV-cache 압축, 희소/하이브리드 어텐션, 라우팅 등의 조합이 동일한 wall-plug 파워에서 etok를 감소시켜 tokens 생산량을 증가시키는 방향을 보여준다.
Figure 3은 MLA, CSA/HCA, Hybrid Linear 등 다양한 Φsystem 레버의 효과를 비교한 아키텍처 효율성 차트를 제시한다.
실무 활용
Φsystem 중심의 에너지-토큰 생산 프레임워크는 인퍼런스 벤치마크와 설계 가이드에 Joules/token 보고를 요구한다. 이는 데이터센터 전력, 냉각, PUE, 활용도와 토큰 출력의 관계를 명시적으로 다루는 새로운 평가 체계의 토대를 제공한다.
- Long-context LLM 서비스의 전력 효율 최적화 설계
- KV-cache 압축/희소 어텐션 조합의 운영 점에서의 etok 절감 평가
- 데이터센터 전력 예산 하에서의 품질/서비스 목표(q*, s*) 고정 토큰 산출 예측
- 국가 간 인프라 차이에 따른 토큰 단가 차이 분석 및 정책 설계
- OpenRouter 등의 오픈 플랫폼에서 토큰 단가의 국제적 비교
코드 공개 여부: 미확인
키워드
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.