AI 업계의 가장 비싼 실수: 토큰으로 생각하는 것의 불합리함

섹션별 상세

AI 엔지니어들 사이에서 토큰 사용량이 새로운 지위의 상징이자 업무 성과의 척도로 변질되고 있다. Meta 직원들은 한 달간 60조 개의 토큰을 사용하며 '토큰 레전드' 같은 등급을 매기고, 엔비디아 CEO 젠슨 황은 엔지니어들이 토큰 예산을 다 쓰지 않는 것을 경계한다. 이러한 현상은 더 많은 토큰을 쓸수록 더 나은 결과가 나온다는 산업적 믿음에 기반하지만, 실상은 지표를 조작하기 쉬운 구조적 허점을 노출한다.

인간의 고등 사고는 언어망이 활성화되기 전 잠재 공간에서의 감각과 개념적 지형을 탐색하는 방식으로 이루어진다. 아인슈타인을 비롯한 위대한 과학자들은 사고 과정에서 단어가 거의 역할을 하지 않으며, 시각적·근육적 감각이 선행된 후 나중에 이를 언어로 번역한다고 증언했다. MIT의 뇌과학 연구 또한 언어 네트워크가 논리적 추론이나 프로그래밍 작업 시 활성화되지 않는다는 점을 밝혀내며 언어가 사고의 도구가 아닌 통신의 도구임을 입증했다.

현행 AI 모델은 사전 학습된 모델의 지능 부족을 메우기 위해 추론 시 강제로 텍스트를 생성하게 하는 '추론 시간 사고'라는 가설물에 의존한다. 이는 건물을 세우기 위한 비계(Scaffolding)와 같아서, 비계를 제거하면 모델의 지능이 붕괴되는 구조적 취약성을 가지고 있다. 기업들은 이 비계 자체가 건물의 핵심 요소인 것처럼 포장하고 있으나, 이는 결국 막대한 연산 비용과 비효율을 초래하는 임시방편에 불과하다.

얀 르쿤이 주도했던 Meta의 FAIR 랩은 토큰 예측 대신 개념과 의미를 예측하는 JEPA와 Coconut 같은 대안적 아키텍처를 연구해 왔다. JEPA는 픽셀이나 토큰을 나열하는 대신 잠재 공간에서의 추상적 표현을 예측함으로써 세계에 대한 진정한 이해를 목표로 한다. 하지만 Meta 경영진이 즉각적인 성과를 위해 안전하고 입증된 LLM 방식에 집중하면서 르쿤은 회사를 떠났고, 이는 과학적 탐구보다 경제적 이익을 우선시하는 업계의 단면을 보여준다.

Meta의 최신 모델 Muse Spark의 급격한 성능 향상 배경에는 Anthropic의 Claude 모델을 대량으로 호출하여 그 추론 과정을 추출(Distillation)한 정황이 의심된다. 'Claudeonomics'라는 내부 대시보드와 60조 토큰이라는 수치는 Meta가 자체 역량 구축 대신 타사 모델의 사고 패턴을 복제하는 데 집중했음을 시사한다. 이는 현재의 토큰 기반 사고 방식이 비효율적임에도 불구하고, 역설적으로 타사 지능을 훔쳐오기 위한 데이터 소스로서 기능하고 있음을 드러낸다.

Meta의 Muse Spark 모델과 타 모델 간의 성능 비교 차트 — ChartMeta가 출시한 Muse Spark 모델이 특정 벤치마크에서 급격한 성능 향상을 보였음을 시각화합니다. 저자는 이 급격한 상승의 원인이 자체 기술 혁신보다는 Claude 모델의 추론 데이터를 대량으로 학습한 결과일 수 있다는 의혹의 근거로 이 데이터를 활용합니다.

용어 해설

잠재 공간(Latent Space): — 데이터의 고차원적 특징이 압축되어 저장되는 다차원 공간이다. 모델이 텍스트라는 기호 대신 개념적 의미와 관계를 수치로 처리하는 영역이며, 인간의 비언어적 감각적 사고와 유사한 추상적 추론이 일어나는 핵심 장소이다.
추론 시간 사고(Inference-time Thinking): — 모델이 최종 답변을 내놓기 전 내부적으로 일련의 추론 과정을 거치는 기법이다. 주로 텍스트 토큰을 생성하며 논리적 단계를 밟는 방식으로 구현되나, 현재의 방식은 과도한 토큰 소모와 연산 비용을 초래한다는 비판을 받는다.
공동 임베딩 예측 아키텍처(JEPA): — 얀 르쿤이 제안한 비생성적 AI 아키텍처로, 픽셀이나 토큰을 직접 예측하는 대신 추상적인 의미 표현을 예측한다. 세계의 물리적 법칙이나 논리적 구조를 효율적으로 학습하여 진정한 기계 지능을 구현하려는 시도이다.
토큰 극대화(Tokenmaxxing): — AI 모델의 성능을 높이기 위해 추론 과정에서 가능한 한 많은 토큰을 생성하고 소비하도록 유도하는 행태를 일컫는 신조어이다. 기술적 효율성보다는 물량 투입을 통한 성능 개선에 치중하는 현재 업계의 경향성을 비판적으로 투영한다.

기술

Claude
JEPA
Coconut
Muse Spark
Llama 4

활용 사례

효율적인 추론 시스템 설계
타사 모델 지능 복제 및 증류
비언어적 세계 모델 구축

언급된 리소스

논문Coconut: Chain of Continuous Thought

문서Large Concept Models