OpenMythos: 언어 모델의 깊이와 아키텍처에 대한 새로운 관점

실용적 조언

RAG 시스템 설계 시 단순 모델 크기보다 데이터의 구조적 복잡성과 사실 정보의 밀도를 구분하여 모델을 선택하라.
소비자용 GPU에서 대형 모델을 구동할 때 MoE 전문가 오프로딩 기법을 적극 활용하여 계산 효율을 높여라.

섹션별 상세

지식의 종류를 임의의 사실과 구조적 역량으로 구분해야 한다. 사실 정보는 섀넌 하한선에 의해 파라미터당 약 2비트의 저장 공간을 소모하지만, 수학이나 논리 같은 구조적 지능은 콜모고로프 복잡도가 매우 낮아 훨씬 적은 파라미터로도 구현 가능하다. 현재의 300B 모델은 파라미터의 70~90%를 사실 저장에 낭비하고 있으며, 지능을 담당하는 부분은 실제로는 매우 저렴하다는 점을 강조한다.

재귀적 깊이(Recurrent Depth)를 통해 가중치와 활성화를 동일한 역학적 객체의 다른 투영으로 취급한다. 모델은 루프 반복을 통해 고차원 활성화 공간에 구조적 궤적을 형성하며, 이는 체스 전문가가 판의 위치를 전략적 기하학으로 기억하는 것과 유사하게 작동한다. 입력 주입 항(B·e)과 LTI 제약 조건을 통해 시스템의 수렴성과 안정성을 확보함으로써 구조적 지식을 파라미터 효율적으로 저장할 수 있다.

text

h_{t+1} = A·h_t + B·e + Transformer(h_t, e)

재귀적 트랜스포머 구조에서 입력 주입(Input Injection)을 통해 시스템의 드리프트를 방지하고 안정성을 유지하는 수식

MoE와 재귀적 깊이는 서로 독립적이며 곱연산으로 시너지를 낸다. MoE는 사실 데이터베이스 저장 비용을 낮추고, 재귀적 깊이는 파라미터 추가 없이 계산 깊이를 확보하여 구조적 처리를 수행한다. 이를 통해 저장 용량, 단계별 계산량, 추론 깊이라는 세 가지 축을 독립적으로 조절할 수 있는 아키텍처가 가능해지며, 이는 하드웨어 제약 내에서 모델 성능을 극대화하는 핵심이 된다.

오토레그레시브(AR) 생성 방식은 정보 이론적으로 비효율적이며 확산(Diffusion) 모델로 대체되어야 한다. AR 방식은 모든 토큰 위치에 동일한 정밀도를 강요하지만, 확산 모델은 중요도에 따라 비트를 적응적으로 할당하고 생성 과정에서 이전 단계의 오류를 수정할 수 있는 비로컬(Non-local) 수정을 허용한다. 이는 재귀적 아키텍처의 루프 구조와 수학적으로 일치하며 추론 시 계산량을 유연하게 조절할 수 있는 기반이 된다.

용어 해설

콜모고로프 복잡도(Kolmogorov Complexity): — 어떤 데이터를 생성할 수 있는 가장 짧은 프로그램의 길이를 의미하며, 데이터의 압축 가능성과 구조적 복잡성을 측정하는 척도이다. 이 글에서는 사실 정보는 압축이 어렵지만 논리나 수학 같은 구조적 지능은 낮은 복잡도를 가져 적은 파라미터로도 구현 가능함을 설명하는 근거로 쓰인다.
재귀적 깊이(Recurrent Depth): — 동일한 레이어 블록을 여러 번 반복해서 통과시켜 모델의 계산 깊이를 확보하는 방식이다. 파라미터 수를 늘리지 않고도 복잡한 추론을 수행할 수 있게 하며, 본문에서는 이를 통해 구조적 지능의 효율성을 극대화할 수 있다고 주장한다.
이산 확산 모델(Discrete Diffusion): — 데이터에 노이즈를 추가했다가 이를 단계적으로 제거하며 생성하는 방식으로, 텍스트 생성에서 토큰을 한 번에 하나씩 확정하지 않고 전체 문맥을 동시에 정제한다. 오토레그레시브 방식의 한계를 극복하고 생성 과정에서 오류를 수정하거나 중요도에 따라 계산량을 조절할 수 있게 한다.
섀넌 하한선(Shannon Floor): — 정보 이론에서 데이터를 손실 없이 표현하기 위해 필요한 최소한의 비트 수를 의미한다. 모델 아키텍처가 아무리 뛰어나도 임의의 사실 정보(Trivia 등)를 저장하는 데에는 물리적인 파라미터 용량 한계가 존재함을 시사한다.

언급된 도구

vLLM추천

전문가 오프로딩 및 추론 서빙 엔진

DeepSeek-V3중립

MoE 아키텍처의 실제 구현 사례로 언급

Phi-3-mini추천

작은 파라미터로도 높은 구조적 성능을 낼 수 있음을 보여주는 사례

언급된 리소스

논문Allen-Zhu and Li (2024) - Physics of Language Models

논문Modern Hopfield Networks (Ramsauer et al., 2020)