OpenMythos: 언어 모델의 깊이와 아키텍처에 대한 새로운 관점

이론적 깊이가 상당한 포지션 페이퍼로, 기존 스케일링 법칙에 의문을 제기하는 사용자들 사이에서 높은 관심을 받고 있다.

• RAG 시스템 설계 시 단순 모델 크기보다 데이터의 구조적 복잡성과 사실 정보의 밀도를 구분하여 모델을 선택하라.
• 소비자용 GPU에서 대형 모델을 구동할 때 MoE 전문가 오프로딩 기법을 적극 활용하여 계산 효율을 높여라.

Kolmogorov Complexity

— 어떤 데이터를 생성할 수 있는 가장 짧은 프로그램의 길이를 의미하며, 데이터의 압축 가능성과 구조적 복잡성을 측정하는 척도이다. 이 글에서는 사실 정보는 압축이 어렵지만 논리나 수학 같은 구조적 지능은 낮은 복잡도를 가져 적은 파라미터로도 구현 가능함을 설명하는 근거로 쓰인다.

Recurrent Depth

— 동일한 레이어 블록을 여러 번 반복해서 통과시켜 모델의 계산 깊이를 확보하는 방식이다. 파라미터 수를 늘리지 않고도 복잡한 추론을 수행할 수 있게 하며, 본문에서는 이를 통해 구조적 지능의 효율성을 극대화할 수 있다고 주장한다.

Discrete Diffusion

— 데이터에 노이즈를 추가했다가 이를 단계적으로 제거하며 생성하는 방식으로, 텍스트 생성에서 토큰을 한 번에 하나씩 확정하지 않고 전체 문맥을 동시에 정제한다. 오토레그레시브 방식의 한계를 극복하고 생성 과정에서 오류를 수정하거나 중요도에 따라 계산량을 조절할 수 있게 한다.

Shannon Floor

— 정보 이론에서 데이터를 손실 없이 표현하기 위해 필요한 최소한의 비트 수를 의미한다. 모델 아키텍처가 아무리 뛰어나도 임의의 사실 정보(Trivia 등)를 저장하는 데에는 물리적인 파라미터 용량 한계가 존재함을 시사한다.