3ksoft/Debil 프로젝트

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 LFM2.5를 살펴보며 WebGPU 기반 harness에서 World Model의 실행 구조를 실험하고, 신경망 에이전트와 CPU의 결정적 런타임을 Discrete Execution Boundary로 결합했다. semantic token 기반 canonical dense IR은 같은 token budget에서 controlled English와 ByteLevel BPE보다 compositional holdout 성능이 약 40점 높았고, 외부 scheduler가 local call을 반복하면 depth 16까지 100% 정확도에 도달했다. learned embedding은 unseen symbol의 식별과 lookup에 실패해 exact identity 채널이 필요했으며, compiler는 약 126K parameters, 전체 시스템 하한은 약 400K parameters였다. 작성자는 직교 학습 데이터가 shortcut을 막는 데 필요하다고 봤고, Natural Language 변환과 world builder는 아직 미완성 상태로 남겼다.

실용적 조언

계산과 persistent state를 LLM의 확률적 출력에 맡기지 않고 deterministic harness로 분리하면 신경망은 intent compiler와 competency 학습에 집중할 수 있다. 입력은 semantic token 기반의 canonical dense IR로 정규화하고, 실행 결과는 CPU 런타임에서 정확한 값과 상태 변경으로 반환한다. 글의 실험에서는 이 방식으로 property, motion, transfer 단계가 모든 seed에서 100%에 도달했다.
기호의 의미를 담는 learned embedding과 기호 자체를 구별하는 identity 채널을 같은 표현으로 처리하지 않는 편이 낫다. unseen symbol의 equality와 associative lookup이 필요하면 별도의 exact identifier 경로를 두고, quantity-pointer selection처럼 남은 실패 지점을 독립적으로 평가해야 한다. 학습 데이터에는 shortcut을 차단하는 직교적 변형을 포함해야 하며, 그렇지 않으면 표면 패턴에 의존한 성능이 실제 competency로 오인될 수 있다.

섹션별 상세

작성자는 World Models의 개념보다 실제 실행 구조를 구현하는 문제에 초점을 맞추고, 신경망 에이전트와 결정적 harness를 결합한 Discrete Execution Boundary를 설계했다. CPU에서 실행되는 harness 또는 oracle·ALU가 월드 상태를 보관하면서 정확한 이산 계산, 조회, 상태 변경을 맡고 모델은 competency 집합을 학습한다. 이 분리를 통해 LLM이 불안정하게 추정하기 쉬운 계산과 persistent state를 외부 런타임으로 넘길 수 있다는 점이 핵심이다.

20개 기본 competency를 학습시키려던 초기 계획에는 Object Identity, Object Categories, Counting, Quantity Comparison, Transfer, Temporal State Tracking, Simple Cause & Effect가 포함됐다. 작성자는 모델에 무작위 텍스트 조각을 입력하는 대신 의미 단위의 canonical dense IR을 사용하고, 그 표현을 실행 단계에 연결했다. 동일한 token budget에서 semantic token이 controlled English와 ByteLevel BPE보다 compositional holdout에서 약 40점 높은 성능을 냈으며, 비용 차이는 bit layout이나 BPE 자체보다 token locality에 집중됐다.

한 번의 forward pass에서 모델의 depth를 늘리는 방식만으로는 더 깊은 계산을 안정적으로 외삽하지 못했다. 대신 외부 scheduler가 여러 local call을 반복 실행하도록 구조를 바꾸자 depth 16까지 100% 정확도에 도달했다. 이는 깊은 추론을 단일 신경망 계산에 모두 넣기보다 작은 실행 단위를 결정적 제어 흐름으로 반복시키는 접근이 더 적합할 수 있음을 보여준다.

학습된 embedding을 기호 식별자로 사용하면 보지 못한 symbol에 대한 equality 판정과 associative lookup이 실패했다. 작성자는 의미 표현과 식별 기능을 분리하고, identity를 exact channel로 전달하는 설계를 사용했다. 이 변경 이후 property, motion, transfer 단계는 모든 seed에서 100%를 기록했지만 associative quantity-pointer selection에는 96.6–100%의 잔여 오차가 남았다.

학습되는 stack의 규모는 compiler가 약 126K parameters였고, 전체 시스템의 하한은 quantity pointer stages 때문에 약 400K parameters로 정해졌다. 모델이 world state 전체를 파라미터에 저장하지 않고 harness가 상태를 보관하면 작은 학습 모듈만으로도 여러 competency를 실행할 수 있었다. 다만 이 수치는 작성자의 실험 설정에 따른 결과이며, 일반적인 World Model의 최소 크기를 확정한 수치는 아니다.

학습 데이터가 서로 직교하지 않으면 모델이 목표 competency 대신 입력 형식의 우연한 패턴을 shortcut으로 활용했다. 따라서 표면적인 문장 순서나 기호 배열만으로 정답을 맞힐 수 없도록 독립적인 training data 구성이 필요했다. 작성자는 world builder와 Natural Language에서 DebIl로 변환하는 경로가 아직 기본 수준이라며, 향후에는 대형 LLM이 이를 tool로 호출하는 방식도 검토 대상으로 남겼다.

용어 해설

월드 모델(World Models): — 월드 모델은 환경의 상태와 변화를 내부적으로 표현해 행동 결과를 예측하는 AI 구조다. 이 글에서는 언어 모델이 모든 상태를 학습하는 대신 결정적 런타임에서 정확한 계산과 상태 변경을 수행하도록 분리하는 설계와 연결된다.
중간 표현(Intermediate Representation): — 중간 표현은 입력을 실행 가능한 구조로 바꾸기 위해 컴파일러가 사용하는 형식이다. 글의 DebIl은 자연어 문장보다 의미 단위가 조밀하게 배치된 canonical IR을 사용해 토큰의 지역성을 높이고 조합적 일반화에 필요한 학습량을 줄인다.
바이트 수준 BPE(ByteLevel BPE): — ByteLevel BPE는 텍스트를 바이트 단위로 처리한 뒤 반복되는 부분 문자열을 병합해 토큰을 만드는 방식이다. 글에서는 controlled English와 함께 사용한 기준 표현으로 등장하며 semantic token 기반 IR보다 조합적 holdout 성능이 약 40점 낮았다.
학습 임베딩(Learned Embeddings): — 학습 임베딩은 기호나 토큰을 연속적인 벡터로 바꾸어 신경망이 의미와 관계를 처리하게 하는 표현이다. 글의 실험에서는 보지 못한 기호의 동일성 판정과 연관 검색에 부적합했으며, 식별자는 별도의 정확한 채널로 분리해야 했다.
산술 논리 장치(ALU): — ALU는 덧셈·비교·논리 연산처럼 규칙이 명확한 계산을 수행하는 구성 요소다. 이 설계에서는 CPU에서 실행되는 deterministic harness가 ALU와 oracle 역할을 맡아 모델에 정확한 이산 계산과 조회 결과를 제공한다.
직교 학습 데이터(Orthogonal Training Data): — 직교 학습 데이터는 정답으로 가는 표면적 지름길이나 우연한 상관관계를 줄이도록 서로 독립적인 변형을 포함한 학습 자료다. 글에서는 이런 데이터가 없으면 모델이 능력 자체가 아니라 shortcut을 찾아 학습한다고 결론내렸다.

언급된 리소스

GitHub3ksoft/Debil