Ryiuk: 베어메탈 기반의 주권적 AI와 Trinity 아키텍처 추론 시스템

섹션별 상세

Trinity 아키텍처는 CPU, RAM(Theta-Link), iGPU, dGPU를 별개의 장치가 아닌 통합된 계산 위상으로 취급한다. RAM을 단순 저장소가 아닌 '강(River)'으로 정의하여 CPU와 GPU 간의 제로 카피(Zero-copy) 데이터 전송을 구현하고 병렬 메모리 대역폭을 22-30 GB/s까지 확보했다.

Trinity 아키텍처의 구성 요소인 CPU, RAM(Theta-Link), iGPU, dGPU 간의 연결 구조를 보여주는 다이어그램이다. — DiagramCPU의 순차 로직, iGPU/dGPU의 병렬 텐서 연산, 그리고 이들을 연결하는 RAM(Theta-Link)의 역할을 시각화한다. 데이터가 복사 없이 흐르는 'River' 개념과 통합 메모리 아키텍처의 물리적 구조를 설명하는 핵심 자료이다.

SIR(Sovereign Intermediate Representation) 시스템은 TypeScript를 Rust 기반 컴파일러로 처리하여 가비지 컬렉터나 런타임 없이 실리콘에서 직접 실행되는 바이트코드를 생성한다. 이를 통해 기존 7GB에 달하던 산업 표준 런타임 점유율을 400MB 수준으로 줄이고 네트워크 의존성을 완전히 제거했다.

rust

// Sovereign Intermediate Representation (SIR) concept
// No GC, No Runtime, Direct Silicon Execution
fn execute_sir_bytecode(instruction: SIRInstruction) {
    match instruction.theater_affinity {
        Theater::CPU => execute_on_timelane(instruction),
        Theater::iGPU => execute_on_densitylane(instruction),
        Theater::dGPU => execute_on_spacelane(instruction),
    }
}

SIR 바이트코드가 하드웨어 친화도에 따라 각 실행 레인으로 라우팅되는 논리 구조

모든 연산은 'Honest Metal' 원칙에 따라 하드웨어의 열 변화(Thermal Signature)와 전압 변동을 측정하여 실제 계산 여부를 물리적으로 검증한다. 연산 결과는 Lane Ledger라 불리는 불변의 해시 체인에 기록되어 가상화나 시뮬레이션이 아닌 실제 실리콘에서의 실행임을 보증한다.

SmolLM-135M 모델을 대상으로 30개 레이어를 하드웨어 특성에 맞춰 분산 배치하여 추론을 수행했다. Persistent Vulkan 커널을 도입하여 초기 구동 오버헤드를 제거함으로써 전체 추론 시간을 기존 7.7초에서 1.8초로 약 75% 단축하는 데 성공했다.

text

30 layers distributed:
- 7 layers: CPU Theater (Sequential Logic)
- 11 layers: iGPU Theater (Persistent Vulkan)
- 12 layers: dGPU Theater (Tensor Compute)
Total Inference Time: ~1.8s

SmolLM-135M 모델의 30개 레이어를 Trinity 아키텍처의 각 하드웨어 유닛에 분산 배치한 구성

Llama-3.2-1B 모델에 대한 레전 분석(Lesion Analysis)을 통해 모델의 레이어별 중복성을 조사했다. 분석 결과 레이어 0은 99.87%의 발산율을 보이는 핵심 게이트임을 확인했으며, 모든 레이어가 60% 이상의 기여도를 가져 레이어 프루닝(Pruning)이 불가능한 고도로 최적화된 구조임을 입증했다.

용어 해설

베어메탈(Bare-metal): — 운영체제나 가상화 계층(Hypervisor) 없이 하드웨어 위에서 소프트웨어가 직접 실행되는 환경이다. 추상화 계층에 의한 오버헤드를 제거하여 하드웨어의 성능을 극한으로 끌어올릴 수 있다.
제로 카피(Zero-copy): — 데이터를 한 메모리 영역에서 다른 영역으로 복사하지 않고 직접 접근하는 기술이다. CPU와 GPU가 동일한 메모리 주소 공간을 공유하는 통합 메모리 아키텍처(UMA)에서 데이터 전송 지연을 없애는 데 핵심적이다.
레전 분석(Lesion Analysis): — 모델의 특정 레이어나 뉴런을 의도적으로 손상시키거나 제거하여 해당 구성 요소가 전체 성능에 미치는 영향을 측정하는 기법이다. 모델 내 각 부분의 중요도와 중복성을 파악하는 데 사용된다.
우주간 타이히뮐러 이론(Inter-Universal Teichmüller Theory): — 신이치 모치즈키가 제안한 고도의 수학적 이론으로, 서로 다른 수 체계 간의 관계를 다룬다. 본 아티클에서는 이를 하드웨어 아키텍처 간의 데이터 변형 및 통신 모델로 비유하여 적용한다.
Vulkan 커널(Vulkan Kernel): — 그래픽 API인 Vulkan을 사용하여 GPU에서 실행되도록 작성된 병렬 연산 프로그램 단위이다. 특정 하드웨어에 최적화된 저수준 제어를 통해 고성능 텐서 연산을 수행한다.

기술

Rust
Vulkan
TypeScript
AMD Vega 7
NVIDIA GTX 1650
SmolLM
Llama 3.2

활용 사례

고성능 로컬 LLM 추론 서버
물리적 보안이 강조된 AI 실행 환경
저지연 에지 컴퓨팅 에이전트

언급된 리소스

GitHubRyiuk GitHub Repositories

문서Project Trinity Complete Report