TL;DR

colibrì는 744B 파라미터 MoE 모델이 토큰당 약 40B만 활성화하고 그중 실제로 바뀌는 라우팅된 전문가는 11GB 정도라는 사실에서 출발해, 밀집 부분(약 17B, ~9.9GB)은 int4로 RAM에 상주시키고 19,456개 라우팅 전문가(약 370GB)는 디스크에 두고 필요할 때만 스트리밍한다. 측정된 라우팅 열기(routing heat)가 레이어별 LRU 캐시와 학습된 고정 핫스토어, 한 레이어 앞선 프리페치를 구동해 컴파일러의 JIT처럼 '실제로 쓰이는 것만 미리 준비'하는 방식으로 동작하고, 라우팅이 한 레이어 앞서 71.6% 예측 가능하다는 실측치가 이 설계의 근거다. 모든 최적화를 '증거가 나오기 전까지는 가설'로 취급해 회귀 테스트로 검증하고, 부족한 빠른 메모리는 속도만 낮출 뿐 모델의 정밀도나 라우터 의미론을 절대 조용히 바꾸지 않는다는 원칙을 강경하게 지킨다. GLM-5.2·Kimi K3 같은 초대형 오픈웨이트 모델을 데이터센터 없이 자기 하드웨어에서 직접 붙잡고 관찰·측정·개선하려는 추론 시스템 연구자나 얼리어답터에게 맞는다.

핵심 포인트

• 밀집 부분 약 17B만 int4로 RAM(9.9GB)에 두고 19,456개 라우팅 전문가는 디스크에서 필요할 때만 스트리밍한다.
• 모든 최적화 주장을 '가설-증거-필요한 실험'표로 공개해 관리하며, 부정적 결과도 함께 공유하도록 커뮤니티에 요청하는 드문 연구 운영 방식을 취한다.
• 듀얼 SSD 스트라이핑으로 두 드라이브 대역폭을 합쳐 전문가 읽기가 빠른 드라이브 하나보다 약 33% 빠르다.
• MTP 헤드가 int4면 드래프트 수락률이 0~4%로 붕괴한다는 실측 때문에 int8을 기본값으로 강제한다.

벤치마크