더 똑똑하고 더 저렴하게 동시에: 바이트-정확 KV 상태 그래프트로 동결된 12B 모델을 인증된 지식 플라이휠로 전환

대형 모델의 성능 격차를 해소하려면 전통적으로 더 큰 모델을 훈련시키거나 더 많은 가속기를 도입해야 했는데, 이 논문은 가중치를 건드리지 않고도 동일 하드웨어에서 성능을 개선하고 비용을 절감할 수 있는 대안을 제시했다. 핵심은 한 번 검증된 지식을 KV 상태로 바이트-정확하게 저장하고 필요할 때 원위치에 복원함으로써 재계산을 완전 회피하는 것이며, 이로 인해 반복적 문제에 대한 토큰·에너지 비용이 수천 배 수준으로 떨어졌다. 이 접근은 컨텍스트 재사용과 추론 비용 구조를 근본적으로 바꾸는 경제적 대안임이 측정값으로 확인되었다.

문제 출발점은 추론 스택이 프롬프트를 읽을 때 내부적으로 계산하는 KV 상태가 입력·가중치·수치 연산에 결정론적으로 의존하는 중간 표현이라는 점이다. 이 상태가 완전 무손실로 포착되어 디스크에 저장되고 동일한 위치에 복원될 수 있다면, 한 번 계산한 지식을 매번 재계산할 필요가 사라져 비용과 지연을 동시에 줄일 수 있다. 또한 모델의 가중치를 변경하지 않고도 새로운 지식을 영구적으로 추가할 수 있는 길이 열린다.

논문은 엔진 내부 구현의 상세를 공개하지 않고 입력-출력 계약과 검증 절차, 측정 방법론을 명확히 약속했다. 바이트-정확성은 복원된 로그잇 벡터의 원시 바이트에 대한 SHA-256 해시 비교로 직접 측정되며, 이와 함께 softmax 분포의 KL 발산과 argmax 일치도 보조 통계로 보고되었다. 실험은 결정론적 구성 하에서 fresh 계산과 graft 계산을 같은 빌드·환경에서 반복 실행해 self-comparison floor와 비교하는 방식으로 구성되었고, 이 프로토콜은 각 결과에 대해 사용된 런타임·컴파일·환경 설정을 해시로 기록해 감사 가능하게 유지했다.

바이트-정확성의 핵심 결과는 동일 위치 복원(own-position graft)에서 복원된 로그잇의 바이트가 fresh 계산과 SHA-256 해시 수준에서 일치하고, 50회 샘플에서 KL=0과 100% argmax 일치가 관찰된다는 것이다. 위치를 옮겨 복원하는 실험은 바이트-정확을 깨는 잔여 KL 약 0.014~0.015을 보였으며, 동일한 크기의 fresh 계산 간에도 같은 수준의 차이가 나타나 이 잔여가 그래프트 오차가 아니라 모델의 위치 민감성임이 입증되었다. 추론 비용 측면에서 콜드 11,994토큰 프리필은 1,547.3 ms였지만 그래프트로 대체하면 18.1 ms가 되어 약 85.6배의 가속이 관측되었고, AIME 2025에서 동결된 Gemma‑4‑12B의 시스템 구성이 검증된 라이브러리 그래프트로 80.0%에서 93.3%로 상승하는 등 정확도 증가와 비용 절감이 동시에 계량적으로 확인되었다.

전체 아키텍처는 입력 토큰을 처리해 생성되는 KV 상태 블록을 파일로 저장하고, 요청 시 해당 블록을 라우터가 선택해 동일 아키텍처·동일 런타임 구성에서 원래 캡처된 절대 위치에 복원하는 방식으로 동작한다. 복원은 복원 지점의 live context를 [0,N)으로 고정하고 그 위에 추가 토큰을 fresh로 계산하게 하여 위치 일관성을 보장한다. 저장 블록의 크기와 파일 형식은 서비스의 슬롯 기하(serve slot geometry)와 KV 캐시의 양자화 설정에 따라 달라지며, 논문은 특정 설정에서의 블록 바이트 크기와 디스크 사용량을 보고했다.

논문에 명시된 한계는 명확하다. 바이트-정확성은 동일 아키텍처와 결정론적 런타임 설정 내에서만 보장되며 아키텍처 간 원시 바이트 일치는 보장되지 않는다. 회전 위치 임베딩을 사용하는 모델에서는 own-position 복원만이 바이트-정확을 제공하고 절대 위치를 옮겨 복원하거나 독립적으로 캡처한 블록을 단순 병합하면 수치적 잔여가 발생한다. 또한 저장된 절차가 모델이 이미 알고 있는 더 나은 방법을 강제할 경우 정확도를 떨어뜨릴 수 있고, 라우터와 복원 사이에 신뢰성 있는 confidence gate가 없으면 드물게 잘못된 블록이 그대로 답안으로 반환될 위험이 존재한다.