더 똑똑하고 더 저렴하게 동시에: 바이트-정확 KV 상태 그래프트로 동결된 12B 모델을 인증된 지식 플라이휠로 전환

왜 중요한가

대형 모델의 성능 격차를 해소하려면 전통적으로 더 큰 모델을 훈련시키거나 더 많은 가속기를 도입해야 했는데, 이 논문은 가중치를 건드리지 않고도 동일 하드웨어에서 성능을 개선하고 비용을 절감할 수 있는 대안을 제시했다. 핵심은 한 번 검증된 지식을 KV 상태로 바이트-정확하게 저장하고 필요할 때 원위치에 복원함으로써 재계산을 완전 회피하는 것이며, 이로 인해 반복적 문제에 대한 토큰·에너지 비용이 수천 배 수준으로 떨어졌다. 이 접근은 컨텍스트 재사용과 추론 비용 구조를 근본적으로 바꾸는 경제적 대안임이 측정값으로 확인되었다.

핵심 기여

바이트-정확 단일 블록 그래프트의 최초 실증

동결된 모델의 KV 상태를 바이트-정확으로 직렬화해 동일 위치에 복원하면 복원된 로그잇 벡터의 원시 바이트가 SHA-256에서 일치하고 softmax 분포의 KL 발산이 0이며 argmax가 완전 일치함이 GPU와 CPU 환경에서 반복 실험으로 확인되었다. 이 보증은 결정론적 런타임 설정(GGML_DETERMINISTIC=1, CUBLAS_WORKSPACE_CONFIG=:4096:8) 아래에서 측정되었고, 복원 실패나 argmax 불일치는 보고되지 않았다. own-position 복원만이 수치적으로 완전 일치를 허용한다는 수치적 근거까지 함께 제시되었다.

검증-저장-그래프트(Galahad) 플라이휠 프로토콜의 도입과 측정

모델이 스스로 풀지 못하는 문제를 추가 추론으로 풀고 외부 검증기로 정답을 확인한 뒤 검증된 KV 상태를 영구 저장하는 간단한 루프를 제안하고 구현했다. 동일 문제의 반복(Recurrence)과 동일 구조의 변형(Transfer)을 구분해 각각의 성능·비용 이득을 실험적으로 분리해 측정했으며, 반복 케이스에서 저장된 해답을 정확히 읽어오는 비용 우위를 강하게 입증했다. 플라이휠은 검사에 합격한 항목만 저장하므로 저장소의 신뢰성이 보장된다.

추론 비용 및 컨텍스트 폭 확대의 계량적 증명

실측에서 11,994토큰의 콜드 프리필을 그래프트로 대체하면 토큰 재계산을 85.6배 절감했고 32,768토큰의 제공 윈도우를 2,854,766토큰으로 87배 확장했으나 가속기 메모리는 증가시키지 않았다. 반복 질의에 대해 8개 실패 문제를 저장한 뒤 재질의하면 총 61 디코드 토큰(평균 7.6/token·문제)으로 8문제를 모두 해결해 기존 베스트-오브-5 전략(401,026 토큰) 대비 6,574배 적은 토큰으로 동일 작업을 수행했다. 이 수치는 토큰·에너지·시간 절감의 구조적 원리를 계량적으로 뒷받침한다.

스케일업·이식성·운영 경계의 실험적 규정

12B와 31B 모델, 소비자용 Blackwell과 데이터센터 B200, 그리고 H100에서의 운용을 포함해 다양한 아키텍처에서 실험을 수행했고 own-position 바이트-정확성은 동일 아키텍처 내에서 재현됨을 보였다. 위치 재배치(reposition)와 블록 병합(stitching) 등 조합적 시도는 32비트 부동소수점의 위치 민감성 때문에 바이트-정확을 깨는 경계로 규정되었고, 이는 논문이 주장 가능한 운영점을 엄격히 제한하는 근거가 되었다. 라우터의 오탐 가능성, 디스크 페이징 비용, 그리고 캐시가 모델 성능을 저해할 수 있는 경우 등 운영상 한계도 정직하게 계량해 공개했다.

핵심 아이디어 이해하기

문제 출발점은 추론 스택이 프롬프트를 읽을 때 내부적으로 계산하는 KV 상태가 입력·가중치·수치 연산에 결정론적으로 의존하는 중간 표현이라는 점이다. 이 상태가 완전 무손실로 포착되어 디스크에 저장되고 동일한 위치에 복원될 수 있다면, 한 번 계산한 지식을 매번 재계산할 필요가 사라져 비용과 지연을 동시에 줄일 수 있다. 또한 모델의 가중치를 변경하지 않고도 새로운 지식을 영구적으로 추가할 수 있는 길이 열린다.

방법론

논문은 엔진 내부 구현의 상세를 공개하지 않고 입력-출력 계약과 검증 절차, 측정 방법론을 명확히 약속했다. 바이트-정확성은 복원된 로그잇 벡터의 원시 바이트에 대한 SHA-256 해시 비교로 직접 측정되며, 이와 함께 softmax 분포의 KL 발산과 argmax 일치도 보조 통계로 보고되었다. 실험은 결정론적 구성 하에서 fresh 계산과 graft 계산을 같은 빌드·환경에서 반복 실행해 self-comparison floor와 비교하는 방식으로 구성되었고, 이 프로토콜은 각 결과에 대해 사용된 런타임·컴파일·환경 설정을 해시로 기록해 감사 가능하게 유지했다.

주요 결과

바이트-정확성의 핵심 결과는 동일 위치 복원(own-position graft)에서 복원된 로그잇의 바이트가 fresh 계산과 SHA-256 해시 수준에서 일치하고, 50회 샘플에서 KL=0과 100% argmax 일치가 관찰된다는 것이다. 위치를 옮겨 복원하는 실험은 바이트-정확을 깨는 잔여 KL 약 0.014~0.015을 보였으며, 동일한 크기의 fresh 계산 간에도 같은 수준의 차이가 나타나 이 잔여가 그래프트 오차가 아니라 모델의 위치 민감성임이 입증되었다. 추론 비용 측면에서 콜드 11,994토큰 프리필은 1,547.3 ms였지만 그래프트로 대체하면 18.1 ms가 되어 약 85.6배의 가속이 관측되었고, AIME 2025에서 동결된 Gemma‑4‑12B의 시스템 구성이 검증된 라이브러리 그래프트로 80.0%에서 93.3%로 상승하는 등 정확도 증가와 비용 절감이 동시에 계량적으로 확인되었다.

기술 상세

전체 아키텍처는 입력 토큰을 처리해 생성되는 KV 상태 블록을 파일로 저장하고, 요청 시 해당 블록을 라우터가 선택해 동일 아키텍처·동일 런타임 구성에서 원래 캡처된 절대 위치에 복원하는 방식으로 동작한다. 복원은 복원 지점의 live context를 [0,N)으로 고정하고 그 위에 추가 토큰을 fresh로 계산하게 하여 위치 일관성을 보장한다. 저장 블록의 크기와 파일 형식은 서비스의 슬롯 기하(serve slot geometry)와 KV 캐시의 양자화 설정에 따라 달라지며, 논문은 특정 설정에서의 블록 바이트 크기와 디스크 사용량을 보고했다.

한계점

논문에 명시된 한계는 명확하다. 바이트-정확성은 동일 아키텍처와 결정론적 런타임 설정 내에서만 보장되며 아키텍처 간 원시 바이트 일치는 보장되지 않는다. 회전 위치 임베딩을 사용하는 모델에서는 own-position 복원만이 바이트-정확을 제공하고 절대 위치를 옮겨 복원하거나 독립적으로 캡처한 블록을 단순 병합하면 수치적 잔여가 발생한다. 또한 저장된 절차가 모델이 이미 알고 있는 더 나은 방법을 강제할 경우 정확도를 떨어뜨릴 수 있고, 라우터와 복원 사이에 신뢰성 있는 confidence gate가 없으면 드물게 잘못된 블록이 그대로 답안으로 반환될 위험이 존재한다.

실무 활용

실무적으로 바이트-정확 KV 블록을 구축하면 반복 발생하는 고비용 문제에 대해 '한 번 풀고 영원히 읽는' 전략을 적용할 수 있어 운영 추론 비용을 획기적으로 낮출 수 있다. 컨텍스트 확장 관점에서 디스크에 저장된 블록을 라우팅해 복원하면 가속기 메모리를 추가하지 않고도 수십만~수백만 토큰 수준의 유효 컨텍스트를 지원할 수 있다. 다만 바이트-정확성은 동일 아키텍처와 결정론적 구성 내에서 보장되므로 배포 설계 시 아키텍처·런타임의 일관성이 요구된다.

질문응답 서비스에서 고비용으로 반복되는 난해한 쿼리를 한 번 검증해 KV 블록으로 저장하고 이후 동일 질문에 대해 즉시 검증된 답안을 반환하는 캐시 계층으로 활용할 수 있다.
수학 및 알고리즘 형식 문제처럼 검증 가능한 해법을 외부 검사기로 검증한 뒤 메서드와 해답을 블록으로 저장하여 반복 또는 유사 인스턴스에 대해 적은 토큰으로 정상 해법을 재현하도록 운영할 수 있다.
에이전트 스킬이나 도메인별 장문의 참조 문서(예: 규정·매뉴얼)를 KV 상태로 직렬화해 신속히 복원하면 가속기 메모리를 쓰지 않고도 에이전트에게 긴 참조 컨텍스트를 제공하는 데 활용할 수 있다.

코드 공개 여부: 미확인

키워드

KV Cache(키-값 캐시)Byte-Exact Graft(바이트-정확 그래프트)Rotary Position Embedding(회전 위치 임베딩)Recurrence(재현성 기반 복원)Transfer(저장된 메서드의 일반화)Inference Cost(추론 비용)

용어 해설

키-값 캐시(KV Cache): — 모델이 토큰을 처리하면서 생성하는 키(key)와 값(value) 쌍의 내부 상태로서, 다음 토큰 예측을 위해 attention 계산에서 재사용되는 중간 표현이다. 이 논문에서는 이 상태를 바이트 수준으로 직렬화해 디스크에 저장하고 나중에 동일한 위치에 복원하면 재계산 없이 동일한 로그잇과 확률분포가 재현된다는 점이 핵심이다. KV 캐시는 컨텍스트 재사용과 지연·에너지 절감의 핵심 자산으로 취급된다.
바이트-정확 그래프트(Byte-Exact Graft): — 직렬화된 KV 상태 블록을 원래 캡처된 절대 위치에 그대로 복원하여 복원된 로그잇 벡터의 원시 바이트가 새로 계산한 로그잇의 바이트와 SHA-256으로 일치하는 운영점이다. 바이트-정확성은 softmax 분포의 Kullback-Leibler 발산이 0이고 argmax가 완전 일치함을 보장하므로, 복원된 상태가 수치적으로 원래 계산과 구별 불가능하다는 강한 보증을 제공한다. 이 보증은 동일 아키텍처와 고정된 결정론적 런타임 설정 내에서만 성립함이 논문에서 확인되었다.
회전 위치 임베딩(Rotary Position Embedding): — 토큰의 절대 위치를 주파수 기반의 회전(삼각함수 변환)으로 표현하여 attention 내의 상대적 위치 정보를 암호화하는 방식이다. 32비트 부동소수점 연산에서 동일한 상대 위치라도 다른 절대 각도로 표현되면 반올림 오차 때문에 bit-exact성이 깨질 수 있으며, 논문은 이 현상이 own-position에서만 바이트-정확성이 보장되는 이유임을 수치적으로 입증했다. 따라서 위치 재배치(reposition)는 바이트 단위 일치를 유지하지 못하는 고유한 한계로 작동한다.

더 똑똑하고 더 저렴하게 동시에: 바이트-정확 KV 상태 그래프트로 동결된 12B 모델을 인증된 지식 플라이휠로 전환

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

무작위 선택으로 KV 캐시 축출 비용 줄이기

LLM 최적화를 위한 양자화 및 가지치기 기법 가이드.

Declarative Attention으로 KV 캐시 읽기 줄이기

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

무작위 선택으로 KV 캐시 축출 비용 줄이기

LLM 최적화를 위한 양자화 및 가지치기 기법 가이드.

Declarative Attention으로 KV 캐시 읽기 줄이기