본문으로 건너뛰기

gist-compression

Gist 토큰 압축

긴 정적 시스템 프롬프트를 teacher의 출력 분포를 모사하는 소수의 학습된 임베딩 토큰으로 대체하는 방식으로, student가 짧은 시퀀스로 동작을 재현하게 하여 추론 지연과 비용을 줄인다.