gist-token
Gist Token
긴 프롬프트의 여러 토큰을 대신하도록 모델 어휘에 추가한 특수 토큰입니다. Gisting은 prompt token 일부를 gist token으로 치환한 뒤, 전체 프롬프트를 읽은 교사와 압축 토큰을 읽은 학생의 예측 분포가 가까워지도록 해당 토큰의 임베딩만 학습합니다. 추론 단계에서는 짧은 토큰열이 긴 system prompt 역할을 맡습니다.
Gist Token
긴 프롬프트의 여러 토큰을 대신하도록 모델 어휘에 추가한 특수 토큰입니다. Gisting은 prompt token 일부를 gist token으로 치환한 뒤, 전체 프롬프트를 읽은 교사와 압축 토큰을 읽은 학생의 예측 분포가 가까워지도록 해당 토큰의 임베딩만 학습합니다. 추론 단계에서는 짧은 토큰열이 긴 system prompt 역할을 맡습니다.
