q8_0
q8_0 양자화
8비트 비대칭 양자화 스킴으로서 KV 캐시용으로 사용될 때 원래 f16 대비 비교적 작은 오차를 보이며 컨텍스트 확장에 대해 안정적인 퍼플렉서티 변화를 보이는 것으로 관측된 형식이다. 실험에서는 q8_0이 전 구간에서 f16과 유사한 경향을 보여 긴 문맥을 유지하려는 목적에 적합한 균형점을 제공했다. 하드웨어별 성능과 블록 수는 구현체에 따라 달라진다.
q8_0 양자화
8비트 비대칭 양자화 스킴으로서 KV 캐시용으로 사용될 때 원래 f16 대비 비교적 작은 오차를 보이며 컨텍스트 확장에 대해 안정적인 퍼플렉서티 변화를 보이는 것으로 관측된 형식이다. 실험에서는 q8_0이 전 구간에서 f16과 유사한 경향을 보여 긴 문맥을 유지하려는 목적에 적합한 균형점을 제공했다. 하드웨어별 성능과 블록 수는 구현체에 따라 달라진다.
