f16
F16
F16은 각 값을 16비트 부동소수점으로 저장하는 형식입니다. KV 캐시에 적용하면 Q8_0보다 더 많은 메모리를 사용하지만, 원래 계산 결과에 가까운 정밀도를 유지해 출력 안정성과 장문 문맥 처리에 유리할 수 있습니다.
F16
F16은 각 값을 16비트 부동소수점으로 저장하는 형식입니다. KV 캐시에 적용하면 Q8_0보다 더 많은 메모리를 사용하지만, 원래 계산 결과에 가까운 정밀도를 유지해 출력 안정성과 장문 문맥 처리에 유리할 수 있습니다.