q4_0
q4_0 양자화
4비트 양자화 스킴 가운데 하나로서 메모리 절감을 크게 허용하지만 작은 모델에서 특정 컨텍스트 길이 이상일 때 퍼플렉서티가 악화되는 역전 현상이 관찰된 형식이다. 실험 결과에서는 2K 토큰에서 최저점을 찍고 이후 컨텍스트를 늘리면 퍼플렉서티가 크게 상승하는 특이한 거동을 보였다. 따라서 긴 문맥을 보유하기 위한 압축 목적으로는 검증이 필요하다.
q4_0 양자화
4비트 양자화 스킴 가운데 하나로서 메모리 절감을 크게 허용하지만 작은 모델에서 특정 컨텍스트 길이 이상일 때 퍼플렉서티가 악화되는 역전 현상이 관찰된 형식이다. 실험 결과에서는 2K 토큰에서 최저점을 찍고 이후 컨텍스트를 늘리면 퍼플렉서티가 크게 상승하는 특이한 거동을 보였다. 따라서 긴 문맥을 보유하기 위한 압축 목적으로는 검증이 필요하다.
