곱셈 격자: 위치 인코딩을 위한 자연스러운 산술적 기저

매우 전문적이고 수학적인 접근에 대해 긍정적인 반응이며, 특히 KV 캐시 압축 결과에 대한 실무적 관심이 높다.

• Llama 3.2 1B 모델 등에 소수 주파수 블렌딩(alpha 0.15-0.20)을 적용하면 재학습 없이도 PPL 개선이 가능하다.
• KV 캐시 압축 시 K 벡터에는 Walsh-Hadamard 변환 후 대역별 차등 비트 할당(5/5/4/3)을, V 벡터에는 평탄한 3비트 양자화를 적용하는 것이 최적이다.
• 압축 시 head_dim 전체를 변환 단위로 설정해야 하며, 일부만 샘플링할 경우 품질이 급격히 저하되므로 주의해야 한다.

Multiplicative Lattice

— 정수를 소인수분해를 통해 고유한 좌표로 정의하는 수학적 구조이다. 모든 정수는 소수라는 기저 벡터들의 조합으로 표현되며, 이를 통해 숫자 간의 산술적 관계(공약수, 조화 공명 등)를 인코딩할 수 있다. 위치 인코딩에서 단순 거리가 아닌 수의 내재적 구조를 반영하는 핵심 개념이다.

Walsh-Hadamard Transform

— 신호를 상호 직교하는 Walsh 함수들의 합으로 변환하는 이산 직교 변환 기법이다. 본문에서는 KV 캐시의 K 벡터가 가진 스펙트럼 집중도를 분석하고 압축하기 위한 도구로 사용된다. RoPE가 적용된 벡터의 구조적 특징을 추출하여 효율적인 비트 할당을 가능하게 한다.

Zeta Zeros

— 리만 제타 함수가 0이 되는 지점들로, 소수의 분포와 밀접한 관련이 있는 수학적 대상이다. 본문에서는 언어의 통계적 특성(Zipf 법칙)이 제타 함수와 연결되어 있으며, 제타 제로의 구조를 학습하는 능력이 위치 인코딩의 효율성을 측정하는 척도로 활용된다.

KV Cache Compression

— Transformer 모델의 추론 과정에서 생성된 Key와 Value 벡터들을 저장하는 메모리 공간을 줄이는 기술이다. 본문에서는 K 벡터의 위치 정보 구조와 V 벡터의 내용 정보 구조가 다르다는 점을 이용해 대역별 양자화(Banded Quantization)를 적용하여 압축 효율을 극대화했다.