MAXIS Loss와 RandNLA Attention: 대규모 어휘 및 긴 문맥 최적화를 위한 새로운 접근법

작성자의 혁신적인 접근 방식에 대해 긍정적인 반응이 있으며, 특히 제한된 자원에서의 최적화 성과에 주목하고 있다.

• 어휘 크기가 매우 큰 모델을 학습할 때 메모리 부족 문제가 발생한다면 전체 소프트맥스 대신 MAXIS Loss와 같은 확률적 추정 기법 도입을 고려하라.
• 긴 문맥 처리가 필요한 프로젝트에서 어텐션 병목이 발생할 경우, 모든 토큰을 유지하는 대신 중요도에 따라 압축하는 이중 경로 어텐션이 대안이 될 수 있다.

교차 엔트로피(Cross-Entropy)

— 모델의 예측 확률 분포와 실제 정답 분포 사이의 차이를 계산하는 손실 함수이다. 딥러닝 학습의 표준이지만, 어휘 수가 수십만 개에 달하는 대규모 언어 모델에서는 모든 토큰에 대한 로그 합을 계산해야 하므로 연산량과 메모리 부하가 매우 커지는 문제가 발생한다.

KV 캐시(KV Cache)

— 트랜스포머 모델이 텍스트를 생성할 때, 이전에 계산했던 토큰들의 Key와 Value 행렬을 메모리에 저장해두는 기술이다. 매 단계마다 처음부터 다시 계산하는 낭비를 줄여주지만, 문맥 길이가 길어질수록 저장해야 할 데이터 양이 기하급수적으로 늘어나 메모리 부족의 원인이 된다.

소프트맥스(Softmax)

— 입력받은 수치들을 0과 1 사이의 확률값으로 변환하며 전체 합이 1이 되도록 만드는 함수이다. 모델이 다음 토큰을 예측할 때 사용되는데, 어휘 사전의 모든 단어에 대해 이 계산을 수행하면 대규모 어휘 환경에서는 학습 및 추론 속도를 저하시키는 주요 병목 지점이 된다.

크로네커 스케칭(Kronecker Sketching)

— 행렬의 크기를 획기적으로 줄이면서도 원래 행렬이 가진 중요한 구조적 특징을 보존하는 무작위 선형 대수 기법이다. 어텐션 메커니즘에서 과거의 방대한 문맥 정보를 압축하여 저장함으로써, 메모리 사용량을 줄이고 계산 복잡도를 낮추어 긴 문맥 처리를 효율적으로 만든다.

그룹 쿼리 어텐션(GQA)

— 여러 개의 쿼리 헤드가 하나의 키-값 헤드 쌍을 공유하도록 설계된 어텐션 구조이다. 기존의 멀티 헤드 어텐션보다 메모리 사용량과 대역폭 요구 사항을 줄이면서도 성능 저하를 최소화하여, 특히 긴 문맥을 처리하는 최신 대규모 언어 모델에서 효율성을 높이기 위해 널리 사용된다.