codebook-sparsity

이산 이미지 생성에서 코드북 크기가 커질수록 각 토큰이 학습 데이터에 등장하는 빈도가 낮아지는 현상이다. 이는 모델이 개별 토큰에 대해 충분한 학습 신호를 받지 못하게 하여 최적화를 어렵게 만드는 주요 원인이 된다.