logits-bottleneck

최종 LM 헤드가 만들어내는 [batch, sequence, vocab] 형태의 로짓 텐서는 토큰 수와 어휘 크기에 비례해 메모리를 급증시킨다. 긴 컨텍스트와 대형 vocab에서는 수백 GiB로 도달해 GPU 메모리를 지배할 수 있다.