CGT (Currently Generating Token)
현재 생성 중인 토큰
CGT는 autoregressive 디코딩에서 모델이 다음에 생성하려는 위치의 토큰 쿼리를 의미한다. CGT는 이전 출력과 정적 컨텍스트를 기반으로 QKV 어텐션의 쿼리 벡터를 형성하며 각 디코딩 스텝에서 모달리티별 주의 분배를 산출하는 중심축이다. 본 논문에서는 CGT의 어텐션을 모아 이미지, 텍스트, 지시문, 이전 생성 토큰에 대한 토큰별 동역학을 분석하는 단위로 사용한다.
