transformer-decoder

Transformer 디코더는 자기회귀적 토큰 생성을 위해 causal attention과 feed-forward 블록을 사용하는 구조이다. 입력 임베딩을 순차적으로 처리하면서 이전 토큰에 대한 컨텍스트를 반영해 다음 토큰 확률을 출력한다. 텍스트 생성 모델과 통합 생성 파이프라인에서 디코더 단일화는 멀티모달 토큰을 동일한 생성 루트로 결합하는 핵심 수단이다.