decoder-only-transformer
디코더 전용 Transformer
디코더 전용 Transformer는 입력 시퀀스의 좌측부터 차례로 토큰을 예측하도록 설계된 Transformer 아키텍처이다. 이 구조에서는 causal mask로 미래 토큰을 가리며 self-attention 연산이 이전 토큰 정보만 활용하도록 처리된다. 작은 모델 실험에서 토큰별 확률 분포와 내부 가중치가 어떻게 연관되는지 관찰하기에 적합함이 확인됐다.
디코더 전용 Transformer
디코더 전용 Transformer는 입력 시퀀스의 좌측부터 차례로 토큰을 예측하도록 설계된 Transformer 아키텍처이다. 이 구조에서는 causal mask로 미래 토큰을 가리며 self-attention 연산이 이전 토큰 정보만 활용하도록 처리된다. 작은 모델 실험에서 토큰별 확률 분포와 내부 가중치가 어떻게 연관되는지 관찰하기에 적합함이 확인됐다.
