pre-norm-decoder-stack
프리-노름 디코더 스택
프리-노름 디코더 스택은 각 서브레이어에 LayerNorm을 적용한 후 잔차 연결을 더하는 구조로, 깊은 트랜스포머에서 학습 안정성이 향상된다. 이 구조는 디코더 블록을 쌓아 causal self-attention과 MLP를 결합하는 GPT 스타일 모델 구현에 쓰인다. 학습 중 그래디언트 흐름과 수렴 거동에 영향을 미치므로 설계 선택이 중요하다.
중급
프리-노름 디코더 스택
프리-노름 디코더 스택은 각 서브레이어에 LayerNorm을 적용한 후 잔차 연결을 더하는 구조로, 깊은 트랜스포머에서 학습 안정성이 향상된다. 이 구조는 디코더 블록을 쌓아 causal self-attention과 MLP를 결합하는 GPT 스타일 모델 구현에 쓰인다. 학습 중 그래디언트 흐름과 수렴 거동에 영향을 미치므로 설계 선택이 중요하다.
