프리노름 디코더
Transformer 계열에서 각 블록의 연산(예: self-attention, MLP) 앞에 LayerNorm을 적용하는 구조로서, 학습 안정성과 깊은 네트워크에서의 수렴 성능을 개선하는 방식이다. 프리노름 구조는 잔차 연결과 결합했을 때 그래디언트 흐름을 더 안정적으로 만들며 특히 깊은 디코더 스택에서 이점이 확인된다. TensorLib의 GPT 스타일 구현은 이러한 pre-norm 디코더 스택을 C 기반 모듈로 구현하고 있다.
