Post-Norm
포스트 노름
레이어의 연산이 끝난 직후에 정규화(Normalization)를 수행하는 아키텍처 구조이다. 은닉 상태의 수치적 크기가 발산하는 것을 막아 수치적 안정성을 제공하며, EAGLE 3.1에서 Attention Drift를 해결하는 핵심 기법으로 사용됐다.
포스트 노름
레이어의 연산이 끝난 직후에 정규화(Normalization)를 수행하는 아키텍처 구조이다. 은닉 상태의 수치적 크기가 발산하는 것을 막아 수치적 안정성을 제공하며, EAGLE 3.1에서 Attention Drift를 해결하는 핵심 기법으로 사용됐다.
