Vanilla Transformer
바닐라 트랜스포머
최신 최적화 기법인 GQA, RoPE, SwiGLU 등을 배제하고 표준 어텐션과 ReLU 활성화 함수만을 사용하는 가장 기본적인 형태의 트랜스포머 구조이다. 모델의 작동 원리를 가장 명확하게 보여주어 교육용 및 기초 연구용으로 적합하다.
바닐라 트랜스포머
최신 최적화 기법인 GQA, RoPE, SwiGLU 등을 배제하고 표준 어텐션과 ReLU 활성화 함수만을 사용하는 가장 기본적인 형태의 트랜스포머 구조이다. 모델의 작동 원리를 가장 명확하게 보여주어 교육용 및 기초 연구용으로 적합하다.
