encoder-decoder-transformer

인코더-디코더 Transformer는 입력 시퀀스를 인코딩한 뒤 디코더가 번역문을 생성하는 구조로, 어텐션 메커니즘을 통해 길이 불변의 문맥 표현을 캡처한다. 본 프로젝트는 약 15.6M 파라미터의 이 구조를 처음부터 학습시키되 모로칸 다리자 데이터로 전이학습을 수행한 뒤 튜니지아 소규모 쌍문장으로 파인튜닝했다. 저자원 MT에서 아키텍처 선택과 전이학습 과정이 성능에 직접적 영향을 미친다는 점이 강조되었다.