튜니지아 다리자(Darija) 영어 번역용 오픈 파이프라인과 병렬 코퍼스 공개

게시물은 프로젝트의 실용성과 정직한 성능 보고 때문에 긍정적으로 수용될 가능성이 높다. 초기 성능 수치와 소규모 코퍼스에 관한 명시로 기술 검증 요청이 명확해 커뮤니티가 구체적 피드백을 제공하기 쉬운 환경이 형성되었다. 또한 윤리적 수집과 기여 검토 계획이 공개되어 데이터 기여와 협업 제안이 실제로 이어질 여지가 크다.

• 토크나이저 설계 시 Arabizi의 숫자 표기를 보호 토큰으로 처리하면 변이 표기가 인덱스 혼잡으로 이어지는 문제를 완화할 수 있다. SentencePiece BPE로 16k 어휘를 구성해 보호 기호를 사용하면 희귀 표기의 서브워드 분할이 안정되며 이후 모델 입력 단계에서 정규화 부담을 줄일 수 있다. 추가로 데이터가 늘어날 때는 보호 기호 목록을 검토해 자주 등장하는 변형을 병합하는 작업을 병행해야 한다.
• 소규모 병렬 데이터에서는 모로칸 다리자 같은 유사 언어로 전이학습을 적용하면 초기 가중치가 안정되어 파인튜닝 수렴에 도움이 된다. 전이학습을 적용할 때는 출처와 언어적 근접성을 문서화하여 파인튜닝 과정에서 발생할 수 있는 편향을 추적해야 한다. 평가 시에는 BLEU 단일값에만 의존하지 말고 사례별 오류 분석을 통해 오탈자·어휘 선택·문체 문제를 분류하는 것이 실무적으로 유익하다.
• 데이터 기여를 받을 때는 참여자 동의 기록과 각 쌍의 출처 메타데이터를 필수로 요구하면 향후 재사용·배포 시 법적·윤리적 리스크를 낮출 수 있다. 수집 프로세스에 대한 표준 템플릿을 준비해 일관된 provenance 태깅을 적용하면 품질 관리가 수월해진다. 또한 기여 검토 단계에서 번역 일관성 검사와 샘플 검증을 자동화하면 운영 비용을 줄일 수 있다.

Arabizi

— 아라비지는 아랍어 음소를 라틴 문자와 숫자 조합으로 표기하는 정서법으로, 숫자 3/7/9/5 등이 특정 아랍어 자음을 대신한다. 이 표기법은 철자 규칙이 일관되지 않고 동일 어휘가 여러 형태로 표기되기 때문에 토크나이저와 정규화 단계에서 특별 처리가 필요하다. 본 게시물에서는 Arabizi의 숫자 기호들을 보호(symbol)로 처리한 SentencePiece BPE가 핵심 전처리 방법으로 사용되었다.

SentencePiece BPE

— SentencePiece의 BPE(Byte-Pair Encoding) 방식은 단어 경계에 의존하지 않고 서브워드 단위를 학습해 희귀 표기와 변형을 포착한다. Arabizi처럼 문자가 혼합된 저자원 언어에서는 숫자·특수기호를 보호 토큰으로 지정해 의미 단위를 보존하는 방식이 효과적이다. 게시물에서는 보호 기호를 설정한 16k 어휘로 토크나이저를 학습해 이후 모델 입력에 사용했다.

Encoder–Decoder Transformer

— 인코더-디코더 Transformer는 입력 시퀀스를 인코딩한 뒤 디코더가 번역문을 생성하는 구조로, 어텐션 메커니즘을 통해 길이 불변의 문맥 표현을 캡처한다. 본 프로젝트는 약 15.6M 파라미터의 이 구조를 처음부터 학습시키되 모로칸 다리자 데이터로 전이학습을 수행한 뒤 튜니지아 소규모 쌍문장으로 파인튜닝했다. 저자원 MT에서 아키텍처 선택과 전이학습 과정이 성능에 직접적 영향을 미친다는 점이 강조되었다.

Parallel Corpus

— 병렬 코퍼스는 동일 의미 문장 쌍의 원문과 번역문을 쌍으로 보유한 데이터셋으로 기계번역 학습과 평가에 필수적이다. 튜니지아 다리자의 경우 공개된 병렬 자원이 거의 없어 데이터 수집과 동의 기반 수집 절차가 프로젝트의 핵심 과제였다. 본 글에서는 약 553개의 수공 제작 쌍문장이 초기 코퍼스로 제시되며 데이터 부족이 성능 병목이라고 진단되었다.