18M 파라미터 Transformer로 English-Gujarati 번역 구현

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Gujarati는 약 5,500만 명이 사용하지만 Hindi·English에 비해 공개 Neural Machine Translation 도구가 부족해, 작성자는 English-Gujarati Machine Translation dataset을 이용한 18M 파라미터 Transformer encoder-decoder를 처음부터 구현했습니다. 2개 블록과 8개 헤드를 사용하고 16GB GPU에서 10시간 안에 학습을 끝내는 구성을 목표로 했으며, Softmax와 sparse_categorical_crossentropy를 따로 계산하던 메모리 병목은 raw logits와 from_logits=True 조합으로 바꿔 중간 float32 텐서의 중복 생성을 피했습니다. epoch 종료 전 세션이 끊겨 학습 결과를 잃은 뒤에는 wall-clock 기반 checkpointing을 추가했습니다. 32k word-level vocabulary에서 Gujarati OOV 비율이 20%로 나타나 subword tokenization을 다음 실험 대상으로 삼고 있지만, 아직 번역 품질 비교 결과는 제시되지 않았습니다.

실용적 조언

시퀀스 분류나 번역 학습에서 Softmax와 cross-entropy를 별도로 계산하기보다 모델의 raw logits를 손실 함수에 직접 전달하고 from_logits=True를 설정하면 중간 확률 텐서의 중복 생성을 피할 수 있습니다. 특히 vocabulary와 sequence length가 큰 NMT에서는 이 경로가 GPU 메모리 사용량에 영향을 줄 수 있습니다. 실제 적용 전에는 사용 중인 TensorFlow 손실 함수의 입력 형식과 출력 shape를 함께 확인해야 합니다.
GPU 세션 시간이 제한된 환경에서는 epoch 종료 시점만 기다리는 checkpoint보다 wall-clock 기반 저장을 함께 두는 편이 안전합니다. 학습 상태와 optimizer 상태를 주기적으로 저장하면 mid-epoch 세션 종료 뒤 최근 저장 지점에서 작업을 재개할 수 있습니다. 저장 주기는 checkpoint 비용과 세션 제한 시간을 함께 고려해 정해야 합니다.
Gujarati처럼 word-level vocabulary에서 OOV 비율이 20%인 경우에는 subword tokenization을 비교 실험할 우선순위가 높습니다. 동일한 데이터 분할과 모델 설정을 유지한 채 OOV 비율뿐 아니라 validation loss와 번역 평가 결과를 함께 비교해야 토큰화 방식의 효과를 판단할 수 있습니다. 게시물에는 subword 실험 결과가 아직 없으므로 개선 폭은 확인되지 않았습니다.

섹션별 상세

작성자는 약 5,500만 명이 사용하는 Gujarati를 대상으로 공개 Neural Machine Translation 도구가 부족하다는 문제에서 출발해, 18M 파라미터와 2개 블록, 8개 헤드를 갖춘 Transformer encoder-decoder를 처음부터 구현했습니다. English-Gujarati Machine Translation dataset으로 학습하며 16GB GPU에서 10시간 안에 전체 학습 과정을 끝내는 구성을 목표로 삼았습니다. 특정 모델의 번역 점수보다 제한된 컴퓨팅 환경에서 번역 시스템을 처음부터 학습시키는 구현 과정을 공유한 사례입니다.

작성자는 Softmax와 sparse_categorical_crossentropy를 따로 계산하면서 메모리가 급증한 문제를 겪은 뒤, 원시 로짓을 손실 함수에 전달하고 from_logits=True를 사용하는 방식으로 바꿨습니다. 이 변경으로 (batch, seq_len, vocab) 크기의 float32 텐서가 두 번 실체화되는 경로를 피했습니다. 또 epoch 종료 시점만 기다리지 않고 실제 경과 시간을 기준으로 checkpoint를 저장해, 중간 세션 종료로 학습 결과를 잃은 문제에 대응했습니다.

현재 32k 단어 단위 vocabulary에서 Gujarati의 OOV 비율이 20%로 나타났으며, 작성자는 다음 단계로 subword tokenization을 시험하려고 합니다. 단어 단위 어휘는 전체 단어를 vocabulary에 넣어야 하므로 희귀어와 형태 변형을 미등록 상태로 남길 수 있고, subword 방식은 단어를 재사용 가능한 부분 단위로 나눠 이 문제를 줄이는 접근입니다. 다만 게시물에는 subword 적용 뒤의 비교 실험이나 번역 품질 수치가 아직 포함되지 않았습니다.

이미지 분석

Screenshot
이미지는 Kaggle Notebook의 제목이 “Eng-Guj translation using 18M parameter model”로 설정되어 있고, 하단 코드 영역에 NumPy와 TensorFlow를 불러오는 학습 환경이 보이는 스크린샷입니다. 게시물에서 밝힌 Gujarati 번역 모델 구현과 Kaggle 기반 학습 노트북 공유를 시각적으로 뒷받침하지만, OOV 비율이나 학습 결과 같은 추가 수치는 포함하지 않습니다.
Kaggle의 Python Notebook 화면에 18M 파라미터 Eng-Guj 번역 모델과 NumPy·TensorFlow·pathlib import 코드가 표시되어 있습니다.

용어 해설

미등록 단어 비율(OOV Rate): — OOV Rate는 학습 어휘에 포함되지 않아 미등록 토큰으로 처리되는 단어의 비율입니다. 번역에서는 입력 단어가 의미 있는 토큰으로 변환되지 못해 어휘 범위와 번역 품질을 제한할 수 있습니다.
서브워드 토큰화(Subword Tokenization): — Subword Tokenization은 단어 전체 대신 자주 반복되는 문자 또는 부분 단어 단위로 문장을 분해하는 방식입니다. 희귀어와 새로운 단어도 알려진 조각으로 표현해 OOV 문제를 줄이는 데 사용됩니다.
원시 로짓(Raw Logits): — Raw Logits는 Softmax를 적용하기 전 모델이 출력하는 클래스별 점수입니다. 손실 함수에 로짓을 직접 전달하면 별도의 확률 텐서를 만들지 않아 시퀀스 길이와 어휘 크기에 따른 메모리 사용을 줄일 수 있습니다.
실제 시간 기반 체크포인트 저장(Wall-clock Checkpointing): — Wall-clock Checkpointing은 epoch가 끝날 때까지 기다리지 않고 실제 경과 시간을 기준으로 모델 상태를 저장하는 방식입니다. 제한된 GPU 세션이 중간에 종료돼도 최근 학습 지점에서 복구할 수 있어 긴 학습 작업의 손실을 줄입니다.

언급된 도구

Kaggle중립링크

16GB GPU와 10시간 세션 제약 안에서 Transformer 기반 English-Gujarati 번역 모델의 학습 노트북을 실행하고 공유하는 플랫폼입니다.

언급된 리소스

문서Eng-Guj translation using 18M parameter model