Kaggle Deep Past 챌린지 우승 솔루션 분석: 모델보다 데이터가 중요한 이유

작성자의 분석에 대해 대체로 긍정적이며, 실제 머신러닝 업무와 유사한 데이터 중심적 접근 방식에 공감하는 분위기이다.

• 데이터가 부족한 경우 ByT5를 사용하여 토큰화 문제를 우회하라.
• OCR 데이터의 노이즈를 줄이기 위해 LLM을 활용한 데이터 필터링 및 수리 단계를 도입하라.
• 번역 결과의 안정성을 위해 MBR 디코딩 기법 적용을 고려하라.

ByT5

— 구글이 개발한 T5 모델의 변형으로, 텍스트를 토큰 단위가 아닌 바이트(byte) 단위로 처리하는 모델이다. 어휘 사전(vocabulary) 크기에 구애받지 않아 오타나 고어, 특수 문자가 많은 데이터셋에서 강점을 보이며 이번 경진대회의 복잡한 고대 문자 표기법 처리에 효과적이었다.

MBR Decoding

— 생성된 여러 후보 문장 중 다른 후보들과의 유사도가 가장 높은 문장을 최종 결과로 선택하는 기법이다. 단순 확률 기반의 빔 서치보다 더 견고한 결과를 생성하며, 특히 데이터가 부족한 번역 작업에서 출력의 일관성을 높이는 데 기여한다.

Back-translation

— 타겟 언어의 텍스트를 소스 언어로 번역하여 가공의 병렬 데이터셋을 만드는 데이터 증강 기법이다. 고대 아시리아어처럼 학습 데이터가 극히 적은 저자원 언어 환경에서 모델의 번역 성능과 견고함을 개선하는 핵심 기술로 활용됐다.

OCR

— 이미지나 PDF 문서 내의 문자를 디지털 텍스트로 변환하는 기술이다. 이번 대회에서는 학술 논문 PDF에서 고대 문자 데이터를 추출하는 과정에서 발생한 노이즈와 구조적 결함을 해결하는 것이 모델링보다 더 중요한 과제로 다뤄졌다.