Feedback Prize - 영어 학습자 평가 경진대회 1위 솔루션 발표

• •16개의 플레이스홀더를 고유 특수 토큰으로 변환
• •줄바꿈 문자를 [BR] 토큰으로 대체하여 구조 정보 유지
• •커스텀 토큰을 토크나이저에 추가하여 임베딩 학습 유도

플레이스홀더는 개인정보 보호를 위해 실제 고유 명사 대신 삽입된 임시 텍스트를 의미한다.

• •Feedback 1, 2 대회의 외부 데이터를 병합하여 활용
• •다양한 모델의 앙상블을 통해 고품질 의사 라벨 생성
• •데이터 누수(Leakage) 방지를 위한 검증 프로세스 적용

의사 라벨링은 라벨이 없는 데이터에 모델의 예측값을 임시 라벨로 부여하여 학습 데이터로 사용하는 준지도 학습 기법이다.

• •DeBERTa-v3 기반의 다중 풀링 레이어 구조 설계
• •Differential Learning Rate 및 레이어 동결 기법 적용
• •AWP를 통한 모델의 일반화 성능 및 강건성 확보

AWP는 학습 과정에서 가중치에 의도적인 섭동을 주어 모델이 과적합되지 않고 더 견고해지도록 돕는 기법이다.

• •6개 평가 항목별로 모델 가중치를 다르게 적용
• •총 108개의 가중치 파라미터를 최적화 대상으로 설정
• •Optuna를 활용한 자동화된 가중치 최적화 수행

MCRMSE는 여러 평가 항목의 평균 제곱근 오차를 평균낸 지표로, 이 대회의 주요 평가 척도이다.

• •추론 시간을 8시간에서 25분으로 대폭 단축
• •앙상블 모델의 예측치를 의사 라벨로 활용해 단일 모델 학습
• •단일 모델만으로도 리더보드 상위권 성능 달성

지식 증류(Knowledge Distillation)와 유사하게 복잡한 앙상블의 지식을 단일 모델에 전이시킨 방식이다.