도메인 적응에서 MLM에서 CLM로의 Detour: CLM Detour가 downstream 성능에 미치는 영향과 표현 변화

MLM과 CLM의 비교를 통해 encoder를 도메인에 맞게 효율적으로 적응시키는 방법을 제시한다. CLM detour은 특정 조건에서 MLM baselines보다 downstream 성능을 개선하며, 하위 트랜스포머 레이어의 표현에 밀도 감독이 큰 영향을 주는 것을 보인다. 이로써 대규모 모델의 도메인 적응 전략에 새로운 방향을 제시한다.

출발점: MLM 방식은 도메인 적응에서 인코더의 지속 학습에 제약이 생길 수 있다. CLM detour를 도입하면 dense supervision이 하위 레이어에 집중되어 표현 축적이 달라지며, 이로 인해 downstream 성능이 개선될 수 있다. 달라진 점: 초기 레이어에 대한 영향이 커서, 하위 레이어를 자유화/해제하는 학습 전략으로 개선 효과를 조절할 수 있다. 결과적으로 CLM detour은 모델 용량이 커질수록 이점이 커지고, decay 기간 동안의 표현 변화가 유지된다.

입력 데이터 동일성 하에서 MLM과 CLM detour를 비교하기 위해 도메인 적응 실험을 수행한다. 한 실험에서 encoder를 고정된 low/high 레이어 freezing 설정으로 두고, 8 French/11 English biomedical tasks를 대상으로 정확도(혹은 F1) 차이를 측정한다. CLM detour은 MLM decay를 거친 후에도 성능 이점을 남기는지 확인하며, 각 모델 크기에서의 차이를 분석한다.

주요 벤치마크에서 CLM detour은 MLM baseline 대비 downstream 성능을 +1.2pp ~ +2.8pp, 프롬프되며, 동일 데이터와 계산에서 우수성을 보인다. context length에 따른 성능 그래프에서 CLM detour의 F1 점수는 64.3(512)에서 76.3(1024)로 상승하고, 8192까지도 MLM 대비 우세를 보였다. 추론 위치(Start/Middle/End)에서도 CLM detour이 MLM baseline을 상회하며, 모델 용량이 증가할수록 이점이 커지는 경향이 있다. CK A divergence 그래프와 Per-layer CLM 효과 그래프를 통해 CLM의 표현 변화가 주로 초기 레이어에 집중됨을 확인했다.

아키텍처: Transformer 기반 encoder; 핵심 메커니즘: MLM과 CLM의 손실 함수 차이, CLM detour의 dense supervision이 하위 레이어에 더 큰 영향을 주는 점. Prior work 대비 차별점: 도메인 적응에서의 임시 CLM detour 도입과 해당 레이어별 freezing 전략의 효과 분석. 구현/학습 세부: 동일 데이터/계산에서의 비교, 8 French/11 English biomedical task 세트 사용, 모델 크기에 따른 변화 관찰.