본문으로 건너뛰기

Tokenizer Mismatch

토크나이저 불일치

교사와 학생이 같은 문장을 서로 다른 토큰 경계와 어휘로 나누면서 토큰별 확률을 직접 대응하기 어려워지는 문제입니다. SimpleOPD는 두 모델이 공유하는 응답 문자열에서 시작·끝 텍스트 구간이 완전히 같은 토큰만 연결해 부정확한 확률 대응을 피합니다.