본문으로 건너뛰기

token-editing

토큰 편집

중급

훈련 시 일부 이미 토큰화된 토큰을 의도적으로 손상시켜 모델이 비마스크 위치에서도 교정 분포를 예측하도록 학습시키고, 추론 시 높은 신뢰도의 신규 예측으로 이미 언마스크된 토큰을 교체하여 결과를 반복적으로 정제하는 메커니즘이다.