Next Concept Prediction
다음 개념 예측
다음 토큰 하나가 아니라 여러 토큰에 걸친 미래의 이산 개념을 예측하는 학습 목표입니다. 모델은 hidden state에서 만든 개념 어휘를 사용해 미래 개념을 추정하고, 그 결과를 이후 토큰 생성에 반영합니다.
다음 개념 예측
다음 토큰 하나가 아니라 여러 토큰에 걸친 미래의 이산 개념을 예측하는 학습 목표입니다. 모델은 hidden state에서 만든 개념 어휘를 사용해 미래 개념을 추정하고, 그 결과를 이후 토큰 생성에 반영합니다.
