Previous-Token Prediction

이전 token 예측은 일반적인 next-token prediction과 반대로 응답의 뒤쪽 token에서 앞쪽 token을 추정하도록 학습하는 방식입니다. PTP는 이 목표를 inverse language model에 적용해 관찰된 응답에서 프롬프트를 생성하는 연결고리를 구축합니다.