autoregressive-order
자동회귀 순서
자동회귀 순서는 왼쪽에서 오른쪽처럼 정해진 토큰 순서로 다음 토큰을 조건부 생성하는 방식으로 입력을 처리하면 연결어와 중간 계산을 순차적으로 학습한다. 본문에서는 훈련을 이 순서로 수행하면 논리적 연결어에 대한 확신을 모델 내부에 고정시켜 추론 경로 붕괴를 완화한다고 보고되었다. 훈련과 추론 순서가 불일치할 때 생기는 신호 왜곡이 문제 원인으로 지목되었다.
자동회귀 순서
자동회귀 순서는 왼쪽에서 오른쪽처럼 정해진 토큰 순서로 다음 토큰을 조건부 생성하는 방식으로 입력을 처리하면 연결어와 중간 계산을 순차적으로 학습한다. 본문에서는 훈련을 이 순서로 수행하면 논리적 연결어에 대한 확신을 모델 내부에 고정시켜 추론 경로 붕괴를 완화한다고 보고되었다. 훈련과 추론 순서가 불일치할 때 생기는 신호 왜곡이 문제 원인으로 지목되었다.
