Self-Gradient Forcing

모델이 직접 생성한 이전 오디오·비디오 청크를 다음 예측의 문맥으로 사용하면서 학습하는 자기 생성 기반 훈련 방식입니다. 순차 샘플링 자체에는 gradient를 저장하지 않고, 생성된 문맥 표현을 병렬로 다시 계산해 이후 손실을 앞선 문맥 표현까지 전달합니다. 이 과정은 teacher forcing과 실제 autoregressive 추론 사이의 분포 차이를 줄입니다.