토큰 시간 연속 확산(TTCD): 연속 공간과 토큰별 시간으로 고속 언어생성 품질 향상

기존 확산 기반 언어모델은 이산 단계에서 병렬로 여러 토큰을 샘플링할 때 속도가 빨라질수록 상호간섭으로 인한 품질 저하가 발생했다. TTCD는 생성 과정을 연속 공간으로 옮기고 토큰별로 서로 다른 수렴 속도를 허용함으로써 고속화 상황에서도 중요한 토큰의 품질을 유지할 수 있는 방법을 제시한다. 이 접근은 실시간성이나 빠른 디코딩이 요구되는 응용에서 생성 품질과 속도의 균형을 개선할 잠재성을 지닌다.

출발점은 확산 기반 생성의 기본 한계이다. 이산 확산 방식은 여러 디코딩 단계에서 토큰을 병렬로 샘플링하면서 토큰 간의 상호간섭이 발생할 수 있고, 특히 단계 수를 줄여 고속화할 때 품질 저하가 두드러진다. 연속 공간으로의 전환은 이러한 병렬 샘플링의 병목을 해소할 여지를 제공한다.

해결 원리는 연속적 변환과 토큰별 시간의 결합이다. 모델은 Gaussian 노이즈를 시작점으로 삼아 연속적 함수 변환을 통해 최종 토큰 캔버스를 결정적으로 생성하며 추가 샘플링 단계가 필요 없게 설계된다. 동시에 각 토큰에 대해 별도의 시간 변수 또는 수렴 속도를 부여하여 어떤 토큰은 빠르게 확정되고 어떤 토큰은 천천히 정제되도록 하였다.

이 접근이 달라지게 하는 핵심은 토큰 간 영향력의 시간적 분리이다. 토큰별 시간은 조건부 입력에 대해 더 확실한 토큰이 일찍 고정되게 하고 주변 토큰은 이후 단계에서 이 확실한 토큰을 참조하여 정교하게 조정된다. 이로 인해 고속 디코딩 시에도 중요한 조건 정보가 손실되지 않고 전체적인 생성 품질이 개선되는 효력이 발생한다.

추가로 자기증류를 결합한 이유는 학습과정에서 연속 매핑과 토큰별 시간의 효과를 안정화하기 위함이다. 자기증류는 이미 학습된 모델의 출력을 연속적 타깃으로 사용하여 학생 모델이 고속 설정에서도 일관된 출력을 내도록 돕는다. 논문은 이러한 일련의 설계가 고속 조건부 생성에서 이산 모델을 능가한다고 결론지었다.

전체 접근은 연속 공간에서의 확산 과정과 토큰별 시간 스케줄링의 결합으로 구성되어 있다. 입력으로 Gaussian 노이즈를 받아 연속적 변환을 통해 최종 토큰 캔버스를 얻는 결정적 변환을 설계하였고, 각 토큰에 대해 별도의 시간 변수를 두어 수렴 속도를 차별화했다. 모델 구조와 변환기는 연속 값들을 직접 토큰 확률 또는 표현으로 매핑하는 방식으로 작동한다.

핵심 메커니즘은 토큰별 시간의 할당과 그에 따른 상호작용 규칙이다. 토큰별 시간은 어떤 토큰이 먼저 확정되는지와 이후 단계에서의 영향 강도를 결정하며, 이 과정에서 빠르게 수렴한 토큰이 느리게 정제되는 토큰의 조건 역할을 수행한다. 결정적 매핑은 추가 샘플링이 없는 단일 통과로 결과를 얻도록 설계되어 고속 추론에서 단계 수를 줄일 수 있게 한다.

학습 절차에는 기본 훈련과 자기증류 단계가 포함되어 있다. 먼저 OpenWebText로 160M 파라미터 모델을 학습시킨 후, 해당 모델의 출력을 교사 신호로 사용하여 자기증류를 수행함으로써 고속 디코딩 상황에서의 일관성과 품질을 향상시켰다. 실험 설정은 이산 확산 모델과 동일한 데이터와 유사한 규모의 모델을 비교 대상으로 하여 공정한 비교가 가능하도록 구성되었다.

주요 결과는 고속화된 생성 설정에서 TTCD가 전통적 이산 확산 모델을 능가한다는 점이다. 무조건적 생성에서는 비슷한 품질을 보였으나 조건부 생성 과제에서는 TTCD가 우수한 성능을 보였다는 관찰이 보고되었다. 이러한 성능 우위는 동일 데이터와 유사한 모델 크기에서의 비교와 자기증류 적용 후에도 유지되었다.

추가적으로 Sudoku 해결과 같은 구조화된 조건부 생성 과제에서도 TTCD가 유사한 이득을 보였다. 이는 토큰별 시간과 연속 매핑이 언어적 맥락을 넘는 제약 기반 문제에도 효과적임을 시사한다. 논문은 고속화가 요구되는 응용에서 조건부 정확도를 유지하거나 향상시키는 측면에서 TTCD의 장점을 강조하였다.

아키텍처 관점에서 TTCD는 연속 입력 공간에서 Gaussian 노이즈를 시작점으로 하여 결정적 변환을 통해 최종 토큰 캔버스를 생성하는 흐름을 따른다. 변환기는 연속 값들을 직접 토큰 확률 혹은 토큰 표현으로 매핑하도록 설계되며, 추가적인 확률적 샘플링 루프가 필요 없게 구성되어 있다. 이 구성은 단계 수를 줄여도 추가 샘플링에 따른 부정확성이나 간섭을 피할 수 있게 한다.

수학적 기반에서 핵심은 각 토큰 i에 대해 할당되는 시간 변수 t_i의 도입이다. t_i는 해당 토큰이 노이즈 상태에서 확실한 상태로 전환되는 시점 또는 속도를 나타내며, 빠른 t_i를 가진 토큰은 조기에 수렴하고 느린 t_i는 이후 정제에서 영향을 받는다. 이 구조는 토큰 간의 상호작용 행렬 또는 정교화 규칙이 시간에 따라 달라지도록 하여 조건부 의존성을 시간 축에서 차등화한다.

Prior work과의 차이점은 연속적 결정적 매핑과 토큰별 시간의 결합에 있다. 기존 이산 확산 모델은 다수의 병렬 샘플링 단계에서 토큰 간 간섭 문제가 발생하기 쉬웠으나 TTCD는 연속 변환을 통해 병렬 샘플링을 회피하고, 토큰별 시간으로 상호 영향력을 제어한다. 이러한 설계는 고속 디코딩에서의 성능 유지라는 실질적 차별점을 만든다.

구현 및 학습 세부사항으로는 OpenWebText 데이터에 대해 160M 파라미터 모델을 학습하고 이어서 자기증류를 수행한 점이 중요하다. 자기증류 과정은 교사로서 학습된 모델의 출력을 사용하여 학생 모델이 고속 설정에서도 안정된 출력을 내도록 도왔다. 논문은 이러한 학습 파이프라인이 고속 조건부 생성 성능을 실험적으로 향상시키는 데 기여했다고 보고했다.