챕터별 상세
이미지 Diffusion과 언어 모델의 차이
이미지 Diffusion은 픽셀값에 가우시안 노이즈를 조금씩 더하는 Forward Process와 이를 제거하는 Reverse Process를 학습한다. 하지만 언어 모델에서 사용하는 단어 인덱스는 정수 형태의 이산적 데이터이기에 0.01 같은 연속적인 노이즈를 더하는 개념이 성립하지 않는다. 단어 인덱스 17번에 0.01을 더한다고 해서 의미적으로 유사한 단어로 변하지 않으며 인접한 정수끼리 상관관계가 없는 이름표 역할일 뿐이다. 따라서 텍스트 데이터에는 기존의 연속적 Diffusion 방식을 그대로 적용할 수 없다.
가우시안 노이즈는 평균이 0이고 분산이 1인 정규분포를 따르는 무작위 신호를 의미하며 연속적인 수치 데이터에 주로 사용된다.
Discrete DDPM(D3PM)의 개념
이산적 데이터를 처리하기 위해 제안된 방식이 D3PM(Discrete Denoising Diffusion Probabilistic Models)이다. 이 모델은 가우시안 노이즈의 덧셈 대신 이산적인 값을 '상태(State)'로 정의하고 상태 간의 전이 확률(Transition Probability) 모델로 정의한다. 날씨 예시를 들면 맑음, 흐림, 비라는 세 가지 이산적 상태가 존재할 때 어제의 상태에서 오늘의 상태로 변할 확률을 3x3 행렬로 표현할 수 있다. 이러한 확률적 전이 과정을 통해 데이터의 분포를 학습한다.
상태 전이 행렬(Transition Matrix)은 한 상태에서 다른 상태로 변화할 확률을 표 형태로 정리한 것이다.
상태 전이 확률 모델의 수식화
전이 확률은 수식 p(xt|xt-1; θ)로 표현되며 여기서 xt는 현재 상태, xt-1은 직전 상태를 의미한다. 딥러닝 모델에서는 입력값으로 직전 상태의 원-핫 벡터(One-hot vector)를 받아 다음 상태의 확률 분포를 출력한다. 지역이 여러 개인 경우 xt는 이산 값들로 이루어진 벡터 형태가 되며 이는 언어 모델에서 문장을 구성하는 여러 단어(Subword)의 나열과 유사한 구조를 갖는다. 전이 확률 모델을 학습 가능한 파라미터 θ로 설정하여 데이터의 변화 패턴을 익힌다.
원-핫 벡터는 단 하나의 요소만 1이고 나머지는 0인 벡터로 이산적인 범주형 데이터를 표현할 때 사용한다.
언어 모델 상황으로의 확장
언어 모델에서 상태의 개수는 전체 어휘 사전의 크기(Vocab size)만큼 존재한다. 문장은 서브워드 시퀀스(Subword sequence)이며 각 위치의 서브워드가 하나의 상태가 된다. Diffusion Step인 t가 진행됨에 따라 Forward Process에서는 문장이 점점 무질서한 서브워드 나열로 변하고 Reverse Process에서는 다시 그럴듯한 문장으로 복구된다. DLM에서는 이 t조차도 연속적인 시간이 아닌 이산적인 단계(Step)로 정의되어 작동한다.
서브워드(Subword)는 단어를 더 작은 단위로 쪼갠 것으로 언어 모델이 어휘를 효율적으로 처리하기 위해 사용한다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 27.수집 2026. 04. 27.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
