챕터별 상세
언어 모델의 확률적 기초
언어 모델은 언어의 패턴을 모형화한 시스템이며, 확률 모델의 일종이다. 확률 모델은 자연의 확률 공식을 모를 때 이를 모형화한 시스템을 의미한다. 언어 모델의 확률은 p(x) = p(x1, x2, ..., xn)으로 표현되며, 이는 n개의 단어 나열이 발생할 확률을 의미한다. Autoregressive 모델은 이 확률을 순차적으로 예측하는 방식으로, 이전 단어들을 조건으로 다음 단어의 확률을 구한다. 딥러닝 모델은 이 확률 분포를 학습하는 파라미터 θ를 최적화한다.
확률 모델과 Autoregressive 모델의 기본 개념에 대한 이해가 필요합니다.
Discrete Diffusion과 D3PM
이미지 확산 모델은 연속적인 픽셀 값에 노이즈를 더하고 제거하는 과정을 학습한다. 하지만 텍스트 데이터는 단어 인덱스라는 이산적인 값으로 구성되어 있어 연속적인 가우시안 노이즈를 더하는 방식이 불가능하다. 이를 해결하기 위해 Discrete Diffusion인 D3PM이 제안되었다. D3PM은 데이터를 이산적인 상태(state)로 보고, 상태 간의 전이 확률(transition probability)을 학습한다. 이는 전이 행렬(transition matrix)을 통해 이전 상태에서 다음 상태로 변할 확률을 정의하는 방식이다.
확산 모델의 기본 원리와 이산적 데이터 처리에 대한 이해가 필요합니다.
Diffusion Language Model의 원리
Diffusion Language Model(DLM)은 텍스트 생성에 확산 모델의 원리를 적용한 방식이다. 입력 문장 뒤에 마스크(mask)를 붙여 전체 시퀀스를 모델에 입력하고, 마스크 위치의 단어를 반복적으로 샘플링하여 문장을 완성한다. DLM은 Autoregressive 모델과 달리 한 번에 여러 개의 서브워드를 생성할 수 있어 전체 생성 속도 측면에서 효율적이다. 마스크가 없는 위치는 결정론적으로 고정하고, 마스크 위치만 확률적으로 샘플링하여 점진적으로 문장을 복원한다.
마스킹 기법과 반복적 샘플링 과정에 대한 이해가 필요합니다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 05. 24.수집 2026. 05. 24.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
