챕터별 상세
확률 모델의 기본 개념과 가위바위보 예시
확률 모델은 실제 확률 공식을 모를 때 이를 모형화한 시스템이다. 가위바위보 게임에서 상대방의 패턴을 모를 때 이를 p(x)라는 확률 변수의 조합으로 표현하여 예측을 시도한다. 이전 판의 결과가 다음 판에 영향을 준다는 가정을 세우면 p(xi | xi-1) 형태의 조건부 확률 모델로 설계가 가능하다. 이러한 설계를 통해 모델이 무엇에 영향을 받는지 직접 정의할 수 있다.
결합 확률과 조건부 확률의 차이를 이해하면 모델 설계의 의도를 파악하기 쉽다.
python
p(x) = p(x1, x2, ..., xn)확률 모델의 가장 기본적인 결합 확률 분포 수식
python
p(xi | xi-1; theta)학습 가능한 파라미터 세타를 포함한 조건부 확률 모델 수식
딥러닝 모델과 파라미터 세타의 역할
확률 모델을 딥러닝으로 구현할 때는 학습 가능한 파라미터인 세타를 도입한다. 입력 조건인 xi-1이 신경망을 거쳐 출력인 xi의 확률 분포를 만들어내는 과정이 딥러닝의 핵심이다. 모델을 잘 만들었다는 것은 입력 조건을 적절히 설정하고 세타를 효과적으로 학습시켜 실제 데이터 패턴을 정확히 맞추는 상태를 의미한다. 반대로 예측이 틀린다면 조건 설정 오류나 학습 부족이 원인이다.
세타는 신경망 내부의 가중치들을 통칭하는 기호로 사용됐다.
언어 모델의 정의와 토큰화 단위
언어 모델은 문장을 구성하는 단어들의 확률 분포를 다루는 확률 모델의 일종이다. 여기서 확률 변수 x는 문장을 이루는 단어들이며, 실제로는 단어보다 작은 단위인 서브워드(Subword)를 토큰으로 사용한다. 모든 단어가 동일한 확률을 가진다면 의미 있는 문장이 되지 않으므로, 실제 언어 패턴을 반영한 정교한 확률 분포 설정이 필수적이다. 잘 학습된 모델은 상황에 맞는 적절한 단어 후보에 높은 확률을 배정한다.
서브워드 토큰화는 OOV(Out-of-Vocabulary) 문제를 해결하기 위한 현대 NLP의 표준 방식이다.
python
p(xi | x<i; theta)이전의 모든 단어들을 조건으로 다음 단어를 예측하는 자기회귀 모델의 수식
자기회귀(Autoregressive) 방식의 문장 생성 원리
현재 대부분의 LLM은 자기회귀 방식을 채택하고 있다. 이는 i번째 단어를 예측할 때 이전의 모든 단어들(x < i)을 조건으로 사용하는 방식이다. 생성 과정은 'Concat-Feedback' 루프를 따르는데, 모델이 출력한 단어를 다시 입력에 붙여 다음 단어를 예측하는 과정을 반복한다. Claude나 ChatGPT가 실시간으로 말을 하는 것처럼 보이는 것은 이 순차적 샘플링 과정의 결과물이다.
자기회귀 모델은 문맥 유지 능력이 뛰어나지만 생성 속도가 순차적이라는 제약이 있다.
새로운 대안: 디퓨전 언어 모델
자기회귀 방식 외에도 문장을 잘 생성하기 위한 다양한 설계 방식이 연구되고 있다. 최근 주목받는 방식 중 하나는 디퓨전 언어 모델(Diffusion Language Model)이다. 이 모델은 수식에서 시간 개념인 t를 도입하여 자기회귀 방식과는 다른 메커니즘으로 문장을 생성한다. 영상은 향후 디퓨전 모델에 대한 상세 설명을 예고하며 마무리된다.
디퓨전 모델은 이미지 생성에서 주로 쓰였으나 최근 텍스트 생성 분야로 확장이 시도되고 있다.
용어 해설
- 확률 모델(Probabilistic Model)
- — 자연계의 복잡한 현상을 확률 변수와 분포를 이용해 수학적으로 모형화한 시스템이다. 데이터 간의 상관관계나 발생 가능성을 수치화하여 미래의 상태를 예측하거나 패턴을 분석하는 데 필수적인 기초 프레임워크이다.
- 자기회귀 모델(Autoregressive Model)
- — 과거의 자신의 출력이 현재의 입력에 영향을 주는 구조를 가진 모델이다. 시계열 데이터나 문장 생성 시 이전 단계까지 생성된 요소들을 바탕으로 다음 요소를 순차적으로 예측하는 메커니즘을 가진다.
- 서브워드(Subword)
- — 단어를 더 작은 의미 단위나 문자 조합으로 쪼갠 토큰화 단위이다. 희귀 단어나 신조어 처리에 유연하며, 모델이 어휘 사전에 없는 단어를 만났을 때도 의미를 유추하거나 생성할 수 있게 돕는다.
- 디퓨전 언어 모델(Diffusion Language Model)
- — 데이터에 노이즈를 점진적으로 추가했다가 이를 다시 제거하는 과정을 학습하여 데이터를 생성하는 기법을 텍스트에 적용한 모델이다. 순차적으로 생성하는 자기회귀 방식과 달리 전체 문장의 구조를 동시에 고려하며 생성할 수 있는 대안적 접근법이다.
언급된 리소스
GitHubmanim-kor GitHub
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 17.수집 2026. 04. 17.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
