이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
본 강의는 다중 클래스 퍼셉트론의 구조를 정의하고, 이를 확률적 분류 모델로 확장하는 과정을 수학적으로 유도한다. 가중치 행렬과 내적을 이용한 기존 퍼셉트론의 예측 및 업데이트 규칙을 살펴본 뒤, 소프트맥스 함수를 도입하여 실수를 확률 분포로 변환하는 방법을 다룬다. 최종적으로 음의 로그 우도와 교차 엔트로피 손실 함수를 결합하여 모델의 가중치를 최적화하는 수학적 근거를 제시한다.
챕터별 상세
00:45
다중 클래스 퍼셉트론 정의
다중 클래스 퍼셉트론은 가중치 행렬 와 입력 벡터 의 내적 를 통해 클래스별 점수를 계산한다. 의 각 행은 특정 클래스에 대한 가중치 벡터를 나타내며, 최종 예측은 가장 높은 점수를 가진 클래스를 선택하는 연산으로 이루어진다.
퍼셉트론은 가장 기본적인 신경망 구조로, 입력값에 가중치를 곱하고 합산하여 결과를 도출한다.
02:00
원-핫 인코딩과 예측 규칙
정답 클래스 는 원-핫 인코딩된 벡터로 표현된다. 모델의 예측 은 점수 벡터 에서 가장 큰 값을 가진 인덱스이다. 예측이 정답과 다를 경우, 정답 클래스의 가중치는 높이고 오답 클래스의 가중치는 낮추는 방식으로 가중치 행렬 를 업데이트한다.
원-핫 인코딩은 범주형 데이터를 0과 1로만 구성된 벡터로 변환하여 모델이 학습하기 쉽게 만든다.
07:27
소프트맥스 함수 도입
퍼셉트론의 결정론적 예측을 확률적 예측으로 전환하기 위해 소프트맥스 함수를 사용한다. 소프트맥스는 각 클래스의 점수 에 지수 함수를 적용하고 전체 합으로 나누어 확률 분포를 생성한다. 이를 통해 모델은 각 클래스에 대한 신뢰도를 확률값으로 출력한다.
소프트맥스는 출력값의 합을 1로 만들어 확률로 해석할 수 있게 한다.
10:45
우도와 손실 함수 유도
모델의 파라미터가 데이터를 얼마나 잘 설명하는지 나타내는 우도(Likelihood)를 정의한다. 데이터가 독립적이라고 가정할 때 전체 우도는 개별 데이터 우도의 곱으로 표현된다. 계산 편의를 위해 로그를 취한 로그 우도를 사용하며, 이를 최대화하는 것은 음의 로그 우도(Negative Log-Likelihood)를 최소화하는 것과 동일하다.
로그 우도는 곱셈을 덧셈으로 바꾸어 계산을 단순화하고 수치적 안정성을 높인다.
24:15
교차 엔트로피 손실 함수
음의 로그 우도는 교차 엔트로피 손실 함수와 수학적으로 동일하다. 이는 모델이 예측한 확률 분포와 실제 정답 분포 사이의 거리를 측정한다. 손실 함수 은 형태로 정의되며, 경사 하강법을 통해 이 값을 최소화하는 방향으로 가중치를 학습한다.
교차 엔트로피는 정보 이론에서 두 확률 분포 간의 차이를 측정하는 지표이다.
용어 해설
- 소프트맥스(Softmax)
- — 입력받은 실수 벡터를 확률 분포로 변환하는 함수이다. 각 요소에 지수 함수를 적용하고 전체 합으로 나누어, 모든 출력값의 합이 1이 되도록 정규화한다. 다중 클래스 분류 모델의 출력층에서 클래스별 확률을 계산하는 데 필수적이다.
- 교차 엔트로피(Cross-Entropy)
- — 모델이 예측한 확률 분포와 실제 정답(One-hot encoding) 사이의 차이를 측정하는 손실 함수이다. 예측 확률이 정답 클래스에 가까울수록 손실값이 작아지며, 분류 문제의 최적화 과정에서 모델의 가중치를 업데이트하는 기준으로 사용된다.
- 원-핫 인코딩(One-hot Encoding)
- — 범주형 데이터를 기계 학습 모델이 처리할 수 있도록 벡터로 변환하는 기법이다. 정답 클래스에 해당하는 인덱스만 1로 설정하고 나머지는 0으로 채워, 특정 클래스임을 명확하게 표현한다.
- 우도(Likelihood)
- — 주어진 파라미터 하에서 관측된 데이터가 발생할 확률이다. 모델 학습은 이 우도를 최대화하는 파라미터를 찾는 과정이며, 로그를 취한 로그 우도를 최대화하는 것이 계산상 효율적이다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 07. 28.수집 2026. 07. 28.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
