챕터별 상세
00:30
Bias 도입과 결정 경계의 이동
Bias는 결정 경계가 원점을 지나지 않고 공간상에서 자유롭게 이동할 수 있도록 만드는 핵심 요소이다. 수학적으로는 입력 피처 벡터에 항상 1인 차원을 추가하고 가중치 벡터에도 대응하는 Bias 항을 추가하여 내적 연산 하나로 통합 처리한다. 이를 통해 모델은 데이터 분포가 원점에 중심을 두지 않은 경우에도 효과적인 분리 평면을 찾을 수 있게 된다.
11:10
Perceptron 수렴 정리와 Margin의 중요성
데이터가 선형 분리 가능하다면 Perceptron 알고리즘은 반드시 유한한 단계 내에 정답을 찾는다는 것이 수렴 정리이다. 이때 필요한 최대 업데이트 횟수는 데이터의 반지름과 클래스 간의 최소 거리인 Margin의 비율에 의해 결정된다. Margin이 좁을수록 결정 경계를 찾기 위해 더 많은 수정 과정이 필요하며, 이는 알고리즘의 효율성에 직접적인 영향을 미친다.
13:45
Perceptron의 세 가지 주요 한계점
Perceptron은 데이터가 선형 분리 불가능할 경우 수렴하지 못하고 무한 루프에 빠지는 치명적인 약점이 있다. 또한 학습 데이터에만 완벽하게 수렴하려다 보니 새로운 데이터에 대한 일반화 성능이 보장되지 않는 문제가 발생한다. 마지막으로 학습 횟수가 과도해지면 Overfitting이 발생하여 검증 데이터셋에서의 성능이 오히려 하락하는 현상이 나타난다.
21:00
다중 클래스 분류를 위한 Argmax 규칙
이진 분류를 넘어 여러 클래스를 구분하기 위해 각 클래스마다 독립적인 가중치 벡터를 할당한다. 입력 데이터에 대해 모든 클래스의 가중치와 내적을 계산한 후, 가장 높은 점수를 출력하는 클래스 인덱스를 최종 예측값으로 선택한다. 기하학적으로는 각 가중치 벡터가 가리키는 방향에 따라 공간이 여러 영역으로 분할되는 구조를 가진다.
32:00
다중 클래스 Perceptron 학습 알고리즘
다중 클래스 학습 시 예측이 틀리면 두 개의 가중치를 동시에 수정한다. 실제 정답 클래스의 가중치 벡터에는 입력 피처를 더하여 해당 클래스의 점수를 높이고, 잘못 예측된 클래스의 가중치 벡터에서는 입력 피처를 빼서 점수를 낮춘다. 이 'Push-Pull' 메커니즘을 반복함으로써 정답 클래스가 항상 최대 점수를 갖도록 가중치 공간을 조정한다.
text
If y_hat != y:
w[y_hat] = w[y_hat] - f(x)
w[y] = w[y] + f(x)다중 클래스 Perceptron에서 예측이 틀렸을 때 가중치를 업데이트하는 규칙
용어 해설
- 선형 분리 가능성(Linearly Separable)
- — 데이터셋의 두 클래스를 직선이나 초평면 하나로 완벽하게 나눌 수 있는 상태를 의미합니다. Perceptron 알고리즘이 수렴하기 위한 필수 전제 조건이며, 데이터가 이 조건을 만족하지 않으면 알고리즘은 무한히 업데이트를 반복합니다.
- 마진(Margin)
- — 결정 경계와 가장 가까운 데이터 포인트 사이의 거리를 뜻합니다. 마진이 클수록 모델의 일반화 성능이 좋아지며, Perceptron 수렴 정리에서 학습 횟수의 상한선을 결정하는 중요한 요소로 작용합니다.
- 과적합(Overfitting)
- — 모델이 훈련 데이터의 세부 사항과 노이즈까지 과하게 학습하여 새로운 데이터에 대한 예측력이 떨어지는 현상입니다. 훈련 정확도는 높지만 검증 정확도가 낮아지는 시점을 통해 파악하며, 조기 종료 등의 기법으로 방지합니다.
- 아그맥스(Argmax)
- — 함수의 출력값을 최대화하는 입력 인덱스를 찾는 연산입니다. 다중 클래스 분류에서 각 클래스별 점수 중 가장 높은 점수를 가진 클래스의 번호를 최종 예측값으로 선택할 때 사용합니다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 03. 07.수집 2026. 03. 07.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
