챕터별 상세
00:00
도입 및 행렬 미분의 필요성
머신러닝의 핵심인 최적화 문제를 해결하기 위해 선형대수와 미적분이 결합된 행렬 미분이 필수적임을 강조한다. 학부 과정에서 개별적으로 배우는 두 분야가 실제 고차원 데이터 처리에서 어떻게 상호작용하는지 배경을 제시한다. Siddhartha Chitrakar 발표자가 자신의 연구 분야인 신뢰할 수 있는 AI와 통계적 모델링을 소개한다.
02:27
머신러닝에서의 미적분학 역할과 MLE
머신러닝의 목표를 데이터로부터 손실을 최소화하는 함수를 학습하는 과정으로 정의한다. 최대 우도 추정(MLE)을 통해 가우시안 노이즈를 가정한 선형 회귀 모델에서 최소 제곱 오차(Squared Loss)가 유도되는 과정을 보여준다. 이 과정에서 미적분학이 파라미터 최적화의 핵심 도구로 사용됨을 확인한다.
10:52
미분과 그래디언트의 기초 리뷰
도함수를 순간 변화율로 정의하고, 최적화에서 기울기가 0인 지점이 극점이 됨을 설명한다. 다변수 함수로 확장하여 편미분과 그래디언트(Gradient)의 개념을 정립한다. 그래디언트는 각 변수에 대한 편미분값들을 모은 벡터이며, 함수의 출력값이 가장 빠르게 변하는 방향을 나타낸다.
18:54
선형대수학의 핵심 개념: 선형 변환과 이차 형식
행렬을 벡터 공간 사이의 선형 변환으로 해석하고, 머신러닝에서 가중치 행렬의 역할을 정의한다. 내적(Dot Product)을 두 벡터 사이의 유사도 측정 도구로 설명하며, 이는 LLM의 토큰 유사도 계산 등에 활용된다. 벡터의 크기를 나타내는 노름(Norm)과 손실 함수에서 자주 쓰이는 이차 형식(Quadratic Form)의 구조를 분석한다.
27:38
행렬 미분의 심화 도구: Jacobian과 Hessian
벡터 함수의 미분인 자코비안(Jacobian) 행렬을 정의한다. 자코비안은 다변수 함수의 1차 미분을 일반화한 것이며, 헤시안(Hessian)은 스칼라 함수의 2차 미분을 일반화한 행렬이다. 헤시안 행렬의 고유값(Eigenvalues)을 통해 최적점이 국소 최소값인지 판별하는 방법을 제시한다.
32:58
행렬 미분의 4가지 핵심 항등식
실무에서 가장 자주 쓰이는 4가지 미분 규칙을 유도한다. 내적의 미분 $
abla_x (w^T x) = w$, 선형 변환의 미분 $
abla_x (Ax) = A^T$, 벡터 제곱합의 미분 $
abla_x (x^T x) = 2x$, 이차 형식의 미분 $
abla_x (x^T Ax) = (A + A^T)x$를 다룬다. 분모 레이아웃(Denominator Layout) 표기법을 기준으로 수식을 정리한다.
43:29
최적화 알고리즘의 수학적 원리: Taylor 급수
경사 하강법(Gradient Descent)이 왜 작동하는지 테일러 급수 근사를 통해 증명한다. 1차 근사를 통해 그래디언트의 반대 방향으로 이동할 때 함수값이 감소함을 보여준다. 2차 근사를 이용한 Newton 방법이 헤시안 정보를 활용해 더 빠르게 수렴할 수 있음을 수학적으로 유도한다.
55:48
실전 응용: 선형 회귀와 정규화 유도
앞서 배운 행렬 미분 규칙들을 실제 선형 회귀 모델의 해를 구하는 데 적용한다. 손실 함수 를 전개하고 그래디언트를 계산하여 정규 방정식(Normal Equation) 를 유도한다. L2 정규화(Ridge)가 추가된 경우의 그래디언트 변화와 그에 따른 가중치 감쇠(Weight Decay) 효과를 수식으로 증명한다.
용어 해설
- 자코비안(Jacobian)
- — 다변수 벡터 함수의 1차 편미분을 행렬 형태로 나타낸 것이다. 각 행은 개별 함수의 그래디언트를 나타내며, 고차원 공간에서의 선형 근사와 변수 변환 시 부피 변화율을 계산하는 데 필수적이다.
- 헤시안(Hessian)
- — 스칼라 함수의 2차 편미분을 행렬로 구성한 것이다. 함수의 곡률 정보를 담고 있어 최적화 알고리즘에서 극점의 종류(최소, 최대, 안장점)를 판별하거나 Newton 방법과 같은 2차 최적화 기법에 사용된다.
- 최대 우도 추정(Maximum Likelihood Estimator)
- — 주어진 데이터가 관찰될 확률(우도)을 가장 높게 만드는 파라미터를 찾는 통계적 방법이다. 머신러닝에서 손실 함수를 정의하고 모델을 학습시키는 이론적 배경이 된다.
- 이차 형식(Quadratic Form)
- — 벡터와 행렬의 곱으로 표현되는 형태의 스칼라 함수이다. 머신러닝의 오차 제곱합이나 정규화 항(Regularization)을 수식으로 표현할 때 핵심적인 역할을 한다.
- 테일러 급수(Taylor Series)
- — 복잡한 함수를 특정 지점에서의 미분값들을 이용해 다항식으로 근사하는 방법이다. Gradient Descent의 작동 원리를 수학적으로 증명하거나 복잡한 손실 함수를 근사 최적화할 때 사용된다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 02. 19.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
