온라인 번스타인-폰 미제스 정리

섹션별 상세

온라인 학습은 전체 데이터를 한 번에 처리하는 배치 학습과 달리, 순차적으로 들어오는 미니배치를 통해 파라미터를 점진적으로 업데이트하는 방식이다.

베이지안 프레임워크는 새로운 미니배치가 관측될 때마다 이전 단계의 사후 분포를 새로운 사전 분포로 사용하여 믿음을 갱신하므로 온라인 학습 구조에 자연스럽게 부합한다.

모델과 사전 분포가 공액 관계가 아닌 일반적인 경우에는 재귀적인 베이지안 갱신이 계산적으로 불가능하며, 이를 해결하기 위해 각 단계에서 사후 분포를 정규 분포로 대체하는 변분 근사를 도입한다.

번스타인-폰 미제스 정리에 근거하여 근사된 사후 분포의 빈도주의적 성질을 분석한 결과, 미니배치 크기가 파라미터 차원에 비례하는 특정 임계값을 넘어서면 단계별 근사 오차의 누적이 무시할 수 있는 수준이 된다.

최종적으로 순차 업데이트를 통해 얻은 사후 분포는 전체 데이터를 한꺼번에 학습하여 얻은 전체 사후 분포와 점근적으로 구별할 수 없을 만큼 유사한 특성을 가진다.

용어 해설

번스타인-폰 미제스 정리(Bernstein-von Mises Theorem): — 표본 크기가 커짐에 따라 베이지안 사후 분포가 모수의 참값을 중심으로 하는 정규 분포에 수렴한다는 정리다. 이는 데이터가 충분할 때 베이지안 추론 결과가 빈도주의적 최대 가능도 추정량과 통계적으로 동일해짐을 의미하며, 복잡한 사후 분포를 정규 분포로 근사할 수 있는 이론적 근거를 제공한다.
변분 근사(Variational Approximation): — 계산이 복잡하여 직접 구하기 어려운 사후 분포를 다루기 쉬운 확률 분포 가족 중 하나로 대체하여 최적화 문제를 통해 근사하는 기법이다. 온라인 학습 환경에서 매 단계마다 발생하는 복잡한 베이지안 업데이트를 효율적인 계산 과정으로 변환하며, 대규모 데이터셋에서도 실시간 추론을 가능하게 하는 핵심적인 역할을 수행한다.
공액 사전 분포(Conjugate Prior): — 사전 분포와 가능도 함수의 곱으로 계산되는 사후 분포가 사전 분포와 동일한 유형의 확률 분포가 되도록 하는 특정 분포 쌍이다. 이를 사용하면 복잡한 적분 계산 없이 파라미터만 업데이트하여 사후 분포를 즉시 얻을 수 있어 계산 효율성이 극대화되지만, 실제 복잡한 모델에서는 적용 가능한 범위가 제한적이라는 단점이 있다.
온라인 학습(Online Learning): — 데이터를 한꺼번에 학습하지 않고 순차적으로 입력되는 데이터 스트림이나 미니배치를 활용해 모델을 실시간으로 업데이트하는 기계 학습 패러다임이다. 데이터가 방대하거나 시간에 따라 변하는 환경에서 전체 데이터를 다시 학습할 필요 없이 효율적으로 파라미터를 갱신할 수 있어 실무 활용도가 높다.

기술

Bayesian Inference
Variational Inference
Online Learning

활용 사례

실시간 데이터 스트림 분석
대규모 파라미터 모델의 점진적 학습
자원 제한 환경에서의 베이지안 업데이트

언급된 리소스

논문Online Bernstein-von Mises theorem