서포트 벡터 머신(SVM)의 시각적 분석: 마진, 커널 및 하이퍼플레인

작성자가 시각화한 SVM의 개념적 깊이에 대해 긍정적인 반응이 예상되며, 특히 커널 트릭과 서포트 벡터의 역할에 대한 이해도를 묻는 질문이 던져졌다.

• 데이터가 겹치는 구간이 많을 경우 하드 마진 대신 소프트 마진과 적절한 C 파라미터를 설정하여 과적합을 방지해야 한다.
• 복잡한 비선형 패턴에는 RBF 커널을 우선 고려하되, 데이터의 차원과 샘플 수에 따라 커널 선택을 신중히 해야 한다.

서포트 벡터 머신(Support Vector Machine)

— 데이터를 분류하기 위해 데이터군 사이의 거리를 최대화하는 최적의 결정 경계(하이퍼플레인)를 찾는 지도 학습 모델이다. 마진을 최대화하여 일반화 성능을 높이는 것이 핵심이며, 분류와 회귀 작업 모두에 사용된다.

커널 트릭(Kernel Trick)

— 저차원에서 선형 분리가 불가능한 데이터를 고차원 공간으로 매핑하여 선형 분리가 가능하도록 만드는 수학적 기법이다. 실제 고차원 계산 없이 내적만을 이용해 효율적으로 비선형 문제를 해결한다.

힌지 손실(Hinge Loss)

— SVM 학습에서 결정 경계와 데이터 사이의 거리를 측정하는 손실 함수이다. 데이터가 마진 밖에 올바르게 분류되면 0을, 마진 내부나 잘못된 쪽에 있으면 거리에 비례한 손실을 부여하여 마진 최대화를 유도한다.

서포트 벡터(Support Vector)

— 결정 경계와 가장 가까이 위치하여 경계의 위치와 방향을 결정하는 핵심 데이터 포인트들이다. 전체 데이터 중 이들 소수 포인트만이 모델의 최종 경계를 정의하므로 메모리 효율적이다.

RBF 커널(RBF Kernel)

— 방사 기저 함수를 사용하는 커널로, 데이터를 무한 차원의 공간으로 매핑하여 매우 복잡한 비선형 결정 경계를 생성할 수 있다. 가우시안 분포를 기반으로 데이터 간의 유사도를 측정한다.