데이터 이상치 탐지의 다섯 가지 핵심 접근법 비교

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

데이터 분석에서 이상치는 모델의 성능을 심각하게 저하시킬 수 있다. KDnuggets의 글은 다섯 가지 주요 접근법을 제시하며 각 방법의 원리와 파이썬 예제를 통해 실무 적용 방법을 보여준다. 먼저 Z-스코어는 평균과 표준편차를 바탕으로 벗어난 포인트를 찾지만 정규성 가정에 의존하고 극단값에 민감하다. 다음으로 IQR은 Q1과 Q3 사이의 간격을 이용해 1.5배의 IQR 밖에 위치한 값을 이상치로 간주하므로 비정규 분포에서도 비교적 안정적이다. 세 번째로 Isolation Forests는 다차원 데이터에서 트리 기반으로 이상치를 격리하는 비지도 학습 기법으로, 데이터 구조에 관계없이 탐지가 가능하다. 네 번째로 MAD는 중앙값 기반의 강건한 지표를 통해 이상치를 탐지하며, 일반적으로 1차원 데이터에 적합하다. 다섯 번째로 DBSCAN은 밀도 기반으로 이상치를 노이즈로 간주하는 방식으로 다양한 차원의 데이터에 적용할 수 있다. 실무에서는 데이터 특성에 맞춰 이들 방법을 적절히 조합해 사용하는 것이 좋으며, 파라미터 조정에 따른 민감도 차이를 염두에 두어야 한다.

섹션별 상세

데이터 분석에서 이상치는 모델의 성능을 크게 떨어뜨리는 주요 원인이다. Z-스코어 방법은 각 포인트가 평균에서 얼마나 벗어났는지 표준편차 단위로 측정하고 임계값 3을 넘는 경우 이상치로 간주한다. 하지만 이 방식은 데이터가 정규분포를 따른다는 가정에 의존하고, 극단값에 민감하게 반응한다. 실무에선 예시 데이터에서 250 같은 값이 이상치로 확인되며, 데이터 특성에 맞춘 보정이 필요하다.

근거

Z-score method flags data points with a Z-score of 3 or higher as outliers. — The Z-Score Method

일반적으로 이 방법은 데이터가 정규분포가 아닐 때도 더 강건하게 동작하는 IQR를 활용한다. Q1과 Q3 사이의 IQR를 기준으로 상하 한계를 1.5배의 IQR로 설정하고, 그 범위를 벗어난 값들을 이상치로 간주한다. 설정된 울타리는 이상치의 영향이 중앙값에 덜 영향을 받도록 한다. 예시 데이터에서도 250은 Q1-1.5*IQR, Q3+1.5*IQR 바깥에 있어 이상치로 확인된다.

근거

IQR uses Q1 and Q3 with a 1.5×IQR fence to mark outliers outside the fences. — The Interquartile Range (IQR) Method

고차원 데이터에 대한 복합적 패턴 탐지에는 Isolation Forests가 효과적이다. 나무 partition을 통해 이상치를 '격리'시키는 아이디어로, 일반 데이터보다 이상치가 더 쉽게 분리될수록 점수로 예측되어 이상치로 간주된다. 제공된 예시 코드에서 contamination=0.1로 설정하면 10%를 이상치로 간주하도록 학습한다. 다차원 구조를 가진 데이터에서도 의미 있는 결과를 얻을 수 있는 강력한 비지도 학습 기법이다.

근거

Isolation Forests isolate anomalies easily, making them identifiable as outliers. — Isolation Forests

MAD는 중앙값을 중심으로 절대편차를 이용해 더 강건한 이상치 스코어를 만든다. 데이터가 한 차원일 때 주로 사용되며, 수정된 z-점수(modified_z_scores) 값이 3을 넘으면 이상치로 판단한다. MAD의 강건성 덕에 극단값이 평균이나 분산에 주는 영향이 줄어든다. 예시에서 250은 MAD 기반 검사에서 벗어난 값으로 식별된다.

밀도 기반의 DBSCAN은 공간적 데이터나 다차원 데이터에서 이상치를 노이즈로 간주해 탐지한다. eps와 min_samples 파라미터로 군집을 형성하고, 밀도가 낮은 영역의 포인트는 -1로 라벨링되어 이상치로 간주된다. 이 접근은 다차원 구조를 가진 데이터에서 이상치를 포괄적으로 식별하는 데 유용하다. 다만 파라미터 설정에 따라 감도가 달라질 수 있어 데이터 특성에 맞춘 조정이 필요하다.

이미지 분석

Diagram
본문의 다섯 가지 방법과 데이터 공간의 이상치를 시각적으로 연결하는 다이어그램으로, 각 기법의 포인트 식별 원리를 한눈에 보여준다. 원 안의 군집과 바깥의 포인트들은 이상치를 구분하는 구체적 아이디어를 직관적으로 전달한다.
5가지 이상치 탐지 접근법을 도식화한 그림

용어 해설

Z-점수(Z-score): — 데이터 값이 평균으로부터 몇 표준편차나 떨어져 있는지를 나타내는 표준화 지표로, 보통 3표준편차를 넘으면 이상치로 간주하는 간단한 방법이다.
IQR(Interquartile Range): — 데이터의 25번째 백분위수(Q1)와 75번째 백분위수(Q3) 사이의 범위를 나타내며, IQR의 1.5배 밖에 위치한 값들을 이상치로 간주하는 강건한 방법이다.
Isolation Forests(Isolation Forests): — 다차원 데이터에서 트리 구조를 이용해 이상치를 '격리'시키는 비지도 학습 기법으로, 이상치일수록 쉽게 분리되는 특성을 활용한다.
MAD: — 중앙값을 기준으로 절대편차를 활용해 이상치를 탐지하는 강건한 척도이며, 보통 비정규 분포에서 유효하게 작동한다.
DBSCAN: — 밀도 기반 군집 알고리즘으로, 데이터 포인트의 밀도가 낮은 영역의 포인트를 노이즈로 간주하여 이상치를 식별한다.

근거 모음

근거

Outliers can easily ruin the performance of any predictive analysis models you build. — Introduction

기술

numpy
scikit-learn
scipy

활용 사례

데이터 품질 개선
이상치가 성능에 미치는 영향 완화
다차원 데이터의 이상치 탐지