데이터 사이언티스트가 반드시 마스터해야 할 확률 및 통계 인터뷰 질문 15가지

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

데이터 과학자에게 코딩 능력보다 중요한 것은 불확실성 속에서 데이터를 올바르게 해석하는 통계적 직관이다. 이 글은 베이지안 추론, 중심 극한 정리, A/B 테스트 설계 등 실제 인터뷰에서 빈번하게 출제되는 15가지 핵심 통계 개념을 상세히 기술한다. 각 항목은 수학적 정의와 함께 비즈니스 의사결정에서의 실제 적용 사례와 파이썬 구현 코드를 포함한다. 이를 통해 독자는 단순한 공식 암기를 넘어 데이터 생성 원리와 가설 검정의 한계를 깊이 있게 이해할 수 있다.

배경

기초 통계학, Python 프로그래밍, 머신러닝 기본 개념

대상 독자

데이터 사이언티스트 취업 준비생 및 실무 분석가

의미 / 영향

통계적 직관은 자동화된 ML 도구가 대체할 수 없는 데이터 과학자의 핵심 역량이다. 이 지식은 단순 면접 통과를 넘어 실무에서 데이터의 왜곡을 방지하고 신뢰할 수 있는 비즈니스 인사이트를 도출하는 밑바탕이 된다.

섹션별 상세

Monty Hall 문제는 조건부 확률과 정보 획득의 원리를 평가하는 대표적인 사례이다. 참가자가 처음 선택한 문 뒤에 자동차가 있을 확률은 1/3이지만, 호스트가 염소가 있는 문을 열어 정보를 제공하면 남은 문으로 바꿨을 때의 승률은 2/3로 상승한다. 이는 호스트의 행동이 무작위가 아니라는 전제하에 Bayes 정리를 적용하여 사후 확률을 업데이트하는 과정을 나타낸다.

이항 분포(Binomial)와 포아송 분포(Poisson)의 차이는 데이터 생성 과정의 가정에 있다. 이항 분포는 고정된 시행 횟수(n)와 일정한 성공 확률(p)을 가진 독립 시행에서의 성공 횟수를 모델링하며, 포아송 분포는 고정된 시간이나 공간 간격 내에서 발생하는 사건의 횟수를 포함한다. n이 매우 크고 p가 매우 작을 때 이항 분포가 포아송 분포로 수렴한다는 포아송 극한 정리는 실무적인 모델 선택의 기준이 된다.

중심 극한 정리(CLT)는 모집단의 분포와 상관없이 표본 평균의 분포가 정규 분포에 가까워진다는 원리이다. 이는 표본 크기(n)가 충분히 클 때 왜곡된 분포를 가진 데이터에 대해서도 모수적 검정을 수행할 수 있는 수학적 근거가 된다. 파이썬의 scipy 라이브러리를 활용해 표본 크기가 증가함에 따라 평균의 분포가 종 모양으로 수렴하는 과정을 확인할 수 있다.

python

import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

# Skewed population
pop = np.random.exponential(scale=2, size=100000)

def plot_clt(population, sample_size, n_samples=1000):
    means = [np.mean(np.random.choice(population, size=sample_size)) for _ in range(n_samples)]
    sns.histplot(means, kde=True)
    plt.title(f"Sample Size: {sample_size}")
    plt.show()

plot_clt(pop, 100)

지수 분포를 따르는 모집단에서 표본 평균의 분포가 정규 분포로 수렴하는 중심 극한 정리를 시각화하는 예시

P-값(P-value)은 귀무가설이 참이라는 가정하에 관찰된 데이터보다 극단적인 결과가 나타날 확률을 의미한다. 이는 귀무가설이 참일 확률이 아니라 귀무가설에 반하는 증거의 강도를 측정하는 척도이다. 다중 비교 문제가 발생할 경우 1종 오류 확률이 높아지므로 본페로니 교정 등을 통해 유의 수준을 조정해야 한다.

A/B 테스트의 샘플 크기 결정은 최소 탐지 가능 효과(MDE), 유의 수준, 통계적 검정력의 관계를 이해하는 것이 핵심이다. MDE가 작을수록 신호와 노이즈를 구분하기 위해 더 많은 샘플이 필요하며, 파이썬의 statsmodels 패키지를 사용하여 비즈니스 목표에 부합하는 실험 설계를 정량화할 수 있다. 층화 추출은 모집단을 하위 그룹으로 나누어 샘플링함으로써 단순 무작위 추출보다 추정치의 분산을 줄이는 효과가 있다.

python

from statsmodels.stats.power import NormalIndPower
import statsmodels.stats.proportion as proportion

# Effect size for proportions
h = proportion.proportion_effectsize(0.10, 0.12) # 10% to 12% conversion
analysis = NormalIndPower()
n = analysis.solve_power(effect_size=h, alpha=0.05, power=0.8, ratio=1.0)
print(f"Sample size needed per variation: {int(np.ceil(n))}")

두 집단의 전환율 차이를 감지하기 위해 필요한 샘플 크기를 계산하는 통계적 검정력 분석 예시

심슨의 역설(Simpson's Paradox)은 여러 하위 그룹에서 나타난 추세가 데이터를 합쳤을 때 정반대로 뒤집히는 현상이다. 이는 교란 변수를 통제하지 못했을 때 발생하며, 데이터 과학자는 고수준의 평균 데이터만 보고 결론을 내리기 전에 반드시 데이터를 세분화하여 잠재적인 불균형을 확인해야 한다. 인과 관계 그래프(DAG)를 활용하여 이러한 교란 경로를 식별하고 차단하는 것이 고급 분석의 핵심이다.

실무 Takeaway

RAG 시스템이나 추천 모델의 성능 평가 시 단순 평균에 의존하지 말고 심슨의 역설을 방지하기 위해 데이터를 세분화하여 분석한다.
A/B 테스트 설계 시 최소 탐지 가능 효과(MDE)와 통계적 검정력을 사전에 계산하여 실험에 필요한 정확한 샘플 크기를 확보한다.
모델의 과적합을 방지하기 위해 L1(Lasso) 또는 L2(Ridge) 정규화를 적용하고, 변수 선택이 필요한 경우 계수를 0으로 만드는 L1 방식을 선택한다.

언급된 리소스

튜토리얼Data Science Interview Prep course