합성 데이터 생성을 위한 유용한 Python 스크립트 5가지

섹션별 상세

단순 무작위 데이터 생성의 한계와 비즈니스 로직 적용: random과 csv 모듈을 사용해 고객 데이터를 생성할 때, 모든 값을 독립적으로 무작위 추출하면 현실적이지 않은 데이터가 만들어진다. 이를 해결하기 위해 가중치 기반의 선택(random.random() 활용)과 컬럼 간 상관관계(예: 연령에 따른 지출액 차이)를 반영하는 조건부 로직을 추가하여 데이터의 현실성을 높이는 방법을 제시한다.

python

def choose_plan():
    roll = random.random()
    if roll < 0.5: return "Free"
    elif roll < 0.8: return "Basic"
    elif roll < 0.95: return "Pro"
    else: return "Enterprise"

def generate_spend(age, plan):
    base = {"Free": 0, "Basic": 20, "Pro": 50, "Enterprise": 200}[plan]
    if plan != "Free":
        base += random.uniform(0, 50)
    if age >= 40:
        base *= 1.15
    return round(base, 2)

가중치 기반 선택과 컬럼 간 상관관계를 반영하여 현실적인 고객 지출 데이터를 생성하는 로직

프로세스 시뮬레이션을 통한 동적 데이터 생성: 단순히 행을 채우는 방식이 아니라 창고 재고 관리와 같은 특정 비즈니스 프로세스를 시뮬레이션하여 데이터를 생성한다. 주문 발생, 재고 감소, 백오더 발생 등의 상태 변화를 시간에 따라 추적함으로써 단순 통계적 분포보다 훨씬 복잡하고 유기적인 데이터셋을 구축할 수 있다.

시계열 데이터의 계절성과 노이즈 구현: 웹사이트 트래픽과 같은 시계열 데이터 생성 시 datetime 모듈과 가우시안 분포(random.gauss)를 결합한다. 주말 효과, 시간대별 피크 타임, 무작위 노이즈를 수식으로 정의하여 실제 환경에서 관찰되는 주기적 패턴과 변동성을 정교하게 모사하는 기법을 설명한다.

python

for ts in (start + timedelta(hours=i) for i in range(24 * 7)):
    base = 80
    hour = ts.hour
    if 8 <= hour <= 11:
        base += 60
    elif 18 <= hour <= 21:
        base += 40
    elif 0 <= hour <= 5:
        base -= 30
    visits = max(0, int(random.gauss(base, 15)))
    rows.append({"timestamp": ts.isoformat(), "visits": visits})

시간대별 피크 타임과 가우시안 노이즈를 결합하여 웹 트래픽 시계열 데이터를 생성하는 예시

사용자 행동 분석을 위한 이벤트 로그 생성: 한 사용자당 여러 개의 행동(가입, 로그인, 구매 등)을 생성하여 분석 파이프라인 테스트에 적합한 로그 데이터를 만든다. 이전 행동에 의존적인 이벤트 발생 로직(예: 로그인을 해야 구매 가능)을 설계함으로써 퍼널 분석이나 이상 탐지 실험에 활용 가능한 고품질 로그를 생성하는 방법을 다룬다.

python

for user_id in range(1, 201):
    event_count = random.randint(5, 30)
    current_time = start + timedelta(days=random.randint(0, 10))
    for _ in range(event_count):
        event = random.choice(events)
        if event == "purchase" and random.random() < 0.6:
            value = round(random.uniform(10, 300), 2)
        else:
            value = 0.0
        rows.append({
            "user_id": f"USER{user_id:04d}",
            "event_time": current_time.isoformat(),
            "event_name": event,
            "event_value": value
        })
        current_time += timedelta(minutes=random.randint(1, 180))

사용자별 세션 유지 시간과 행동 의존성을 반영한 이벤트 로그 생성 스크립트

템플릿 기반의 NLP 합성 텍스트 생성: 대규모 언어 모델(LLM)을 사용하지 않고도 미리 정의된 이슈 템플릿과 톤(Tone)의 조합을 통해 고객 지원 티켓과 같은 텍스트 데이터를 생성한다. 이는 텍스트 분류 모델의 데모 제작이나 의도 탐지(Intent Detection) 시스템의 초기 평가용 데이터셋을 빠르게 구축하는 데 효과적이다.

용어 해설

합성 데이터(Synthetic Data): — 실제 세계에서 수집된 것이 아니라 알고리즘이나 모델을 통해 인공적으로 생성된 데이터이다. 실제 데이터의 통계적 특성과 패턴을 유지하면서도 개인정보 보호 문제를 회피하고 데이터 수집 비용을 절감할 수 있어 모델 학습 및 테스트에 필수적이다.
랜덤 시드(Random Seed): — 난수 생성 알고리즘이 숫자를 생성할 때 사용하는 시작점 값이다. 동일한 시드 값을 설정하면 난수 생성 결과가 항상 일정하게 유지되므로, 합성 데이터 생성 실험의 재현성을 확보하고 디버깅을 용이하게 하는 데 매우 중요하다.
가우시안 분포(Gaussian Distribution): — 평균을 중심으로 좌우 대칭인 종 모양을 가진 확률 분포로 정규 분포라고도 불린다. 자연계의 많은 현상을 모델링하는 데 쓰이며, 합성 데이터 생성 시 실제 데이터에서 발생하는 무작위 노이즈나 변동성을 현실적으로 모사하기 위해 활용된다.
이벤트 로그(Event Log): — 시스템 내에서 발생하는 개별 동작이나 사건을 시간 순서대로 기록한 데이터이다. 사용자 ID, 타임스탬프, 행동 유형 등을 포함하며, 퍼널 분석이나 이상 탐지 모델의 성능을 검증하기 위한 합성 데이터셋의 주요 형태 중 하나이다.

기술

Python
CSV
JSON

활용 사례

모델 성능 테스트
개인정보 보호 데이터셋 구축
API 및 대시보드 데모

def choose_plan(): roll = random.random() if roll < 0.5: return "Free" elif roll < 0.8: return "Basic" elif roll < 0.95: return "Pro" else: return "Enterprise" def generate_spend(age, plan): base = {"Free": 0, "Basic": 20, "Pro": 50, "Enterprise": 200}[plan] if plan != "Free": base += random.uniform(0, 50) if age >= 40: base *= 1.15 return round(base, 2)

for ts in (start + timedelta(hours=i) for i in range(24 * 7)): base = 80 hour = ts.hour if 8 <= hour <= 11: base += 60 elif 18 <= hour <= 21: base += 40 elif 0 <= hour <= 5: base -= 30 visits = max(0, int(random.gauss(base, 15))) rows.append({"timestamp": ts.isoformat(), "visits": visits})

for user_id in range(1, 201): event_count = random.randint(5, 30) current_time = start + timedelta(days=random.randint(0, 10)) for _ in range(event_count): event = random.choice(events) if event == "purchase" and random.random() < 0.6: value = round(random.uniform(10, 300), 2) else: value = 0.0 rows.append({ "user_id": f"USER{user_id:04d}", "event_time": current_time.isoformat(), "event_name": event, "event_value": value }) current_time += timedelta(minutes=random.randint(1, 180))

합성 데이터 생성을 위한 유용한 Python 스크립트 5가지

섹션별 상세

용어 해설

기술

활용 사례

합성 데이터 생성을 위한 유용한 Python 스크립트 5가지

섹션별 상세

용어 해설

기술

활용 사례

관련 토론

댓글

관련 기사

AI 코드 생성기, 신뢰하고 사용할 수 있을까?

LLM 이전에 알아야 할 머신러닝 7가지이다. 이 글은 데이터 과학자를 주요 독자로 삼았다. 간단한 설명과 Python 코드가 함께 제공된다.

관련 토론

댓글

관련 기사

AI 코드 생성기, 신뢰하고 사용할 수 있을까?

LLM 이전에 알아야 할 머신러닝 7가지이다. 이 글은 데이터 과학자를 주요 독자로 삼았다. 간단한 설명과 Python 코드가 함께 제공된다.