LLM을 활용한 Feature Engineering: 기법 및 Python 예제

섹션별 상세

전통적인 방식은 TF-IDF나 원-핫 인코딩처럼 단어 간의 관계나 감정적 맥락을 무시하는 통계적 패턴에 의존한다. LLM 기반 방식은 사전 학습된 지식을 바탕으로 데이터의 숨겨진 의도와 시맨틱 관계를 파악하여 더 풍부한 특징을 생성한다. 이를 통해 도메인 전문가의 수작업 시간을 대폭 단축하고 복잡한 데이터에서도 유의미한 신호를 찾아낸다. 결과적으로 단순 수치 변환보다 정교한 모델 입력값을 제공할 수 있다.

데이터 통합부터 모델 빌딩까지의 피처 엔지니어링 워크플로우 다이어그램 — Diagram데이터 통합, 품질 변환, 모델링 테이블 구축, 모델 학습으로 이어지는 전체 파이프라인을 시각화한다. LLM이 이 과정 중 'Feature Engineering' 단계에서 어떻게 원시 데이터를 모델링 가능한 테이블로 변환하는지 맥락을 제공한다.

SentenceTransformer와 같은 모델을 사용하여 텍스트를 고밀도 시맨틱 벡터인 임베딩으로 변환하여 모델의 입력 특징으로 활용한다. 임베딩은 단어 빈도 기반의 TF-IDF와 달리 'cat'과 'dog'의 유사성을 인식하는 등 문맥적 의미를 384차원 이상의 벡터 공간에 표현한다. 실제 코드 구현 시 텍스트 리스트를 모델에 입력하면 즉시 수치화된 행렬을 얻을 수 있어 ML 모델에 바로 결합 가능하다. 이는 단순 키워드 매칭을 넘어선 의미론적 분석을 가능하게 한다.

LLM에 특정 프롬프트를 입력하여 비정형 텍스트에서 감성, 제품 이슈, 성능 등 구조화된 정보를 추출하고 이를 독립된 피처 컬럼으로 변환한다. flan-t5-base와 같은 모델을 사용해 리뷰 텍스트에서 '긍정/부정'이나 '과열 여부' 같은 속성을 JSON 형식으로 출력하도록 유도할 수 있다. 추출된 데이터는 범주형 또는 수치형 변수로 변환되어 분류기나 회귀 모델의 학습 데이터로 즉시 사용된다. 사람이 일일이 라벨링하던 작업을 LLM이 대신 수행하여 데이터 전처리 효율을 높인다.

기존의 수치형 데이터(가격, 평점)와 LLM이 생성한 텍스트 임베딩을 결합하여 더 강력한 하이브리드 피처 공간을 구축한다. numpy의 hstack 등을 이용해 정형 데이터 행렬과 비정형 데이터의 벡터 표현을 수평으로 결합하여 하나의 통합된 학습 데이터셋을 만든다. 이 방식은 정형 데이터의 정확성과 비정형 데이터의 풍부한 맥락 정보를 동시에 활용할 수 있게 해준다. 실험 결과, 하이브리드 피처를 사용한 로지스틱 회귀 모델이 감성 분석 작업에서 95%의 높은 정확도를 달성했다.

기술

Python
Transformers
SentenceTransformer
flan-t5-base
Scikit-learn
Pandas
NumPy

활용 사례

감성 분석 분류기
고객 행동 패턴 카테고리화
하이브리드 추천 시스템

언급된 리소스

문서SentenceTransformer Documentation

문서Google FLAN-T5 Model Card