LLM 시대를 위한 데이터 엔지니어링 가이드

섹션별 상세

과거 데이터 엔지니어링은 정형 데이터를 데이터 웨어하우스로 옮겨 BI를 지원하는 데 집중했으나, LLM 시대에는 PDF, 통화 녹취록, 코드와 같은 비정형 데이터를 모델이 이해할 수 있도록 변환하는 것이 핵심이다.

LLM 학습을 위한 데이터 엔지니어링은 수조 개의 토큰을 처리하는 규모(Volume), 모델의 일반화 능력을 위한 다양성(Diversity), 그리고 노이즈와 중복을 제거하여 성능을 높이는 품질(Quality) 관리가 필수적이다.

RAG 아키텍처는 내부 문서를 청킹하고 임베딩 모델을 통해 벡터로 변환하여 벡터 DB에 저장한 뒤, 사용자 질문과 유사한 맥락을 검색하여 LLM에 전달함으로써 모델의 환각 현상을 줄이고 최신 정보를 제공한다.

Pinecone, Weaviate 같은 벡터 데이터베이스와 LangChain, LlamaIndex 같은 오케스트레이션 프레임워크가 기존의 ETL 도구 및 데이터 웨어하우스와 결합하여 현대적인 AI 데이터 스택을 형성한다.

생성형 AI 결과물은 단순 정확도 측정이 어렵기 때문에, 데이터 엔지니어는 쿼리, 검색된 컨텍스트, 응답을 모두 로깅하여 데이터 유입, 검색, 생성 단계 중 어디에서 실패가 발생하는지 추적하는 관측성 파이프라인을 구축해야 한다.

용어 해설

검색 증강 생성(RAG): — 외부 지식 베이스에서 관련 정보를 검색하여 LLM의 입력 프롬프트에 추가하는 기술이다. 모델이 학습하지 않은 최신 데이터나 내부 문서를 참조하게 함으로써 환각 현상을 줄이고 답변의 정확도를 높이는 데 핵심적인 역할을 한다.
벡터 데이터베이스(Vector Database): — 데이터를 수치화된 벡터 형태로 저장하고 고차원 공간에서 유사도 검색을 수행하는 데이터베이스이다. 텍스트의 의미적 유사성을 기반으로 관련 정보를 빠르게 찾아내야 하는 RAG 시스템의 저장소로 주로 활용된다.
임베딩 모델(Embedding Model): — 텍스트와 같은 데이터를 고차원의 수치 벡터로 변환하는 인공지능 모델이다. 단어나 문장의 의미적 맥락을 보존하면서 숫자로 표현하여, 컴퓨터가 텍스트 간의 유사성을 계산할 수 있도록 지원한다.
청킹(Chunking): — 긴 문서를 LLM의 컨텍스트 창 크기에 맞춰 작은 단위로 나누는 과정이다. 적절한 크기로 쪼개야 검색 시 관련성 높은 정보를 정확히 추출할 수 있으며, 정보의 손실이나 중복을 방지하는 전략이 중요하다.
데이터 리니지(Data Lineage): — 데이터의 생성부터 변경, 이동 과정을 추적하여 데이터의 흐름을 기록하는 기술이다. LLM 시스템에서 모델의 비정상적인 동작 원인을 파악하거나 데이터의 출처를 검증하는 디버깅 및 컴플라이언스 도구로 사용된다.

기술

GPT-4
Llama
Claude
Apache Spark
Pinecone
Weaviate
Milvus
pgvector
LangChain
LlamaIndex

활용 사례

RAG 시스템 구축
LLM 파인튜닝 데이터 준비
AI 애플리케이션 모니터링 및 관측성 확보