LLM을 밑바닥부터 학습하고 Exasol에 배포하기까지의 여정

섹션별 상세

AI 보조 도구(vibe coding)를 활용해 데이터 수집부터 배포까지 관리하는 제어 센터를 구축했다.

LLM 학습 애플리케이션의 학습 단계 UI. — Screenshot실시간 로그, 메트릭, GPU 사용량, 학습 진행 상황을 보여주는 대시보드를 통해 학습 파이프라인의 상태를 시각화한다.

밑바닥부터 학습을 시도했으나, 데이터 부족과 컴퓨팅 자원 제약으로 인해 의미 있는 언어 구조를 학습하는 데 실패했다.

근거

LLM을 밑바닥부터 학습하는 것은 데이터와 컴퓨팅 자원 측면에서 비효율적이다. — Where It Gets Real 섹션

GPT-2 모델을 파인튜닝하여 특정 질문 응답 작업에 최적화했고, 학습률 조절을 통해 기존 지식을 보존하며 성능을 개선했다.

질문 응답이 불가능한 사전 학습된 LLM의 결과 예시. — Screenshot파인튜닝 전 모델이 질문에 대해 부정확하거나 일관성 없는 답변을 생성하는 한계를 보여준다.

학습된 모델을 Exasol 데이터베이스 내 Python UDF로 통합하여 데이터 이동 없이 병렬 처리가 가능한 추론 환경을 구현했다.

python

CREATE OR REPLACE PYTHON3_TE SCALAR SCRIPT "EXASOL_DIB"."GPT2_INFERENCE" ("text" VARCHAR(10000) UTF8) RETURNS VARCHAR(10000) UTF8 AS from pathlib import Path from transformers import AutoTokenizer, AutoModelForCausalLM import torch, re MODEL_PATH = Path('/buckets/bfsailab/xxxxxx/ai-lab/models/xxxxxx/dirkllm_gpt2_question-answering') def run(ctx): tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH) model = AutoModelForCausalLM.from_pretrained(MODEL_PATH) model.eval() inputs = tokenizer(ctx.text, return_tensors='pt') with torch.no_grad(): out = model.generate(**inputs, max_new_tokens=128, pad_token_id=tokenizer.eos_token_id) decoded = tokenizer.decode(out[0], skip_special_tokens=True) m = re.search(r'(?i)answer\\\W*(.*?)(?=\
+|$)', decoded) return m.group(1).strip() if m else decoded

Exasol 데이터베이스 내에서 GPT-2 모델을 로드하고 추론을 수행하는 Python UDF 코드

파인튜닝 후 개선된 모델의 질문 응답 결과. — Screenshot파인튜닝을 통해 모델이 문맥을 이해하고 정확한 답변을 생성하는 능력이 향상되었음을 보여준다.

근거

학습된 모델을 Exasol 데이터베이스 내 Python UDF로 통합하여 데이터 이동 없이 병렬 처리가 가능한 추론 환경을 구현했다. — From Model to Production 섹션

용어 해설

바이브 코딩(Vibe Coding): — 구문 중심의 코딩 대신 의도와 목적에 집중하여 AI 코딩 어시스턴트와 대화하며 소프트웨어를 개발하는 방식. 프로토타이핑 속도를 높이지만 생성된 코드의 추상화 계층을 관리하는 노력이 필요하다.
파인튜닝(Fine-tuning): — 사전 학습된 모델의 가중치를 특정 작업에 맞게 미세하게 조정하는 과정. 전체 모델을 새로 학습하는 것보다 적은 자원으로 특정 도메인이나 작업에 최적화된 성능을 얻을 수 있다.
사용자 정의 함수(User-Defined Function): — 데이터베이스 시스템 내에서 사용자가 직접 정의하여 실행할 수 있는 함수. Exasol 환경에서는 이를 통해 데이터 이동 없이 데이터베이스 내부에서 모델 추론을 병렬로 수행한다.