2달러로 LLM을 정밀한 분류기로 변환하는 방법

핵심 요약

대형 언어 모델(LLM)의 텍스트 생성 능력을 활용하여 특정 클래스 토큰의 확률을 직접 분류 결과로 사용하는 효율적인 방법론이다. 별도의 분류 헤드를 추가하는 대신 'Yes/No'와 같은 토큰 확률을 활용하며, 파인튜닝을 거치면 이 확률이 자연스럽게 보정(Calibration)되어 추가 계산 없이도 높은 신뢰도를 제공한다. AG News 데이터셋 실험 결과, 단 2달러의 비용으로 정확도와 보정 성능이 모두 우수한 분류 모델을 구축할 수 있음이 입증되었다. 이는 기존 LLM 인프라를 변경하지 않고도 고성능 분류 시스템을 구축할 수 있는 실용적인 경로를 제시한다.

배경

LLM 파인튜닝 기초, Softmax 확률 개념, LoRA(Low-Rank Adaptation)

대상 독자

LLM을 활용해 감성 분석, 의도 분류, 콘텐츠 필터링 시스템을 구축하려는 머신러닝 엔지니어

의미 / 영향

LLM의 활용 범위를 단순 생성을 넘어 정밀한 의사결정 도구로 확장하며, 특히 고비용의 분류 전용 모델 없이도 범용 모델의 파인튜닝만으로 충분한 성능을 낼 수 있음을 보여준다. 이는 기업의 AI 도입 비용을 획기적으로 낮추고 기존 LLM 서빙 인프라의 활용도를 극대화하는 계기가 될 것이다.

섹션별 상세

LLM을 분류기로 사용하는 방식에는 분류 헤드 추가와 토큰 기반 분류 두 가지가 존재한다. 분류 헤드 추가는 아키텍처 변경이 필요해 서빙 인프라 호환성이 떨어지지만, 토큰 기반 방식은 기존 어휘 사전을 그대로 활용하므로 인프라 변경 없이 즉시 적용 가능하다. 특히 토큰 기반 방식은 모델의 일반적인 특성을 유지하면서도 특정 클래스에 대한 확률값을 직접 추출할 수 있어 프로덕션 환경에 유리하다.

토큰 기반 분류에서 가장 중요한 요소는 모델이 출력하는 확률값이 실제 정답 확률과 일치하는 보정(Calibration) 성능이다. 일반적으로는 클래스 토큰들만 모아 확률을 재정규화해야 하지만, 파인튜닝을 거치면 모델이 자연스럽게 클래스 토큰에 확률 질량을 집중시키므로 재정규화 과정이 불필요해진다. 수학적 분석에 따르면 경사 하강법 학습 과정에서 타겟 클래스 외의 토큰 확률은 자연스럽게 0으로 수렴하게 된다.

Fireworks AI 플랫폼에서 Qwen-4B 모델을 LoRA로 파인튜닝하여 AG News 데이터셋으로 실험한 결과가 이를 뒷받침한다. 학습이 진행됨에 따라 정확도와 보정 지표가 동시에 1.0에 수렴하는 것이 확인되었으며, 이는 표준적인 지도 학습(SFT)만으로도 LLM의 기본 토큰 분포를 신뢰할 수 있는 분류 확률로 변환할 수 있음을 의미한다. 전체 학습 비용은 약 2달러 수준으로 매우 경제적이다.

파인튜닝이 어려운 환경에서는 Embeddings API의 return_logits 옵션을 활용하여 특정 토큰들에 대한 소프트맥스 확률을 직접 받아볼 수 있다. 이 방식은 모델을 수정하지 않고도 정규화된 클래스 확률을 얻을 수 있는 실용적인 대안을 제공한다. 서버 측에서 지정된 라벨 토큰들에 대해서만 소프트맥스를 적용하여 합이 1이 되는 확률 분포를 반환하므로 클라이언트 측의 복잡한 계산을 줄여준다.