Qwen2.5-1.5B와 QLoRA를 활용한 영어 CEFR 숙련도 분류 모델 구축

실용적 조언

Hugging Face의 'yanou16/cefr-english-classifier' 경로를 통해 학습된 모델을 즉시 테스트해볼 수 있다.
데이터가 부족한 경우 Groq API와 같은 고성능 LLM을 활용해 제약 조건이 포함된 합성 데이터를 생성하여 학습에 활용하라.

섹션별 상세

작성자는 Qwen2.5-1.5B 모델을 4-bit NF4 양자화 기반의 QLoRA 기법으로 파인튜닝했다. 전체 파라미터의 약 0.28%에 해당하는 어댑터만 학습시켜 자원 효율성을 극대화했다. 이 방식은 저사양 GPU 환경에서도 LLM의 언어 이해 능력을 특정 도메인에 맞게 조정할 수 있음을 보여준다.

학습 데이터는 Llama-3.3-70B(Groq API)를 사용하여 생성된 1,785개의 합성 데이터셋을 활용했다. 어휘 복잡도, 문법적 진보, 문장 구조 변형 등 CEFR 단계별 언어적 패턴을 보존하도록 설계된 프롬프트를 통해 데이터를 확보했다. 6개의 CEFR 레벨과 10개의 도메인에 대해 균형 잡힌 데이터 구성을 갖췄다.

테스트 결과 179개의 샘플에 대해 정확도와 Macro F1 점수 모두 84.9%를 기록했다. 하위 단계인 A1에서는 96.6%의 높은 재현율을 보였으나, 최상위 단계인 C2에서는 60.0%로 상대적으로 낮은 성능을 보였다. 이는 C1과 C2 사이의 미묘한 언어적 경계로 인한 혼동이 주요 원인으로 분석됐다.

python

from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch

model = AutoModelForSequenceClassification.from_pretrained(
    "yanou16/cefr-english-classifier"
)
tokenizer = AutoTokenizer.from_pretrained(
    "yanou16/cefr-english-classifier"
)

text = "Artificial intelligence is transforming many industries."
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    pred = outputs.logits.argmax(dim=-1).item()
print(pred)

Transformers 라이브러리를 사용하여 학습된 CEFR 분류 모델을 로드하고 텍스트의 난이도를 예측하는 예시

모델 배포를 위해 FastAPI 기반의 추론 API와 Docker 환경을 구축하여 실무 활용 가능성을 높였다. Hugging Face에 모델과 토크나이저를 공개하여 누구나 Transformers 라이브러리로 쉽게 테스트할 수 있도록 구현했다. 작성자는 향후 C2 분류 성능 향상과 더 나은 벤치마킹 접근법에 대한 의견을 구하고 있다.

용어 해설

유럽 공통 언어 참조 프레임(CEFR): — 언어 능력을 A1(기초)부터 C2(능통)까지 6단계로 분류하는 국제 표준 지표이다. 이 프로젝트에서는 텍스트의 난이도를 분석하여 적절한 학습 수준을 판별하는 분류 작업의 타겟 레이블로 사용됐다.
양자화된 저순위 적응(QLoRA): — 4비트 양자화를 통해 메모리 사용량을 극도로 줄이면서 LLM을 파인튜닝하는 기법이다. 전체 파라미터 중 극소수(0.28%)만 학습시켜 저사양 하드웨어에서도 고성능 모델을 튜닝할 수 있게 한다.
4비트 노멀 플로트(NF4): — QLoRA에서 사용되는 데이터 타입으로, 가중치를 정규 분포 형태로 양자화하여 정보 손실을 최소화한다. 16비트 가중치를 4비트로 압축하면서도 모델의 추론 및 학습 성능을 유지하는 핵심 기술이다.

언급된 도구

Groq API추천

합성 데이터 생성을 위한 Llama-3.3-70B 모델 실행 환경

FastAPI추천

모델 추론을 위한 웹 API 서버 구축

Docker추천

애플리케이션 배포 및 환경 격리

언급된 리소스

DemoCEFR English Classifier (Hugging Face)