OpenAutoNLU: 자연어 이해(NLU)를 위한 오픈소스 자동 머신러닝 라이브러리

NLU 모델 구축 시 데이터 양과 품질에 따라 적합한 학습 방식(Few-shot vs Full Fine-tuning)을 선택하는 것은 전문가의 영역이었다. OpenAutoNLU는 데이터 분포를 분석해 최적의 학습 경로를 자동으로 결정하고, 데이터 품질 진단과 OOD 탐지까지 통합하여 개발 생산성을 극대화한다.

기존 NLU 모델링은 데이터 양에 따라 전략이 완전히 달라진다. 데이터가 수십 개뿐일 때는 Few-shot 기법인 SetFit이 유리하고, 수천 개 이상일 때는 Transformer 전체 Fine-tuning이 성능이 좋다. 하지만 개발자가 매번 이를 실험하고 코드를 수정하는 것은 비효율적이다.

OpenAutoNLU는 '데이터 인식형(Data-aware)' 엔진을 통해 이 과정을 자동화한다. 입력된 데이터셋의 클래스당 최소 샘플 수($n_{min}$)를 기준으로 임계값을 설정하여, 5개 미만이면 AncSetFit, 80개 이하면 SetFit, 그 이상이면 Optuna 기반 하이퍼파라미터 최적화가 포함된 Full Fine-tuning을 즉시 실행한다.

또한 데이터의 '학습 가능성'을 수치화하는 Dataset Cartography 개념을 도입한다. 모델이 예측하기 어려워하는 'Hard-to-learn' 샘플이나 라벨이 잘못된 것으로 의심되는 데이터를 사전에 걸러내어, 적은 데이터로도 높은 신뢰도의 모델을 얻을 수 있게 한다.

전체 아키텍처는 auto_classes 모듈을 중심으로 데이터 로딩, 품질 평가, 방법론 결정, 학습, 평가, 모델 내보내기(ONNX)의 파이프라인으로 구성된다. 모든 파이프라인은 AbstractTrainingPipeline을 상속받아 일관된 인터페이스를 제공한다.

학습 체제 결정 로직은 $n_{min}$ 값에 따른 결정론적 선택 방식을 따른다. [클래스별 최소 샘플 수 입력 → 조건문 비교 연산 → 특정 Trainer 할당] 순으로 작동하며, 80개 초과 시에는 Tree-structured Parzen Estimator(TPE) 알고리즘을 사용하여 하이퍼파라미터 공간을 탐색한다.

데이터 품질 진단은 DatasetEvaluator를 통해 수행된다. 각 샘플에 대해 모델의 예측 확률 $p$를 입력받아 $-log(p)$ 기반의 신뢰도와 에포크별 변동성을 계산한다. 이를 통해 'Easy-to-learn', 'Ambiguous', 'Hard-to-learn' 영역으로 데이터를 분할하여 데이터 맵을 생성한다.

Banking77, HWU64, MASSIVE, SNIPS 등 4개 주요 인텐트 분류 데이터셋에서 AutoGluon, AutoIntent 등 기존 프레임워크와 비교 실험을 수행했다. OpenAutoNLU는 3개 데이터셋에서 최고 성능(Macro F1)을 기록했으며, 특히 데이터가 적은 Few-shot 환경에서 AutoIntent 대비 높은 성능 우위를 보였다.

OOD 탐지 성능 평가에서 OpenAutoNLU의 비지도(Unsupervised) 방식은 별도의 OOD 학습 데이터 없이도 높은 탐지 정확도를 기록했다. SNIPS 데이터셋의 경우 Supervised OOD 설정에서 0.782의 OOD F1 점수를 달성하며 실용성을 입증했다.

LLM 기반 테스트 셋 생성 실험(GPT-4o-mini 사용) 결과, 생성된 테스트 셋의 점수가 실제 테스트 셋 점수와 5%p 이내의 오차를 보여 실제 라벨링 데이터가 없는 환경에서도 신뢰할 수 있는 성능 지표를 제공함을 확인했다.

OpenAutoNLU는 Finetuner, SetFitMethod, AncSetFitMethod, TokenClassificationFinetuner의 네 가지 핵심 학습 엔진을 지원한다. 각 엔진은 공통 Method 베이스 클래스를 상속받아 모듈성을 확보했다.

데이터 품질 모듈은 Retag, Uncertainty, V-Information, Dataset Cartography의 네 가지 평가기를 포함한다. 특히 V-Information은 [학습된 모델의 손실값과 Null 모델의 손실값 비교 → 정보량 계산 → 샘플별 기여도 산출] 과정을 통해 유용한 정보를 제공하는 샘플을 식별한다.

OOD 탐지는 학습 체제에 따라 최적화된 변종을 제공한다. Fine-tuning 시에는 Marginal Mahalanobis Distance를, SetFit 시에는 Maximum Softmax Probability를 사용하며, 이를 ood_method 플래그 하나로 전환할 수 있는 구조를 갖췄다.

모델 배포를 위해 ONNX 내보내기를 기본 지원하며, 추론 매니저는 사용 가능한 하드웨어(CUDA, CoreML, CPU)를 자동 감지하고 메모리 부족 방지를 위한 자동 배치 사이즈 조절 기능을 포함한다.

데이터 기반 결정론적 최적화 전략이 모든 도메인에서 보편적으로 최적은 아닐 수 있으며, 향후 더 추상적인 데이터셋 특징을 기반으로 학습 방법을 결정하는 메타 모델 도입이 필요하다.