Banking77 테스트 세트에서 94.42% 정확도 달성: LLM 없는 경량 시스템의 성과

실용적 조언

거대 모델 도입 전 경량 임베딩과 리랭킹 조합의 성능을 먼저 검토하여 비용과 자원을 절약할 수 있다.
Seed AutoArch와 같은 프레임워크를 활용해 아키텍처를 최적화하면 SOTA급 성능 도달이 가능하다.

섹션별 상세

Banking77 데이터셋은 77개의 세분화된 뱅킹 의도와 노이즈가 섞인 실제 쿼리, 클래스 간 중첩으로 인해 난이도가 높다. 작성자는 Seed AutoArch 프레임워크를 활용해 공식 테스트 세트에서 94.42%의 정확도와 0.9441의 Macro-F1 점수를 기록했다. 이는 기존 93.83% 베이스라인 대비 0.59%p 향상된 수치이며 공개 리더보드에서 SOTA와 0.52%p 차이로 2위에 올랐다.

시스템은 7B 이상의 파라미터를 가진 거대 언어 모델(LLM)을 배제하고 경량 임베딩과 예시 리랭킹 기술을 결합하여 작동한다. 입력 쿼리에 대해 임베딩 기반 검색을 수행한 후 관련 예시들을 재순위화하여 최종 의도를 분류하는 방식이다. 이러한 구조는 모델 크기를 최소화하면서도 특정 도메인에서의 분류 정밀도를 극대화하기 위해 채택됐다.

성능 지표 측면에서 추론 시간은 약 225ms, 메모리 사용량은 약 68 MiB로 측정되어 하드웨어 자원이 제한된 환경에서도 실행 가능하다. 대규모 인프라 없이도 고성능 의도 분류 시스템을 구축할 수 있음을 실증했다. 작성자는 조만간 Hugging Face Space를 통해 결과물과 데모를 공개할 예정이다.

용어 해설

뱅킹77(Banking77): — 77개의 세분화된 은행 관련 의도(Intent)를 분류하기 위한 벤치마크 데이터셋이다. 실제 사용자의 노이즈 섞인 쿼리와 클래스 간 유사도가 높은 데이터로 구성되어 의도 분류 모델의 성능을 평가하는 표준 지표로 활용된다.
의도 분류(Intent Classification): — 사용자의 입력 문장이나 발화에서 목적이나 의도를 파악하여 미리 정의된 카테고리로 분류하는 자연어 처리 기술이다. 챗봇이나 고객 지원 시스템에서 사용자의 요청을 적절한 서비스로 연결하는 핵심 역할을 수행한다.
매크로 F1 점수(Macro-F1): — 각 클래스의 샘플 수와 상관없이 모든 클래스에 동일한 가중치를 부여하여 계산한 F1 점수의 평균이다. 클래스 불균형이 있는 데이터셋에서 모델이 소수 클래스를 얼마나 잘 처리하는지 평가하는 데 유용하다.

언급된 도구

Seed AutoArch추천

경량 임베딩 및 리랭킹 시스템 구축을 위한 프레임워크