Banking77 테스트 세트에서 94.42% 정확도 달성: LLM 없는 경량 시스템의 성과

작성자의 성과에 대해 긍정적인 반응이며, LLM을 사용하지 않은 효율적인 접근 방식에 대한 관심이 높다.

• 거대 모델 도입 전 경량 임베딩과 리랭킹 조합의 성능을 먼저 검토하여 비용과 자원을 절약할 수 있다.
• Seed AutoArch와 같은 프레임워크를 활용해 아키텍처를 최적화하면 SOTA급 성능 도달이 가능하다.

Banking77

— 77개의 세분화된 은행 관련 의도(Intent)를 분류하기 위한 벤치마크 데이터셋이다. 실제 사용자의 노이즈 섞인 쿼리와 클래스 간 유사도가 높은 데이터로 구성되어 의도 분류 모델의 성능을 평가하는 표준 지표로 활용된다.

Intent Classification

— 사용자의 입력 문장이나 발화에서 목적이나 의도를 파악하여 미리 정의된 카테고리로 분류하는 자연어 처리 기술이다. 챗봇이나 고객 지원 시스템에서 사용자의 요청을 적절한 서비스로 연결하는 핵심 역할을 수행한다.

Macro-F1

— 각 클래스의 샘플 수와 상관없이 모든 클래스에 동일한 가중치를 부여하여 계산한 F1 점수의 평균이다. 클래스 불균형이 있는 데이터셋에서 모델이 소수 클래스를 얼마나 잘 처리하는지 평가하는 데 유용하다.