IntentGrasp: 의도 이해를 위한 종합 벤치마크

현재의 대형 언어 모델들이 텍스트 생성 능력은 뛰어나지만 사용자의 실제 의도를 파악하는 능력은 현저히 떨어진다는 사실을 정량적으로 입증했다. 이를 해결하기 위한 새로운 벤치마크와 학습 방법론을 제시함으로써 더 안전하고 유능한 AI 비서 개발의 토대를 마련했다.

기존의 의도 파악 연구는 특정 도메인에 한정된 짧은 단어 위주의 레이블 분류에 치중되어 있어, 문맥이 복잡한 실제 대화에서 LLM이 사용자의 의도를 정확히 짚어내지 못하는 한계가 있었다. 이는 마치 단어장만 외운 학생이 실제 대화의 뉘앙스를 파악하지 못하는 것과 유사하다.

본 논문은 이러한 한계를 극복하기 위해 '의도'라는 추상적인 개념을 문장 형태의 임베딩 공간으로 확장한다. 모호한 레이블을 구체적인 설명으로 바꾸고, 이를 객관식 문제 풀이 형식으로 변환하여 모델이 문맥(Context)과 의도(Intent) 사이의 논리적 연결 고리를 학습하도록 유도한다.

결과적으로 모델은 단순히 다음 토큰을 예측하는 확률적 생성에서 벗어나, 입력된 텍스트가 어떤 목표를 지향하는지 분석하는 능력을 갖추게 된다. 이는 AI가 사용자의 위험한 의도를 미리 감지하거나 복잡한 업무 지시를 정확히 수행하는 데 필수적인 인지적 토대가 된다.

IntentGrasp 구축은 데이터 큐레이션, 레이블 문맥화, 형식 통일의 3단계로 구성된다. 먼저 49개의 오픈 소스 말뭉치를 수집하고, 'uses'와 같이 모호한 레이블을 '인용된 논문의 데이터나 방법론을 사용하기 위함'과 같은 구체적인 문장으로 수동 변환한다. 마지막으로 모든 데이터를 객관식 질의응답(MCQ) 형식으로 통일하여 모델이 일관된 방식으로 평가받도록 설계했다.

학습 전략인 Intentional Fine-Tuning(IFT)은 수집된 262,759개의 인스턴스를 사용하여 모델을 지도 학습시킨다. 손실 함수는 정답 의도 문장과 오답 선택지 사이의 교차 엔트로피를 최소화하는 방향으로 계산된다. 구체적으로 모델 출력 확률 분포 P와 실제 정답 분포 Y 사이에서 -Σ Y log(P)를 연산하여 오차를 구하고, 이 값이 작아지도록 가중치를 갱신함으로써 모델이 정답 의도를 선택할 확률을 극대화한다.

20개의 최신 LLM을 평가한 결과, GPT-5.4, Gemini-3.1-Pro 등 최상위 모델들도 고난도 평가셋인 Gem Set에서 25% 미만의 낮은 F1 점수를 기록했다. 이는 인간의 성능인 81.1%에 한참 못 미칠 뿐만 아니라, 17개 모델은 무작위 추측(15.2%)보다도 낮은 성능을 보였다.

반면 제안된 IFT를 적용했을 때 Qwen3-4B 모델은 All Set에서 70.51%, Gem Set에서 32.54%의 점수를 기록하며 기존 베이스라인 대비 폭발적인 성능 향상을 보였다. 특히 에이전트 성능의 핵심인 e-commerce 도메인에서는 65.5% 이상의 F1 점수를 기록하며 실무 적용 가능성을 입증했다.

IntentGrasp은 12개 도메인(일상, 스마트 어시스턴트, 독성 발화, 글쓰기 등)을 포괄하며, 입력 형식 또한 단일 쿼리, 다중 대화, 독백(Monologue)으로 다양화하여 범용성을 확보했다. 아키텍처 측면에서는 Decoder-only Transformer 기반의 모델들을 LoRA(Low-Rank Adaptation) 기법을 사용하여 효율적으로 미세 조정했다.

학습 시에는 rank=16, alpha=16 설정을 사용했으며, Unsloth 라이브러리를 통해 메모리 효율을 극대화했다. 특히 데이터 오염(Data Contamination) 문제를 방지하기 위해 데이터셋 공개 연도별 성능 분석을 수행하여 모델이 단순히 데이터를 암기한 것이 아님을 검증했다. IFT 모델은 학습 시 보지 못한 도메인에 대해서도 일관된 성능 향상을 보여 강력한 제로샷 전이 능력을 증명했다.

현재 벤치마크는 텍스트 데이터에만 국한되어 있어, 실제 인간의 의도 파악에 중요한 시각적/청각적 단서를 포함하는 멀티모달 환경으로의 확장이 필요하다. 또한 영어 데이터 위주로 구성되어 있어 다양한 문화권과 언어적 특성을 반영하는 데 한계가 있다.