사례를 태스크 지시로 증류하기: 실세계 B2B 대화에서의 향상된 In-Context Learning

실세계 B2B 대화 분석은 다자 이해관계자와 변화하는 맥락을 다루며, 기존의 few-shot ICL은 예시를 많이 사용할수록 토큰 비용이 증가하고 일반화가 저하되는 한계를 보인다. 본 연구는 라벨링된 소수 예시를 통해 일반화 가능한 지식을 추출하고 이를 분류 기준 및 태스크 설명으로 압축하여 프롬프트를 구성함으로써 토큰 비용을 대폭 줄이고 해석 가능성을 높인다.

단락1: 기존 In-Context Learning은 소수의 labeled 예시로도 다양한 태스크를 수행하는 특성을 갖지만, 긴 컨텍스트에서 예시를 잉여로 포함하면 토큰 예산이 크게 증가하고 성능이 하락한다. 또한 다자형 B2B 대화의 언어는 맥락 의존성이 강해 규칙 기반으로 파악하기 어렵다. 단락2: 본 연구는 라벨링된 예시들로부터 일반화 가능한 태스크 지식을 추출하고 이를 명시적 분류 기준(positive/negative criteria) 또는 자세한 태스크 설명(description)으로 변환한다. 이 지식은 원시 예시 대신 프롬프트의 지시문으로 사용되며, 토큰 비용을 줄이고 해석가능성을 제공한다. 단락3: Criteria-Ex와 Description-Ex 기반의 접근은 각각 추상적이거나 서술적 맥락에 잘 맞으며, 소형 모델 간 지식 전이에서도 강건한 성능을 보여준다. 또한 Description-Ex는 구체적 맥락을 더 잘 포착하고, Criteria-Ex는 명시적 규칙을 통해 일반화가 용이하다. 단락4: 결과적으로 이들 방법은 컨텍스트 길이가 길어지는 실제 상황에서 더 견고한 성능을 발휘하며, 인간-LLM 협업을 통한 해석가능한 분류 파이프라인을 실무에 적용 가능하게 한다.

단계1. 샘플링: E = {(xj, yj)}에서 N개의 labeled 예시를 무작위로 샘플링하되, 원래 클래스 분포를 유지한다. 단계2. Knowledge Extraction: 샘플 예시를 직접 prompt에 포함시키거나, LLM을 통해 distill된 지식(예: criteria, description, summary)으로 변환한다. 단계3. Prompt Construction: intent i와 선택된 지식, xtest를 하나의 классификации 프롬프트에 포함한다. 단계4. Classification: LLM을 호출해 ŷ를 예측한다. 이때 지식 추출은 토큰 예산 축소와 해석가능한 출력 생성을 목표로 한다. 4.3의 각 변형은 Examples를 대체하는 지식 표현 형식(Ex: Examples, Summary-Ex, Criteria-Ex, Description-Ex, Iterative Variants)으로 구성된다. 수식은 제시되지 않으나, 입력값(i, E, xtest)에서 출력(ŷ)을 얻기 위한 연산 흐름은 다음과 같다: 입력으로 i, 지식 섹션, xtest를 받으면 LLM이 ŷ ∈ C를 산출한다.

메인 벤치마크: 다섯 개 컨셉과 다섯 모델(GPT-4o, Claude Sonnet 3.7, Claude Haiku 3, Mistral Large, Mistral Small)에서 성능을 비교했다. Examples 방식은 0-shot에서 71.5%에서 100-shot에서 60.7%로 악화하는 경향을 보였고 Summary-Ex도 64.7%로 하락하는 경향을 보였다. 반면, Criteria-Ex와 Description-Ex 계열은 안정적 혹은 향상된 성능을 보였으며, Description-Ex는 0-shot에서 71.5%에서 100-shot에서 72.6%로 미세하게 증가했다. Criteria-De는 69.3%에서 72.2%로 증가하는 등 가장 큰 개선을 보였다. 모델 별로는 Sonnet 3.7이 25-shot에서 77%의 macro-average F1을 기록하며 최상위 성능을 보였고, GPT-4o는 50-shot까지 일관되게 우수한 성능을 보였으며, Mistral 계열은 컨텍스트 증가에 따라 다소 감소하는 경향을 보였다. 문제 개념별로는 Decision Makers가 최상위 F1에 도달하는 경향이 크고, Pain Points는 Description 기반 방법에서 가장 큰 이점을 보였다. Cross-Model Distillation은 큰 모델이 생성한 지식을 작은 모델에 주입할 때 성능 향상이 더 큰 것으로 나타났으며, Criteria-Ex가 Description-Ex보다 더 효과적으로 전달되었다. 인간-in-the-loop 실험에서 Criteria-Ex 및 Description-Ex의 인간 수정은 최대 2.65%p의 F1 향상을 보였고, Description-Ex의 경우 평균적으로 향상을 견인했다. 계산 효율 측면에서 Token 사용은 Examples 대비 최대 99% 감소하며, 100 예시에서 Criteria와 Description 계열은 테스트 시간도 각각 70% 및 57% 감소를 보였다.

아키텍처: 분류 프롬프트 템플릿에 user intent i와 knowledge section(z: 예시, 요약, 기준, 설명) 및 테스트 스니펫 xtest를 결합하는 구조. Knowledge extraction은 동일 LLM으로 수행되며, Examples를 직접 포함하지 않고도 분류를 수행하도록 설계된다. 1) Sample Selection: E에서 N개의 예시를 클래스 분포를 유지하며 샘플링 2) Knowledge Extraction: 예시를 요약(summary) 또는 분류 기준(positive/negative criteria) 또는 자세한 설명(description)으로 변환 3) Prompt Construction: i + 지식 섹션 + xtest 4) Classification: LLM이 결과 ŷ를 출력. 차별점은 token-level 압축이 아닌 지식 표현으로 예시를 대체한다는 점. 차등 메커니즘은 Criteria-Ex, Description-Ex 등으로 구분되며 zero-shot에서의 동작도 가능하다. Prior work 대비 차별점: (a) 긴 컨텍스트에서의 안정성, (b) 인간-in-the-loop를 통한 해석 가능성 보장, (c) cross-model knowledge distillation으로 저비용 배포 가능.