LLM 생성 없이 은닉 상태만으로 분류기 만들기

LLM은 프롬프트를 읽는 과정에서 이미 내부적으로 판단을 마치며, 이 정보는 모델의 잔차 스트림 내 은닉 상태에 저장된다. 생성 단계는 모델이 이미 내린 결정을 텍스트로 번역하는 느리고 비용이 큰 과정이므로, 이를 생략하고 마지막 토큰의 은닉 상태를 직접 추출하여 분류를 수행한다. 소형 모델에 LoRA를 적용해 판단 근거를 명확히 생성하도록 학습시키면, 은닉 상태 내의 판단 정보가 MLP가 읽기 쉬운 형태로 정렬된다. 결과적으로 임베딩 분류기 수준의 비용과 속도로 고성능 제로샷 분류기를 구축할 수 있다.