LLM 생성 없이 은닉 상태만으로 분류기 만들기

섹션별 상세

LLM은 프롬프트 처리 과정에서 이미 판단을 완료하며, 이 정보는 모델 내부의 잔차 스트림에 기하학적 형태로 존재한다.

근거

LLM은 프롬프트를 읽는 순간 이미 판단을 마친다. — The comparison between criterion and content has been done, inside the forward pass

생성 단계는 모델이 이미 내린 결정을 텍스트로 번역하는 과정일 뿐이므로, 마지막 토큰의 은닉 상태를 추출하면 생성 없이도 판단 결과를 얻을 수 있다.

IBM Granite 4.0과 같은 소형 모델을 사용하고, LoRA를 통해 모델이 판단 근거를 명확히 쓰도록 학습시키면 분류 성능이 향상된다.

추출된 은닉 상태에 작은 MLP를 붙이고 등장 회귀로 확률을 보정하면, 임베딩 분류기 수준의 비용으로 고성능 제로샷 분류기를 구현 가능하다.

여러 기준에 대해 하나의 콘텐츠를 평가할 경우, KV 캐시를 활용해 콘텐츠를 미리 인코딩하면 추론 비용을 획기적으로 절감할 수 있다.

근거

KV 캐시를 활용하면 추론 비용을 절감할 수 있다. — The expensive part of a forward pass is reading the content... prefill the content once, cache the KV

은닉 상태(Hidden State): — 신경망 모델 내부에서 입력 데이터의 의미를 압축하여 표현하는 벡터 값입니다. 트랜스포머 모델의 각 층을 통과하며 정보가 정제되며, 모델이 내린 판단이나 이해한 맥락이 이 상태에 기하학적 형태로 저장됩니다.
선형 프로브(Linear Probe): — 모델의 내부 표현(은닉 상태)이 특정 정보를 담고 있는지 확인하기 위해, 모델의 가중치는 고정한 채 그 위에 간단한 선형 분류기를 덧붙여 학습시키는 기법입니다.
잔차 스트림(Residual Stream): — 트랜스포머 모델 내에서 정보가 층을 거치며 전달되는 통로입니다. 모델이 처리하는 모든 정보가 이 스트림에 누적되며, 특정 위치의 은닉 상태를 읽어 모델의 판단 결과를 추출할 수 있습니다.
KV 캐시(KV Cache): — LLM 추론 시 이전 토큰들의 키(Key)와 값(Value) 행렬을 메모리에 저장해두는 기법입니다. 이를 통해 동일한 프롬프트를 매번 다시 계산하지 않고 재사용하여 추론 속도를 높이고 비용을 절감합니다.
등장 회귀(Isotonic Regression): — 데이터의 순서 관계를 유지하면서 값을 보정하는 비모수적 회귀 방법입니다. 모델의 출력값을 실제 확률값으로 보정하여 신뢰도를 높이는 데 사용됩니다.