본문으로 건너뛰기

vLLM Hook

vLLM Hook

vLLM Hook은 vLLM 기반 추론 과정에서 hidden states나 activations 같은 모델 내부 신호에 접근하도록 하는 경량 플러그인 프레임워크입니다. low-rank adapter처럼 모델 동작을 감시·수정하는 추가 단계를 두는 대신 Transformer 모듈의 신호를 읽어 안전 점수를 계산하는 데 활용됩니다.