inference-time-interference

모델의 고정된 가중치를 수정하지 않고 추론이 진행되는 동안 실시간으로 파라미터나 활성화 값을 조정하여 출력을 제어하는 기법이다. 피드백 루프를 통해 모델이 생성하는 토큰의 확률 분포를 모니터링하고 개입함으로써 답변의 정확도를 높인다. 추가적인 파인튜닝 없이도 모델의 성능을 동적으로 개선할 수 있는 효율적인 접근법이다.