추론 파라미터
모델 학습이 완료된 후, 실제 답변을 생성하는 시점에 모델의 동작 방식을 제어하기 위해 설정하는 매개변수들이다. 온도, Top_p, 최대 토큰 수 등이 포함되며 모델의 가중치를 변경하지 않고도 출력을 조정할 수 있다.
기본값만 쓰시나요? LLM 추론 파라미터 최적화로 성능과 비용 한 번에 잡기