본문으로 건너뛰기

Speculative Tool Calling

추측적 도구 호출

모델이 코드 생성을 마칠 때까지 기다리지 않고 안전하다고 예측한 도구 호출을 복제된 환경에서 먼저 실행하는 방식입니다. 도구 실행과 토큰 생성을 겹쳐 전체 에이전트 지연을 줄이지만, 잘못된 예측으로 폐기되는 작업이 생길 수 있습니다.