Speculative Tool Calling
추측적 도구 호출
모델이 코드 생성을 마칠 때까지 기다리지 않고 안전하다고 예측한 도구 호출을 복제된 환경에서 먼저 실행하는 방식입니다. 도구 실행과 토큰 생성을 겹쳐 전체 에이전트 지연을 줄이지만, 잘못된 예측으로 폐기되는 작업이 생길 수 있습니다.
추측적 도구 호출
모델이 코드 생성을 마칠 때까지 기다리지 않고 안전하다고 예측한 도구 호출을 복제된 환경에서 먼저 실행하는 방식입니다. 도구 실행과 토큰 생성을 겹쳐 전체 에이전트 지연을 줄이지만, 잘못된 예측으로 폐기되는 작업이 생길 수 있습니다.