Stateful inference
상태 유지형 추론
모델이 이전에 생성한 토큰과 중간 상태를 보존하여 이후 토큰 생성에 재사용하는 추론 방식으로, 입력 프롬프트의 문맥을 점진적으로 누적해 대화 흐름이나 장기 의존성을 처리한다. 상태를 효율적으로 관리하려면 메모리 배치, 캐시 관리, 토큰 샘플링과의 연계가 필요하다. 실시간 대화형 애플리케이션에서는 상태 저장·전달 비용이 전체 지연과 처리량에 직접적인 영향을 준다.
상태 유지형 추론
모델이 이전에 생성한 토큰과 중간 상태를 보존하여 이후 토큰 생성에 재사용하는 추론 방식으로, 입력 프롬프트의 문맥을 점진적으로 누적해 대화 흐름이나 장기 의존성을 처리한다. 상태를 효율적으로 관리하려면 메모리 배치, 캐시 관리, 토큰 샘플링과의 연계가 필요하다. 실시간 대화형 애플리케이션에서는 상태 저장·전달 비용이 전체 지연과 처리량에 직접적인 영향을 준다.
