in-flight-batching

연속 배치(Continuous Batching)라고도 하며, 토큰 생성 반복(iteration)마다 배치를 동적으로 재구성하는 기법이다. 완료된 요청의 슬롯에 즉시 새로운 요청을 할당하여 GPU 유휴 시간을 최소화한다.