지연 우선 추론
지연 우선 추론은 배치 처리량보다 단일 샘플의 처리 지연과 지터를 최소화하는 최적화 목표를 의미한다. 로봇의 폐쇄 루프 제어에서는 batch-1 지연이 제어 안정성에 직접적 영향을 주므로 연산·메모리·데이터 이동을 지연 관점으로 재조정한다. 본 논문에서는 서로 다른 하드웨어에서 예측 가능하고 낮은 지연을 제공하기 위해 fused inference와 호스트-장치 데이터 이동 정책을 채택했다.