실시간 소규모 배치 추론을 위한 CUDA 기반 전용 런타임 FlashRT 개발

대체로 긍정적이며, 실시간 추론에서의 런타임 오버헤드 문제에 공감하는 반응이 많습니다.

• 실시간 소규모 배치 추론 시, 범용 컴파일러 최적화보다 런타임 오버헤드(커널 호출, 동기화) 감소에 우선순위를 두어야 한다.
• FP4 정밀도 도입 시, 변환 오버헤드가 연산 이득을 상쇄하지 않는지 면밀히 평가해야 한다.

• 실시간 소규모 배치 추론(batch size=1)에서는 연산 자체보다 런타임 오버헤드(커널 호출, 동기화, 데이터 변환)가 지연 시간의 핵심 병목이다.
• FP4와 같은 초저정밀도 연산은 변환 비용이 연산 이득을 상쇄할 수 있으므로, 연산 영역이 충분히 크고 융합된 경우에만 성능 향상을 기대할 수 있다.
• 범용 추론 런타임이 해결하지 못하는 실시간 워크로드에서는 C++/CUDA 커널을 직접 작성하는 것이 성능 최적화의 최종 단계가 될 수 있다.