Long-living subprocess
장기 서브프로세스
메인 프로세스와는 별도로 계속 실행되는 서브프로세스를 유지해 모델 상태와 런타임을 보존하는 실행 패턴입니다. 입력을 IPC나 소켓으로 전달하면 서브프로세스가 모델을 불러온 상태에서 바로 추론을 수행합니다. 여러 요청을 연속 처리하는 환경에서 프로세스 재시작 오버헤드를 제거하는 목적입니다.
장기 서브프로세스
메인 프로세스와는 별도로 계속 실행되는 서브프로세스를 유지해 모델 상태와 런타임을 보존하는 실행 패턴입니다. 입력을 IPC나 소켓으로 전달하면 서브프로세스가 모델을 불러온 상태에서 바로 추론을 수행합니다. 여러 요청을 연속 처리하는 환경에서 프로세스 재시작 오버헤드를 제거하는 목적입니다.
