AOTInductor
AOTInductor
PyTorch 모델을 미리 컴파일해 배포 가능한 실행 산출물로 패키징하는 컴파일 경로입니다. 외부 weight 메모리와 pinned 비동기 복사를 활용하면 여러 모델 컨테이너가 같은 GPU weight를 공유하거나 모델 교체 중에도 실행 중인 GPU 작업과 데이터 전송을 겹칠 수 있습니다.
AOTInductor
PyTorch 모델을 미리 컴파일해 배포 가능한 실행 산출물로 패키징하는 컴파일 경로입니다. 외부 weight 메모리와 pinned 비동기 복사를 활용하면 여러 모델 컨테이너가 같은 GPU weight를 공유하거나 모델 교체 중에도 실행 중인 GPU 작업과 데이터 전송을 겹칠 수 있습니다.
