Ray Serve

Python 코드로 모델 추론 API를 구성하고 HTTP 엔드포인트로 제공하는 serving 프레임워크입니다. @serve.deployment로 모델 클래스를 배포 단위로 만들고, Ray가 GPU 같은 자원에 작업을 배치합니다.