수천 개의 AI 콘텐츠를 위한 GPU 자원 최적화: SNOW의 Automatic Sharding 도입기

NAVER의 SNOW 팀은 수천 개의 AI 콘텐츠를 한정된 GPU 자원에서 효율적으로 서빙하기 위해 Automatic Sharding 시스템을 도입했다. 기존의 수동 Sharding 방식은 모델 공유 관계를 일일이 파악하기 어렵고, 빈번한 모델 로딩과 언로딩으로 인한 응답 속도 저하 및 OOM(Out of Memory) 발생이라는 운영상의 한계가 있었다. 이 시스템은 모델 서빙 문제를 NP-Hard Bin Packing 문제로 재정의하고, Bottom-up 및 Greedy-Binary Search 알고리즘을 통해 최적의 Shard 개수를 산출한다. 이를 Helm, RabbitMQ, KEDA, HPA와 연동하여 인프라에 자동으로 반영하고, Canary 배포와 Immutable 모드를 통해 배포 안정성을 확보했다. 도입 결과, 캐시 적중률(Cache Hit Rate)은 0.5에서 0.9로 상승했고 OOM 현상은 완전히 제거되었다. 또한 전체 서비스 응답 시간은 12.4% 개선되었으며, 배포 과정의 인적 개입을 주당 4~8시간에서 30초로 단축하는 운영 효율화를 달성했다.