Together AI, 커스텀 생성형 모델을 위한 전용 컨테이너 추론 서비스 출시

섹션별 상세

Dedicated Container Inference는 텍스트 입출력 중심의 일반적인 LLM API와 달리 비디오 생성, 아바타 합성 등 복잡한 커스텀 모델 워크로드에 최적화된 오케스트레이션 레이어를 제공한다.

사용자는 모델과 런타임이 포함된 Docker 컨테이너만 준비하면 되며, Together AI 플랫폼이 GPU 프로비저닝, 네트워크 설정, 상태 확인 및 모니터링을 자동으로 수행한다.

대용량 모델 가중치를 매번 빌드하지 않도록 볼륨 마운트 기능을 지원하며, 여러 GPU가 필요한 대규모 모델을 위해 torchrun 기반의 분산 추론 환경을 내장하고 있다.

단일 FIFO 스트림 대신 독립적인 다중 큐와 정책 기반 트래픽 제어를 지원하여 실시간 요청과 배치 작업을 격리하고 고객 등급별 SLA를 보장할 수 있다.

Together GPU Cloud와 통합되어 있어 학습 완료 후 별도의 아티팩트 이동 없이 즉시 프로덕션 환경으로 배포할 수 있는 엔드투엔드 워크플로우를 제공한다.

오케스트레이션(Orchestration): — 여러 컨테이너나 서비스의 배치, 관리, 확장 및 네트워킹을 자동화하는 프로세스이다. 복잡한 AI 모델 배포 시 자원 할당과 장애 복구를 효율적으로 처리하기 위해 필수적이다.
실시간 계수(Real-Time Factor (RTF)): — 처리 시간과 실제 결과물 길이의 비율로, 값이 낮을수록 성능이 좋음을 의미한다. 예를 들어 10초 분량의 비디오를 만드는 데 20초가 걸리면 RTF는 2.0이다.
상태 비저장 요청(Stateless Request): — 각 요청이 독립적이며 이전 요청의 정보를 서버가 저장하지 않는 방식이다. 일반적인 LLM API 추론에서 확장성을 확보하기 위해 주로 사용되는 구조이다.
분산 추론(Distributed Inference): — 단일 GPU 메모리에 담기지 않는 대규모 모델을 여러 GPU에 나누어 실행하는 기술이다. 모델 병렬화 기법을 사용하여 추론 속도를 높이거나 거대 모델 구동을 가능하게 한다.

단일 FIFO 스트림 대신 독립적인 다중 큐와 정책 기반 트래픽 제어를 지원하여 실시간 요청과 배치 작업을 격리하고 고객 등급별 SLA를 보장할 수 있다.

Together GPU Cloud와 통합되어 있어 학습 완료 후 별도의 아티팩트 이동 없이 즉시 프로덕션 환경으로 배포할 수 있는 엔드투엔드 워크플로우를 제공한다.

오케스트레이션(Orchestration): — 여러 컨테이너나 서비스의 배치, 관리, 확장 및 네트워킹을 자동화하는 프로세스이다. 복잡한 AI 모델 배포 시 자원 할당과 장애 복구를 효율적으로 처리하기 위해 필수적이다.
실시간 계수(Real-Time Factor (RTF)): — 처리 시간과 실제 결과물 길이의 비율로, 값이 낮을수록 성능이 좋음을 의미한다. 예를 들어 10초 분량의 비디오를 만드는 데 20초가 걸리면 RTF는 2.0이다.
상태 비저장 요청(Stateless Request): — 각 요청이 독립적이며 이전 요청의 정보를 서버가 저장하지 않는 방식이다. 일반적인 LLM API 추론에서 확장성을 확보하기 위해 주로 사용되는 구조이다.
분산 추론(Distributed Inference): — 단일 GPU 메모리에 담기지 않는 대규모 모델을 여러 GPU에 나누어 실행하는 기술이다. 모델 병렬화 기법을 사용하여 추론 속도를 높이거나 거대 모델 구동을 가능하게 한다.