rack-level-inference

개별 서버 단위를 넘어 데이터센터의 표준 수납 단위인 랙(Rack) 전체를 하나의 통합된 추론 시스템으로 최적화하는 방식이다. 대규모 모델 처리를 위해 컴퓨팅, 네트워크, 스토리지를 랙 단위로 통합 설계하여 효율을 높인다.