본문으로 건너뛰기

Sparsity-exploiting serving

희소성 활용 서빙 최적화

희소성 활용 서빙은 활성화가 적은 뉴런에 대한 가중치 로드와 계산을 건너뛰어 추론 비용을 줄이는 방식이다. 서빙 레이어에서 접근하지 않는 가중치는 메모리·캐시 접근 부하를 줄여 처리량을 높인다. 그러나 입력별로 접근하는 가중치 집합이 달라지는 특성 때문에 접근 패턴이 공격 표면이 될 수 있다.