Sparsity-exploiting serving
희소성 활용 서빙 최적화
희소성 활용 서빙은 활성화가 적은 뉴런에 대한 가중치 로드와 계산을 건너뛰어 추론 비용을 줄이는 방식이다. 서빙 레이어에서 접근하지 않는 가중치는 메모리·캐시 접근 부하를 줄여 처리량을 높인다. 그러나 입력별로 접근하는 가중치 집합이 달라지는 특성 때문에 접근 패턴이 공격 표면이 될 수 있다.
희소성 활용 서빙 최적화
희소성 활용 서빙은 활성화가 적은 뉴런에 대한 가중치 로드와 계산을 건너뛰어 추론 비용을 줄이는 방식이다. 서빙 레이어에서 접근하지 않는 가중치는 메모리·캐시 접근 부하를 줄여 처리량을 높인다. 그러나 입력별로 접근하는 가중치 집합이 달라지는 특성 때문에 접근 패턴이 공격 표면이 될 수 있다.