Activation Compression
활성화 압축
신경망의 순전파 과정에서 생성되는 중간 결과물인 활성화 값을 압축하여 전송 데이터양을 줄이는 기술이다. 파이프라인 병렬화에서 장치 간 통신 부하를 줄이는 핵심 수단이며, 압축률이 높을수록 통신 속도는 빨라지지만 모델의 수렴 성능이 저하될 위험이 있다. 본문에서는 128배라는 높은 압축률을 달성하면서도 성능 저하를 최소화했음을 강조한다.
활성화 압축
신경망의 순전파 과정에서 생성되는 중간 결과물인 활성화 값을 압축하여 전송 데이터양을 줄이는 기술이다. 파이프라인 병렬화에서 장치 간 통신 부하를 줄이는 핵심 수단이며, 압축률이 높을수록 통신 속도는 빨라지지만 모델의 수렴 성능이 저하될 위험이 있다. 본문에서는 128배라는 높은 압축률을 달성하면서도 성능 저하를 최소화했음을 강조한다.
