활성화 압축
신경망의 순전파 과정에서 생성되는 중간 결과물인 활성화 값을 압축하여 전송 데이터양을 줄이는 기술이다. 파이프라인 병렬화에서 장치 간 통신 부하를 줄이는 핵심 수단이며, 압축률이 높을수록 통신 속도는 빨라지지만 모델의 수렴 성능이 저하될 위험이 있다. 본문에서는 128배라는 높은 압축률을 달성하면서도 성능 저하를 최소화했음을 강조한다.