본문으로 건너뛰기

LazyTensor

LazyTensor

GPU에서 계산 중인 결과를 즉시 읽지 않고 비동기적으로 추적하는 추상화다. 고정 메모리 버퍼와 cudaMemcpyAsync, 이벤트를 연결해 이전 배치의 결과 복사와 다음 배치 실행을 겹치게 한다.