LazyTensor
LazyTensor
GPU에서 계산 중인 결과를 즉시 읽지 않고 비동기적으로 추적하는 추상화다. 고정 메모리 버퍼와 cudaMemcpyAsync, 이벤트를 연결해 이전 배치의 결과 복사와 다음 배치 실행을 겹치게 한다.
LazyTensor
GPU에서 계산 중인 결과를 즉시 읽지 않고 비동기적으로 추적하는 추상화다. 고정 메모리 버퍼와 cudaMemcpyAsync, 이벤트를 연결해 이전 배치의 결과 복사와 다음 배치 실행을 겹치게 한다.