Decode Path
디코드 경로
LLM이 이미 처리한 문맥을 바탕으로 다음 토큰을 한 개씩 생성하는 실행 경로다. 배치 크기가 작으면 레이어마다 처리할 행 수가 줄어들어 연산량보다 커널 실행, 메모리 이동, 메타데이터 구성 같은 고정 비용이 전체 지연에서 더 큰 비중을 차지한다.
디코드 경로
LLM이 이미 처리한 문맥을 바탕으로 다음 토큰을 한 개씩 생성하는 실행 경로다. 배치 크기가 작으면 레이어마다 처리할 행 수가 줄어들어 연산량보다 커널 실행, 메모리 이동, 메타데이터 구성 같은 고정 비용이 전체 지연에서 더 큰 비중을 차지한다.
