prefill-vs-decode

LLM 추론의 두 단계로, 입력 프롬프트를 한꺼번에 처리하는 프리필(연산 집약적)과 토큰을 하나씩 생성하는 디코드(메모리 집약적) 단계를 의미한다.