Session execution model
세션 실행 모델
사용자별 대화 또는 배치 작업을 세션 단위로 관리해 프리필과 디코드 같은 서로 다른 단계의 리소스 요구를 분리하는 운영 방식이다. 입력은 세션 요청과 작업 유형(인터랙티브/배치)이고, 처리기는 세션 스케줄러와 오케스트레이터이며 출력은 각 세션의 자원 사용 및 지연 특성이다. 세션 모델은 혼합 워크로드에서 전력·지연 균형을 맞추기 쉽도록 설계된다.
세션 실행 모델
사용자별 대화 또는 배치 작업을 세션 단위로 관리해 프리필과 디코드 같은 서로 다른 단계의 리소스 요구를 분리하는 운영 방식이다. 입력은 세션 요청과 작업 유형(인터랙티브/배치)이고, 처리기는 세션 스케줄러와 오케스트레이터이며 출력은 각 세션의 자원 사용 및 지연 특성이다. 세션 모델은 혼합 워크로드에서 전력·지연 균형을 맞추기 쉽도록 설계된다.
