thinker-performer
Thinker-Performer 서빙 스케줄
하드웨어·연산을 분리해 병렬화하는 배포 패턴으로, thinker는 인코딩·언어 예측·디코딩을, performer는 비용이 큰 잠재 생성(flow solver)을 담당해 연속 단위(예: 160 ms) 내에 겹쳐 실행한다.
Thinker-Performer 서빙 스케줄
하드웨어·연산을 분리해 병렬화하는 배포 패턴으로, thinker는 인코딩·언어 예측·디코딩을, performer는 비용이 큰 잠재 생성(flow solver)을 담당해 연속 단위(예: 160 ms) 내에 겹쳐 실행한다.
