스케줄링
한정된 컴퓨팅 자원(CPU, 서버 등)에 여러 작업(프롬프트 처리 등)을 어떤 순서와 방식으로 할당할지 결정하는 프로세스이다.
ChatGPT가 0.1초 만에 답하는 비결: 200시간 걸릴 계산을 단축하는 휴리스틱의 마법