async-worker
주 프로세스와 별개로 백그라운드에서 작업을 수행하는 시스템이다. 사용자 응답 대기 시간을 줄이고 대량의 LLM 추론 요청을 순차적으로 처리하는 데 사용된다.
5천 명이 동시에 답장한다면? LLM 봇 확장의 기술적 병목 현상