LangChain 등 주요 RAG 프레임워크의 가짜 비동기 구현 문제 분석

작성자의 분석에 공감하는 반응이 많으며, 특히 LangChain의 비동기 성능 문제에 대해 유사한 경험을 가진 사용자들이 관심을 보이고 있습니다.

• FastAPI 등 비동기 웹 프레임워크와 통합 시 LLM 호출이 실제로 논블로킹(non-blocking)으로 동작하는지 확인하십시오.
• 성능이 극도로 중요하다면 프레임워크의 고수준 API 대신 직접 비동기 클라이언트를 사용하여 파이프라인을 구축하는 것을 고려하십시오.

Async IO

— 단일 스레드에서 여러 입출력 작업을 동시에 처리하여 대기 시간을 효율적으로 활용하는 방식이다. CPU가 입출력 완료를 기다리지 않고 다른 작업을 수행하게 함으로써 네트워크 요청이 많은 LLM 애플리케이션의 처리량을 극대화한다.

ThreadPoolExecutor

— 동기식 코드를 비동기처럼 실행하기 위해 여러 개의 스레드를 미리 생성해두고 작업을 할당하는 방식이다. 진정한 비동기가 아닌 스레드 전환 오버헤드가 발생하며, 동시 요청이 많아질수록 성능 저하의 원인이 된다.

Event Loop

— 비동기 프로그래밍의 핵심 엔진으로, 실행할 작업들을 관리하고 입출력 완료 이벤트를 감지하여 콜백을 실행한다. 파이썬의 asyncio 등에서 비동기 작업의 흐름을 제어하는 역할을 담당한다.

Throughput

— 단위 시간당 시스템이 처리할 수 있는 작업의 양을 의미한다. LLM 파이프라인에서는 초당 처리되는 요청 수나 토큰 수로 측정되며, 비동기 구현의 효율성을 판단하는 핵심 지표이다.