LangChain 등 주요 RAG 프레임워크의 가짜 비동기 구현 문제 분석

실용적 조언

FastAPI 등 비동기 웹 프레임워크와 통합 시 LLM 호출이 실제로 논블로킹(non-blocking)으로 동작하는지 확인하십시오.
성능이 극도로 중요하다면 프레임워크의 고수준 API 대신 직접 비동기 클라이언트를 사용하여 파이프라인을 구축하는 것을 고려하십시오.

섹션별 상세

작성자는 주요 RAG 프레임워크들이 광고하는 비동기 지원이 실제로는 동기 IO를 ThreadPoolExecutor로 감싼 형태임을 확인했다. 이벤트 루프가 비동기적으로 작동하는 대신 내부적으로 스레드를 생성하여 작업을 처리하므로 진정한 비동기의 이점을 누리지 못한다. 이 방식은 이벤트 루프와 스레드 풀 양쪽의 오버헤드를 모두 발생시켜 동시 요청이 늘어날수록 성능이 급격히 저하된다. 실무적으로는 FastAPI와 같은 비동기 서비스 내에서 병목 현상을 일으키는 주범이 된다.

프레임워크별 분석 결과 LangChain이 비동기 구현 측면에서 가장 취약한 모습을 보였다. LlamaIndex는 일부 구간에서 나은 모습을 보였으나 구현의 일관성이 부족했고, Haystack은 오히려 동기 중심 설계를 솔직하게 드러내고 있었다. 50개의 동시 요청을 처리하는 검색 레이어 테스트에서 프레임워크들의 지연 시간이 동시성 규모에 따라 비효율적으로 증가하는 현상이 관찰됐다. 이는 프레임워크 선택 시 비동기 지원 여부보다 실제 내부 구현 방식을 따져봐야 함을 시사한다.

용어 해설

비동기 입출력(Async IO): — 단일 스레드에서 여러 입출력 작업을 동시에 처리하여 대기 시간을 효율적으로 활용하는 방식이다. CPU가 입출력 완료를 기다리지 않고 다른 작업을 수행하게 함으로써 네트워크 요청이 많은 LLM 애플리케이션의 처리량을 극대화한다.
스레드 풀 실행자(ThreadPoolExecutor): — 동기식 코드를 비동기처럼 실행하기 위해 여러 개의 스레드를 미리 생성해두고 작업을 할당하는 방식이다. 진정한 비동기가 아닌 스레드 전환 오버헤드가 발생하며, 동시 요청이 많아질수록 성능 저하의 원인이 된다.
이벤트 루프(Event Loop): — 비동기 프로그래밍의 핵심 엔진으로, 실행할 작업들을 관리하고 입출력 완료 이벤트를 감지하여 콜백을 실행한다. 파이썬의 asyncio 등에서 비동기 작업의 흐름을 제어하는 역할을 담당한다.
처리량(Throughput): — 단위 시간당 시스템이 처리할 수 있는 작업의 양을 의미한다. LLM 파이프라인에서는 초당 처리되는 요청 수나 토큰 수로 측정되며, 비동기 구현의 효율성을 판단하는 핵심 지표이다.

언급된 도구

LangChain비추천

LLM 애플리케이션 구축 프레임워크

LlamaIndex중립

데이터 연결 및 RAG 프레임워크

Haystack중립

엔드투엔드 NLP 파이프라인 구축 도구

synapsekit추천링크

작성자가 개발한 완전 비동기 네이티브 베이스라인 프레임워크

언급된 리소스

GitHubsynapsekit GitHub Repository