LLM 호출을 DAG로 체이닝하는 소형 파이썬 SDK 'ReasonFlow' 개발

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

LangChain과 같은 무거운 프레임워크 대신 파이썬 데코레이터와 DAG 구조를 사용하여 LLM 워크플로우를 직관적으로 구축하고 비용을 추적할 수 있는 경량 SDK이다.

배경

반복되는 LLM 호출, API 연동, 결과 저장 등의 패턴을 처리하기 위해 LangChain 같은 무거운 프레임워크를 사용하는 대신, Airflow와 유사한 직관적인 체이닝 방식을 제공하는 경량 도구를 직접 개발하여 공유했다.

의미 / 영향

커뮤니티 내에서 LangChain과 같은 기존 프레임워크의 비대함에 대한 피로도가 존재하며, 이를 해결하기 위해 특정 기능에 집중한 경량화된 도구들이 선호되는 추세이다. ReasonFlow는 DAG 구조와 비용 관리라는 실무적 요구사항을 결합하여 소규모 LLM 프로젝트에 적합한 설계 패턴을 제시했다.

커뮤니티 반응

사용자들은 무거운 프레임워크에 대한 대안으로서의 간결함에 긍정적인 반응을 보였으며, 특히 비용 추적 기능과 직관적인 문법에 관심을 나타냈다.

실용적 조언

간단한 API 호출과 LLM 처리가 반복되는 프로젝트라면 LangChain 대신 ReasonFlow와 같은 경량 SDK를 사용하여 유지보수 효율을 높일 수 있다.
LLMNode 정의 시 budget 파라미터를 활용하여 개발 단계에서 발생할 수 있는 API 비용 과다 청구를 방지할 것을 권장한다.

언급된 도구

ReasonFlow추천

DAG 기반 LLM 워크플로우 구축 SDK

LiteLLM추천

다양한 LLM API 통합 및 비용 추적

LangChain중립

LLM 애플리케이션 프레임워크 (대안으로 언급됨)

섹션별 상세

LangChain의 복잡성과 오버헤드를 피하기 위해 Apache Airflow 스타일의 직관적인 '>>' 연산자를 도입하여 노드를 연결하는 방식을 채택했다. 사용자는 파이썬 데코레이터를 통해 함수를 노드로 정의하고 이를 간단히 체이닝하여 복잡한 DAG(유향 비순환 그래프) 기반의 워크플로우를 구성할 수 있다.

python

@CodeNode
def fetch_data(state):
    return {"data": call_some_api(state["query"])}

@LLMNode(model="gpt-4o", budget="$0.05")
def analyze(state):
    """Analyze this data: {data}"""
    pass

@CodeNode
def save(state):
    Path("output.json").write_text(json.dumps(state["analyze"]))

dag = DAG("my-pipeline")
dag.connect(fetch_data >> analyze >> save)
result = dag.run(query="quarterly metrics")

데코레이터와 체이닝 연산자(>>)를 사용하여 LLM 파이프라인을 구축하는 예시 코드

LLMNode, CodeNode, DecisionNode, MCPNode 등 네 가지 핵심 노드 타입을 제공하여 역할에 따른 명확한 워크플로우 분리가 가능하다. 특히 MCPNode를 통해 최신 Model Context Protocol 지원 가능성을 열어두어 외부 도구와의 연동성을 확보했다.

내부적으로 LiteLLM 라이브러리를 활용하여 다양한 LLM 제공업체와의 호환성을 유지하면서 노드별 토큰 사용량과 비용을 실시간으로 추적한다. 각 노드에 예산 한도(Budget Limit)를 설정할 수 있어 프로덕션 환경에서 발생할 수 있는 예상치 못한 비용 지출을 사전에 방지하는 메커니즘을 갖췄다.

parallel() 함수를 통해 여러 작업을 동시에 실행하는 팬아웃(Fan-out) 및 결과를 합치는 팬인(Fan-in) 구조를 지원한다. 이를 통해 순차적인 실행뿐만 아니라 병렬 처리가 필요한 복잡한 LLM 에이전트 워크플로우를 효율적으로 처리할 수 있는 구조를 구현했다.

실무 Takeaway

LangChain과 같은 대형 프레임워크의 복잡함 없이 경량화된 DAG 기반 LLM 파이프라인 구축이 가능하다.
파이썬 데코레이터와 체이닝 연산자를 사용하여 코드 가독성이 높고 워크플로우 구조를 직관적으로 파악할 수 있다.
LiteLLM 기반의 비용 추적 및 예산 제한 기능을 통해 LLM API 사용 비용을 노드 단위로 정밀하게 관리할 수 있다.

언급된 리소스

GitHubReasonFlow GitHub Repository