LLM 호출을 DAG로 체이닝하는 소형 파이썬 SDK 'ReasonFlow' 개발

커뮤니티 반응

사용자들은 무거운 프레임워크에 대한 대안으로서의 간결함에 긍정적인 반응을 보였으며, 특히 비용 추적 기능과 직관적인 문법에 관심을 나타냈다.

실용적 조언

간단한 API 호출과 LLM 처리가 반복되는 프로젝트라면 LangChain 대신 ReasonFlow와 같은 경량 SDK를 사용하여 유지보수 효율을 높일 수 있다.
LLMNode 정의 시 budget 파라미터를 활용하여 개발 단계에서 발생할 수 있는 API 비용 과다 청구를 방지할 것을 권장한다.

섹션별 상세

LangChain의 복잡성과 오버헤드를 피하기 위해 Apache Airflow 스타일의 직관적인 '>>' 연산자를 도입하여 노드를 연결하는 방식을 채택했다. 사용자는 파이썬 데코레이터를 통해 함수를 노드로 정의하고 이를 간단히 체이닝하여 복잡한 DAG(유향 비순환 그래프) 기반의 워크플로우를 구성할 수 있다.

python

@CodeNode
def fetch_data(state):
    return {"data": call_some_api(state["query"])}

@LLMNode(model="gpt-4o", budget="$0.05")
def analyze(state):
    """Analyze this data: {data}"""
    pass

@CodeNode
def save(state):
    Path("output.json").write_text(json.dumps(state["analyze"]))

dag = DAG("my-pipeline")
dag.connect(fetch_data >> analyze >> save)
result = dag.run(query="quarterly metrics")

데코레이터와 체이닝 연산자(>>)를 사용하여 LLM 파이프라인을 구축하는 예시 코드

LLMNode, CodeNode, DecisionNode, MCPNode 등 네 가지 핵심 노드 타입을 제공하여 역할에 따른 명확한 워크플로우 분리가 가능하다. 특히 MCPNode를 통해 최신 Model Context Protocol 지원 가능성을 열어두어 외부 도구와의 연동성을 확보했다.

내부적으로 LiteLLM 라이브러리를 활용하여 다양한 LLM 제공업체와의 호환성을 유지하면서 노드별 토큰 사용량과 비용을 실시간으로 추적한다. 각 노드에 예산 한도(Budget Limit)를 설정할 수 있어 프로덕션 환경에서 발생할 수 있는 예상치 못한 비용 지출을 사전에 방지하는 메커니즘을 갖췄다.

parallel() 함수를 통해 여러 작업을 동시에 실행하는 팬아웃(Fan-out) 및 결과를 합치는 팬인(Fan-in) 구조를 지원한다. 이를 통해 순차적인 실행뿐만 아니라 병렬 처리가 필요한 복잡한 LLM 에이전트 워크플로우를 효율적으로 처리할 수 있는 구조를 구현했다.

용어 해설

유향 비순환 그래프(DAG): — 노드와 단방향 엣지로 구성되되 순환 경로가 없는 그래프 구조이다. LLM 파이프라인에서 각 작업의 실행 순서와 의존성을 정의하는 데 사용되며, 데이터가 한 방향으로만 흐르도록 보장하여 복잡한 워크플로우의 실행 흐름을 명확하게 관리한다.
데코레이터(Decorator): — 기존 함수의 코드를 수정하지 않고 기능을 추가하거나 수정할 수 있게 해주는 파이썬의 문법적 설탕이다. 이 프로젝트에서는 일반 함수를 LLMNode나 CodeNode와 같은 특정 파이프라인 구성 요소로 변환하여 DAG에 쉽게 등록하는 용도로 활용된다.
팬아웃/팬인(Fan-out/Fan-in): — 하나의 작업 결과를 여러 병렬 작업으로 분산(Fan-out)시킨 후, 다시 하나의 작업으로 결과를 취합(Fan-in)하는 병렬 처리 패턴이다. LLM 워크플로우에서 여러 모델에 동시 질의를 던지거나 데이터를 병렬로 처리할 때 성능을 최적화하는 핵심 기법이다.
모델 컨텍스트 프로토콜(MCP): — AI 모델이 외부 도구나 데이터 소스와 통신하기 위한 표준화된 프로토콜이다. ReasonFlow는 MCPNode를 통해 이 규격을 지원하며, 이를 통해 다양한 외부 API나 데이터베이스를 LLM 파이프라인에 표준화된 방식으로 통합할 수 있는 확장성을 제공한다.

언급된 도구

ReasonFlow추천

DAG 기반 LLM 워크플로우 구축 SDK

LiteLLM추천

다양한 LLM API 통합 및 비용 추적

LangChain중립

LLM 애플리케이션 프레임워크 (대안으로 언급됨)

언급된 리소스

GitHubReasonFlow GitHub Repository