Claude Code 스타일 도구를 모든 모델에서 실행하는 오픈소스 에이전트 프레임워크 - DeepSeek, Llama, Mistral 지원

커뮤니티 반응

작성자가 직접 개발한 도구에 대해 긍정적인 반응이 예상되며, 특히 로컬 모델이나 다양한 API를 선호하는 LocalLLaMA 사용자들에게 유용한 대안으로 평가받을 가능성이 높다.

합의점 vs 논쟁점

합의점

특정 모델 제공자에 대한 종속성(Vendor Lock-in)을 피하는 것이 중요하다
LiteLLM을 통한 모델 추상화는 에이전트 개발의 유연성을 높인다

실용적 조언

Claude Code와 유사한 기능을 로컬 모델에서 구현하고 싶다면 ToolLoop를 검토할 것
LiteLLM을 활용하여 다양한 LLM 백엔드를 쉽게 교체하며 테스트할 것

섹션별 상세

작성자는 Claude Code의 기능을 선호하지만 특정 모델에 종속되는 한계를 극복하고자 했다. ToolLoop는 약 2,700라인의 Python 코드로 구성된 경량 프레임워크로, LiteLLM을 통해 다양한 API와 로컬 엔드포인트를 연결한다. 이를 통해 사용자는 DeepSeek, Llama, Mistral 등 원하는 모델을 자유롭게 선택하여 에이전트를 구동할 수 있다.

프레임워크는 파일 조작, 코드 검색, 셸 실행, 서브 에이전트 관리 등 총 11가지 핵심 도구를 내장하고 있다. 사용자가 프롬프트를 입력하면 모델이 필요한 도구를 판단하여 실행하고 그 결과를 다시 처리하는 루프 구조로 작동한다. 특히 Bedrock이나 OpenAI 등 다양한 인프라 환경에서도 동일한 도구 세트를 유지하며 일관된 성능을 제공한다.

대화 도중 모델을 실시간으로 교체하면서도 기존의 컨텍스트를 유지하는 기능을 핵심 강점으로 내세웠다. SDK 예시 코드에서는 ToolLoopOptions를 통해 모델과 허용된 도구 목록을 간단히 정의하고 비동기 스트리밍 방식으로 이벤트를 수신하는 구조를 보여준다. 이는 복잡한 코딩 작업이나 테스트 자동화 워크플로에서 모델별 강점을 활용하기에 용이하다.

python

from sdk import query, ToolLoopOptions

async for event in query(
    prompt="Find all TODO comments, fix them, run the tests",
    options=ToolLoopOptions(
        model="bedrock/converse/deepseek.v3.2",
        allowed_tools=["Read", "Edit", "Grep", "Glob", "Bash"],
    ),
):
    print(event)

ToolLoop SDK를 사용하여 모델과 도구를 설정하고 비동기적으로 작업을 수행하는 예시

용어 해설

에이전트 프레임워크(Agent Framework): — AI 에이전트 프레임워크. LLM이 목표를 달성하기 위해 도구를 선택하고 실행하며 결과를 분석하는 일련의 과정을 구조화한 소프트웨어 도구 모음이다. 복잡한 워크플로를 자동화하고 모델의 능력을 외부 시스템으로 확장하는 데 필수적이다.
도구 호출(Tool Calling): — LLM이 텍스트 생성 외에 외부 함수, API, 셸 명령 등을 실행할 수 있도록 특정 형식의 출력을 생성하는 기능이다. 모델이 실시간 데이터에 접근하거나 파일 시스템을 조작하는 등 실제 작업을 수행하게 하는 핵심 메커니즘이다.
공유 컨텍스트(Shared Context): — 서로 다른 모델이나 세션 간에 대화 기록, 변수 상태, 작업 이력 등의 정보를 유지하고 전달하는 기술이다. 이를 통해 사용자는 작업 도중 모델을 교체하더라도 이전까지의 진행 상황을 잃지 않고 연속성 있는 작업을 이어갈 수 있다.

언급된 도구

ToolLoop추천

Open-source agent framework

LiteLLM추천

LLM API abstraction library

언급된 리소스

GitHubToolLoop GitHub Repository