Claude Code 스타일 도구를 모든 모델에서 실행하는 오픈소스 에이전트 프레임워크 - DeepSeek, Llama, Mistral 지원

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Claude Code의 도구 사용 기능을 DeepSeek, Llama 등 다양한 모델에서 사용할 수 있게 해주는 오픈소스 Python 프레임워크 ToolLoop가 공개됐다.

배경

특정 서비스 제공자에 종속되지 않고 다양한 LLM으로 Claude Code와 유사한 도구 사용 환경을 구축하기 위해 ToolLoop 프레임워크를 개발하여 공유했다.

의미 / 영향

특정 모델에 종속되지 않는 에이전트 구축에 대한 커뮤니티의 높은 수요를 반영한다. LiteLLM과 같은 추론 추상화 레이어를 활용하여 오픈소스 모델의 도구 사용 능력을 극대화하는 실무적 접근법이 유효함을 시사한다.

커뮤니티 반응

작성자가 직접 개발한 도구에 대해 긍정적인 반응이 예상되며, 특히 로컬 모델이나 다양한 API를 선호하는 LocalLLaMA 사용자들에게 유용한 대안으로 평가받을 가능성이 높다.

합의점 vs 논쟁점

합의점

특정 모델 제공자에 대한 종속성(Vendor Lock-in)을 피하는 것이 중요하다
LiteLLM을 통한 모델 추상화는 에이전트 개발의 유연성을 높인다

실용적 조언

Claude Code와 유사한 기능을 로컬 모델에서 구현하고 싶다면 ToolLoop를 검토할 것
LiteLLM을 활용하여 다양한 LLM 백엔드를 쉽게 교체하며 테스트할 것

섹션별 상세

작성자는 Claude Code의 기능을 선호하지만 특정 모델에 종속되는 한계를 극복하고자 했다. ToolLoop는 약 2,700라인의 Python 코드로 구성된 경량 프레임워크로, LiteLLM을 통해 다양한 API와 로컬 엔드포인트를 연결한다. 이를 통해 사용자는 DeepSeek, Llama, Mistral 등 원하는 모델을 자유롭게 선택하여 에이전트를 구동할 수 있다.

프레임워크는 파일 조작, 코드 검색, 셸 실행, 서브 에이전트 관리 등 총 11가지 핵심 도구를 내장하고 있다. 사용자가 프롬프트를 입력하면 모델이 필요한 도구를 판단하여 실행하고 그 결과를 다시 처리하는 루프 구조로 작동한다. 특히 Bedrock이나 OpenAI 등 다양한 인프라 환경에서도 동일한 도구 세트를 유지하며 일관된 성능을 제공한다.

대화 도중 모델을 실시간으로 교체하면서도 기존의 컨텍스트를 유지하는 기능을 핵심 강점으로 내세웠다. SDK 예시 코드에서는 ToolLoopOptions를 통해 모델과 허용된 도구 목록을 간단히 정의하고 비동기 스트리밍 방식으로 이벤트를 수신하는 구조를 보여준다. 이는 복잡한 코딩 작업이나 테스트 자동화 워크플로에서 모델별 강점을 활용하기에 용이하다.

python

from sdk import query, ToolLoopOptions

async for event in query(
    prompt="Find all TODO comments, fix them, run the tests",
    options=ToolLoopOptions(
        model="bedrock/converse/deepseek.v3.2",
        allowed_tools=["Read", "Edit", "Grep", "Glob", "Bash"],
    ),
):
    print(event)

ToolLoop SDK를 사용하여 모델과 도구를 설정하고 비동기적으로 작업을 수행하는 예시

실무 Takeaway

ToolLoop는 Claude Code의 강력한 도구 사용 능력을 오픈소스 모델(DeepSeek, Llama 등)에서도 구현할 수 있게 해주는 Python 프레임워크이다.
LiteLLM을 백엔드로 사용하여 Bedrock, OpenAI, 로컬 API 등 다양한 추론 환경을 단일 인터페이스로 통합했다.
대화 중간에 모델을 변경해도 컨텍스트가 공유되므로, 작업 단계별로 가장 효율적인 모델을 선택적으로 활용할 수 있다.

언급된 도구

ToolLoop추천

Open-source agent framework

LiteLLM추천

LLM API abstraction library

언급된 리소스

GitHubToolLoop GitHub Repository