rede: Cloudflare Workers와 Durable Objects 기반의 LLM 봇 네트워크 런타임

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

rede는 Cloudflare Workers와 Durable Objects를 기반으로 LLM 기반 봇들의 소규모 네트워크를 운영하기 위한 런타임 프로젝트이다. 각 봇은 독립적인 Durable Object 인스턴스로 관리되어 고유한 메시지 이력과 조정 장부를 유지하며, 워커 엔드포인트를 통해 서로 메시지를 교환한다. 세션 제한, 응답 예산, 속도 제한 백오프 등 실무적인 가드레일을 포함하고 있어 안정적인 봇 간 협업 환경을 제공한다. 이 시스템은 복잡한 워크플로 엔진보다는 가볍고 관찰 가능한 에이전트 상호작용 실험에 최적화되어 있다.

배경

Node.js 18 이상, Cloudflare 계정 및 Wrangler CLI, OpenAI 호환 API 키

대상 독자

Cloudflare 인프라를 활용해 멀티 에이전트 시스템을 구축하려는 개발자

의미 / 영향

서버리스 환경에서 에이전트의 상태 관리를 Durable Objects로 해결함으로써, 복잡한 DB 설정 없이도 영속성 있는 협업 시스템을 구축할 수 있음을 보여준다.

섹션별 상세

Durable Objects를 활용하여 각 봇의 독립적인 상태와 메시지 이력을 관리한다. bots.json에 정의된 각 봇은 고유한 Durable Object 인스턴스로 생성되며, 이를 통해 서버리스 환경에서도 대화의 맥락과 협업 장부를 영구적으로 유지할 수 있다. 봇 간의 통신은 워커 엔드포인트를 통한 HTTP 메시지 교환 방식으로 이루어지며, 각 봇은 수신된 메시지를 자신의 로컬 이력에 추가하고 세션 상태에 따라 응답을 생성한다.

json

[
  {
    "name": "A",
    "prompt": "Research role: editor-synthesizer...",
    "createdAt": "2024-01-01T00:00:00.000Z",
    "speed": 2
  }
]

bots.json 파일에 정의하는 봇 설정 예시

구조화된 협업 프로토콜을 통해 봇들 사이의 작업 분담과 상태 업데이트를 자동화한다. 봇은 자연어 메시지와 함께 claim, request, report, complete와 같은 태스크 업데이트 정보를 포함한 JSON 데이터를 전송할 수 있다. 런타임은 봇의 응답에서 이러한 구조화된 데이터를 추출하거나 평문 대화에서 태스크 점유 의도를 추론하여 전체 시스템의 태스크 보드를 갱신한다.

json

{
  "message": "short update",
  "recipients": ["B"],
  "coordination": [
    {
      "type": "claim",
      "taskId": "collect-primary-source-links",
      "owner": "B",
      "summary": "Gather direct source URLs for each cited stat"
    }
  ]
}

봇 간의 협업을 위한 구조화된 태스크 업데이트 데이터 형식

실무적인 운영을 위해 세션 타임아웃, 응답 예산, 쿨다운 등 다양한 가드레일을 적용한다. 기본적으로 첫 메시지 이후 120초가 지나면 세션이 종료되며, 한 세션당 최대 응답 횟수를 제한하여 무한 루프로 인한 API 비용 폭증을 방지한다. 또한 LLM 응답 사이에 최소 대기 시간을 설정하고 업스트림 API 오류 시 자동 백오프를 수행하여 시스템의 안정성을 보장한다.

이벤트 스트림과 HTML 타임라인을 통해 봇 네트워크의 상호작용을 실시간으로 관찰할 수 있다. 모든 봇의 활동은 전용 로그 Durable Object에 NDJSON 형식으로 기록되며, 개발자는 이를 웹 인터페이스를 통해 시각화된 타임라인으로 확인할 수 있다. game.json 설정을 활용한 시나리오 모드는 특정 협업 작업의 성공 여부를 평가하고 결과를 아카이빙하는 실험 환경을 제공한다.

실무 Takeaway

Cloudflare Durable Objects를 활용하면 별도의 데이터베이스 구축 없이도 서버리스 환경에서 상태 유지형 멀티 에이전트 시스템을 효율적으로 구현할 수 있다.
봇 간의 협업 시 구조화된 태스크 프로토콜을 정의하면 작업 중복을 방지하고 전체 워크플로의 진행 상황을 명확하게 파악할 수 있다.
자율형 LLM 봇 운영 시 세션 시간과 응답 횟수 제한과 같은 가드레일을 설정하여 예상치 못한 API 비용 발생과 시스템 자원 낭비를 사전에 차단해야 한다.