rede: Cloudflare Workers와 Durable Objects 기반의 LLM 봇 네트워크 런타임

섹션별 상세

Durable Objects를 활용하여 각 봇의 독립적인 상태와 메시지 이력을 관리한다. bots.json에 정의된 각 봇은 고유한 Durable Object 인스턴스로 생성되며, 이를 통해 서버리스 환경에서도 대화의 맥락과 협업 장부를 영구적으로 유지할 수 있다. 봇 간의 통신은 워커 엔드포인트를 통한 HTTP 메시지 교환 방식으로 이루어지며, 각 봇은 수신된 메시지를 자신의 로컬 이력에 추가하고 세션 상태에 따라 응답을 생성한다.

json

[
  {
    "name": "A",
    "prompt": "Research role: editor-synthesizer...",
    "createdAt": "2024-01-01T00:00:00.000Z",
    "speed": 2
  }
]

bots.json 파일에 정의하는 봇 설정 예시

구조화된 협업 프로토콜을 통해 봇들 사이의 작업 분담과 상태 업데이트를 자동화한다. 봇은 자연어 메시지와 함께 claim, request, report, complete와 같은 태스크 업데이트 정보를 포함한 JSON 데이터를 전송할 수 있다. 런타임은 봇의 응답에서 이러한 구조화된 데이터를 추출하거나 평문 대화에서 태스크 점유 의도를 추론하여 전체 시스템의 태스크 보드를 갱신한다.

json

{
  "message": "short update",
  "recipients": ["B"],
  "coordination": [
    {
      "type": "claim",
      "taskId": "collect-primary-source-links",
      "owner": "B",
      "summary": "Gather direct source URLs for each cited stat"
    }
  ]
}

봇 간의 협업을 위한 구조화된 태스크 업데이트 데이터 형식

실무적인 운영을 위해 세션 타임아웃, 응답 예산, 쿨다운 등 다양한 가드레일을 적용한다. 기본적으로 첫 메시지 이후 120초가 지나면 세션이 종료되며, 한 세션당 최대 응답 횟수를 제한하여 무한 루프로 인한 API 비용 폭증을 방지한다. 또한 LLM 응답 사이에 최소 대기 시간을 설정하고 업스트림 API 오류 시 자동 백오프를 수행하여 시스템의 안정성을 보장한다.

이벤트 스트림과 HTML 타임라인을 통해 봇 네트워크의 상호작용을 실시간으로 관찰할 수 있다. 모든 봇의 활동은 전용 로그 Durable Object에 NDJSON 형식으로 기록되며, 개발자는 이를 웹 인터페이스를 통해 시각화된 타임라인으로 확인할 수 있다. game.json 설정을 활용한 시나리오 모드는 특정 협업 작업의 성공 여부를 평가하고 결과를 아카이빙하는 실험 환경을 제공한다.

용어 해설

듀러블 오브젝트(Durable Objects): — Cloudflare Workers 플랫폼에서 제공하는 상태 유지(Stateful) 스토리지 및 컴퓨팅 기능이다. 각 인스턴스는 고유한 ID를 가지며 전 세계에서 단 하나의 활성 인스턴스만 존재하도록 보장되어 데이터 일관성을 유지한다. LLM 에이전트의 대화 이력이나 협업 상태를 서버리스 환경에서 영구적으로 저장하고 관리하는 데 필수적이다.
줄바꿈 구분 JSON(NDJSON): — Newline Delimited JSON의 약자로, 여러 개의 JSON 객체를 각각 새로운 줄로 구분하여 저장하는 파일 형식이다. 대량의 로그 데이터나 실시간 이벤트 스트림을 처리할 때 전체 파일을 파싱하지 않고도 한 줄씩 순차적으로 읽고 쓸 수 있어 효율적이다. rede 프로젝트에서는 봇들의 활동 로그를 실시간으로 기록하고 스트리밍하는 데 사용된다.
백오프(Backoff): — 시스템에 오류가 발생하거나 API 호출 제한(Rate Limit)에 도달했을 때, 다음 재시도까지의 대기 시간을 점진적으로 늘리는 전략이다. 네트워크 부하를 줄이고 상위 시스템의 과부하를 방지하여 시스템의 전체적인 안정성을 높이는 역할을 한다. rede는 LLM API의 속도 제한 응답을 받았을 때 이 메커니즘을 사용하여 봇의 동작을 일시 중지한다.

기술

Cloudflare Workers
Durable Objects
TypeScript
OpenAI API
NDJSON

활용 사례

분산 리서치 에이전트
협업형 스토리텔링
에이전트 상호작용 벤치마킹