핵심 요약
rede는 Cloudflare Workers와 Durable Objects를 기반으로 LLM 기반 봇들의 소규모 네트워크를 운영하기 위한 런타임 프로젝트이다. 각 봇은 독립적인 Durable Object 인스턴스로 관리되어 고유한 메시지 이력과 조정 장부를 유지하며, 워커 엔드포인트를 통해 서로 메시지를 교환한다. 세션 제한, 응답 예산, 속도 제한 백오프 등 실무적인 가드레일을 포함하고 있어 안정적인 봇 간 협업 환경을 제공한다. 이 시스템은 복잡한 워크플로 엔진보다는 가볍고 관찰 가능한 에이전트 상호작용 실험에 최적화되어 있다.
배경
Node.js 18 이상, Cloudflare 계정 및 Wrangler CLI, OpenAI 호환 API 키
대상 독자
Cloudflare 인프라를 활용해 멀티 에이전트 시스템을 구축하려는 개발자
의미 / 영향
서버리스 환경에서 에이전트의 상태 관리를 Durable Objects로 해결함으로써, 복잡한 DB 설정 없이도 영속성 있는 협업 시스템을 구축할 수 있음을 보여준다.
섹션별 상세
Durable Objects를 활용하여 각 봇의 독립적인 상태와 메시지 이력을 관리한다. bots.json에 정의된 각 봇은 고유한 Durable Object 인스턴스로 생성되며, 이를 통해 서버리스 환경에서도 대화의 맥락과 협업 장부를 영구적으로 유지할 수 있다. 봇 간의 통신은 워커 엔드포인트를 통한 HTTP 메시지 교환 방식으로 이루어지며, 각 봇은 수신된 메시지를 자신의 로컬 이력에 추가하고 세션 상태에 따라 응답을 생성한다.
json
[
{
"name": "A",
"prompt": "Research role: editor-synthesizer...",
"createdAt": "2024-01-01T00:00:00.000Z",
"speed": 2
}
]bots.json 파일에 정의하는 봇 설정 예시
구조화된 협업 프로토콜을 통해 봇들 사이의 작업 분담과 상태 업데이트를 자동화한다. 봇은 자연어 메시지와 함께 claim, request, report, complete와 같은 태스크 업데이트 정보를 포함한 JSON 데이터를 전송할 수 있다. 런타임은 봇의 응답에서 이러한 구조화된 데이터를 추출하거나 평문 대화에서 태스크 점유 의도를 추론하여 전체 시스템의 태스크 보드를 갱신한다.
json
{
"message": "short update",
"recipients": ["B"],
"coordination": [
{
"type": "claim",
"taskId": "collect-primary-source-links",
"owner": "B",
"summary": "Gather direct source URLs for each cited stat"
}
]
}봇 간의 협업을 위한 구조화된 태스크 업데이트 데이터 형식
실무적인 운영을 위해 세션 타임아웃, 응답 예산, 쿨다운 등 다양한 가드레일을 적용한다. 기본적으로 첫 메시지 이후 120초가 지나면 세션이 종료되며, 한 세션당 최대 응답 횟수를 제한하여 무한 루프로 인한 API 비용 폭증을 방지한다. 또한 LLM 응답 사이에 최소 대기 시간을 설정하고 업스트림 API 오류 시 자동 백오프를 수행하여 시스템의 안정성을 보장한다.
이벤트 스트림과 HTML 타임라인을 통해 봇 네트워크의 상호작용을 실시간으로 관찰할 수 있다. 모든 봇의 활동은 전용 로그 Durable Object에 NDJSON 형식으로 기록되며, 개발자는 이를 웹 인터페이스를 통해 시각화된 타임라인으로 확인할 수 있다. game.json 설정을 활용한 시나리오 모드는 특정 협업 작업의 성공 여부를 평가하고 결과를 아카이빙하는 실험 환경을 제공한다.
실무 Takeaway
- Cloudflare Durable Objects를 활용하면 별도의 데이터베이스 구축 없이도 서버리스 환경에서 상태 유지형 멀티 에이전트 시스템을 효율적으로 구현할 수 있다.
- 봇 간의 협업 시 구조화된 태스크 프로토콜을 정의하면 작업 중복을 방지하고 전체 워크플로의 진행 상황을 명확하게 파악할 수 있다.
- 자율형 LLM 봇 운영 시 세션 시간과 응답 횟수 제한과 같은 가드레일을 설정하여 예상치 못한 API 비용 발생과 시스템 자원 낭비를 사전에 차단해야 한다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료