컨테이너화된 AI 에이전트를 위한 Tightbeam LLM 프록시

섹션별 상세

컨테이너 내부로 API 키를 직접 주입하는 방식은 에이전트 탈취 시 자격 증명이 노출되는 심각한 보안 위험을 초래한다. Tightbeam은 호스트의 데몬이 모든 API 키를 보유하고 컨테이너에는 유닉스 소켓만 노출하여 에이전트가 실제 자격 증명이나 모델 정보를 알 수 없게 차단한다. 자격 증명이 소켓 경계를 절대 넘지 않는 설계를 통해 에이전트가 손상되더라도 외부 API 키 유출을 방지하는 강력한 보안 격리를 실현했다.

에이전트 로직을 담당하는 컨테이너 내부 런타임과 통신 및 상태를 관리하는 호스트 데몬으로 역할을 분리한 이원화 아키텍처를 채택했다. 런타임은 대화 상태를 저장하지 않는 무상태성 구조로 동작하며, 데몬이 대화 기록을 NDJSON 파일로 저장하고 LLM 공급자와의 연결을 전담한다. 이러한 구조는 에이전트의 복잡도를 낮추고 호스트 수준에서 모든 대화 내역에 대한 중앙 집중식 감사와 모니터링을 가능하게 한다.

bash

tightbeam \
  --system-prompt /etc/agent/prompt.md \
  --tools bash,read_file,write_file,list_directory \
  --socket /run/docker-tightbeam.sock

컨테이너 내부에서 런타임을 실행하여 데몬 소켓에 연결하는 명령어

json

{
  "jsonrpc": "2.0",
  "id": 1,
  "method": "turn",
  "params": {
    "system": "You are a coding assistant.",
    "tools": [{"name": "bash", "description": "Run a command"}],
    "messages": [{"role": "user", "content": [{"type": "text", "text": "What files are in src?"}]}]
  }
}

런타임이 데몬에게 전달하는 JSON-RPC 기반의 대화 턴 요청 구조

에이전트가 사용하는 도구를 호스트에서 실행되는 MCP 서버와 컨테이너 내부의 로컬 도구로 구분하여 통합 관리한다. 데몬은 LLM의 도구 호출 요청을 분석하여 MCP 도구는 직접 실행하고, 로컬 도구 실행 권한은 런타임에 전달하여 결과를 다시 취합하는 오케스트레이션 역할을 수행한다. 사용자는 TOML 프로필을 통해 에이전트별로 허용할 도구 목록을 세밀하게 설정할 수 있어 에이전트의 권한 오남용을 효과적으로 제어한다.

toml

[llm.claude-sonnet]
provider = "anthropic"
model = "claude-sonnet-4-20250514"
api_key = "sk-ant-..."
max_tokens = 8192

[mcp.github]
url = "https://mcp.github.com/sse"
auth_token = "ghp_..."

호스트 측의 registry.toml 파일에서 LLM 공급자와 MCP 서버를 정의하는 예시

용어 해설

유닉스 소켓(Unix Socket): — 동일한 호스트 운영체제 내에서 실행되는 프로세스 간에 데이터를 교환하기 위한 통신 엔드포인트이다. 네트워크 스택을 거치지 않아 속도가 빠르고, 파일 시스템 권한을 통해 접근 제어가 가능하여 보안성이 높다.
모델 컨텍스트 프로토콜(MCP): — AI 모델이 외부 도구, 데이터 소스 및 서비스와 표준화된 방식으로 상호작용할 수 있도록 설계된 개방형 프로토콜이다. 에이전트가 다양한 외부 기능을 일관된 인터페이스로 호출하게 돕는다.
JSON 원격 프로시저 호출(JSON-RPC): — JSON 형식을 사용하여 원격 서버의 함수를 호출하고 결과를 받는 가벼운 프로토콜이다. 구조가 단순하여 서로 다른 언어로 작성된 시스템 간의 메시지 교환에 적합하다.
줄바꿈 구분 JSON(NDJSON): — 여러 개의 JSON 객체를 각각 한 줄씩 기록하는 데이터 형식이다. 파일 전체를 메모리에 올리지 않고도 한 줄씩 읽거나 쓸 수 있어 대규모 로그 데이터를 처리하는 데 효율적이다.
무상태성(Stateless): — 시스템이 이전 요청의 상태나 대화 맥락을 자체적으로 저장하지 않는 설계 방식이다. 모든 필요한 정보는 요청 시점에 외부(데몬 등)에서 제공받으므로 구성이 단순하고 복구가 쉽다.

기술

Rust
Docker
Anthropic API
MCP
JSON-RPC
Unix Socket

활용 사례

보안이 중요한 코딩 에이전트 구축
멀티 에이전트 시스템의 중앙 집중식 자격 증명 관리
에이전트의 외부 도구 사용 권한 제어 및 감사

{ "jsonrpc": "2.0", "id": 1, "method": "turn", "params": { "system": "You are a coding assistant.", "tools": [{"name": "bash", "description": "Run a command"}], "messages": [{"role": "user", "content": [{"type": "text", "text": "What files are in src?"}]}] } }

컨테이너화된 AI 에이전트를 위한 Tightbeam LLM 프록시

섹션별 상세

용어 해설

기술

활용 사례

컨테이너화된 AI 에이전트를 위한 Tightbeam LLM 프록시

섹션별 상세

용어 해설

기술

활용 사례

관련 토론

댓글

관련 기사

AI 에이전트 신원·권한 관리 문제와 자체 호스팅 신원 제공 도구 공개

관련 토론

댓글

관련 기사

AI 에이전트 신원·권한 관리 문제와 자체 호스팅 신원 제공 도구 공개