Solo.io의 오픈소스 AI 게이트웨이 'agentgateway' 공개

섹션별 상세

기존 에이전트 인프라는 파편화되어 있어 LLM, MCP, 에이전트 간 통신을 개별적으로 관리해야 하는 문제가 있다.

agentgateway는 단일 바이너리에서 LLM 라우팅, MCP 게이트웨이, A2A 프로토콜을 통합 처리하여 복잡성을 줄인다.

근거

LLM, MCP, 에이전트 간 통신을 단일 데이터 플레인에서 통합 관리한다. — 본문 상단 'An open source HTTP and gRPC gateway that handles traditional application traffic and AI-native protocols in one data plane.' 문구 참조

LLM 게이트웨이 기능은 OpenAI, Anthropic, Gemini 등 12개 이상의 모델 백엔드에 대한 라우팅, 장애 조치, 토큰 예산 관리를 지원한다.

MCP 게이트웨이는 MCP 서버를 마이크로서비스처럼 취급하여 버전 관리, RBAC, 감사 추적을 제공한다.

OpenTelemetry를 기본 지원하여 에이전트 간 호출, 도구 사용, 정책 결정을 추적하고 관측할 수 있다.

용어 해설

모델 컨텍스트 프로토콜(MCP): — AI 에이전트가 외부 데이터 및 도구와 상호작용하기 위한 표준 프로토콜이다. 에이전트와 도구 간의 통신 규격을 통일하여 상호운용성을 높인다.
에이전트 간 통신(A2A): — 다양한 AI 에이전트 프레임워크 간의 호출 및 데이터 교환을 지원하는 통신 규격이다. 에이전트 간 협업을 위한 표준화된 인터페이스를 제공한다.
LLM 게이트웨이(LLM Gateway): — 여러 LLM 모델에 대한 요청을 라우팅하고, 토큰 예산 관리, 장애 조치, 프롬프트 보안 등을 처리하는 인프라 계층이다.
관측성(Observability): — 시스템의 내부 상태를 로그, 메트릭, 추적 데이터를 통해 파악하는 능력이다. 에이전트 워크플로의 정확성과 신뢰성을 평가하는 데 필수적이다.

코드 예제

bash

curl -sL https://agentgateway.dev/install | bash

agentgateway 바이너리 설치 명령어

bash

kubectl apply --server-side --force-conflicts \
-f https://github.com/kubernetes-sigs/gateway-api/releases/download/v1.5.0/standard-install.yaml

Kubernetes 환경에서 Gateway API CRD 설치 명령어

bash

docker run -p 3000:3000 -p 15000:15000 \
-v $(pwd)/config.yaml:/etc/agentgateway/config.yaml \
ghcr.io/agentgateway/agentgateway:latest \
-f /etc/agentgateway/config.yaml

Docker 컨테이너로 agentgateway 실행 명령어

기술

agentgateway
Kubernetes
OpenTelemetry
MCP

활용 사례

LLM 라우팅
에이전트 간 통신
MCP 보안 관리

언급된 리소스

GitHubagentgateway GitHub

섹션별 상세

기존 에이전트 인프라는 파편화되어 있어 LLM, MCP, 에이전트 간 통신을 개별적으로 관리해야 하는 문제가 있다.

agentgateway는 단일 바이너리에서 LLM 라우팅, MCP 게이트웨이, A2A 프로토콜을 통합 처리하여 복잡성을 줄인다.

근거

LLM, MCP, 에이전트 간 통신을 단일 데이터 플레인에서 통합 관리한다. — 본문 상단 'An open source HTTP and gRPC gateway that handles traditional application traffic and AI-native protocols in one data plane.' 문구 참조

LLM 게이트웨이 기능은 OpenAI, Anthropic, Gemini 등 12개 이상의 모델 백엔드에 대한 라우팅, 장애 조치, 토큰 예산 관리를 지원한다.

MCP 게이트웨이는 MCP 서버를 마이크로서비스처럼 취급하여 버전 관리, RBAC, 감사 추적을 제공한다.

OpenTelemetry를 기본 지원하여 에이전트 간 호출, 도구 사용, 정책 결정을 추적하고 관측할 수 있다.

용어 해설

모델 컨텍스트 프로토콜(MCP): — AI 에이전트가 외부 데이터 및 도구와 상호작용하기 위한 표준 프로토콜이다. 에이전트와 도구 간의 통신 규격을 통일하여 상호운용성을 높인다.
에이전트 간 통신(A2A): — 다양한 AI 에이전트 프레임워크 간의 호출 및 데이터 교환을 지원하는 통신 규격이다. 에이전트 간 협업을 위한 표준화된 인터페이스를 제공한다.
LLM 게이트웨이(LLM Gateway): — 여러 LLM 모델에 대한 요청을 라우팅하고, 토큰 예산 관리, 장애 조치, 프롬프트 보안 등을 처리하는 인프라 계층이다.
관측성(Observability): — 시스템의 내부 상태를 로그, 메트릭, 추적 데이터를 통해 파악하는 능력이다. 에이전트 워크플로의 정확성과 신뢰성을 평가하는 데 필수적이다.

코드 예제

bash

curl -sL https://agentgateway.dev/install | bash

agentgateway 바이너리 설치 명령어

bash

kubectl apply --server-side --force-conflicts \
-f https://github.com/kubernetes-sigs/gateway-api/releases/download/v1.5.0/standard-install.yaml

Kubernetes 환경에서 Gateway API CRD 설치 명령어

bash

docker run -p 3000:3000 -p 15000:15000 \
-v $(pwd)/config.yaml:/etc/agentgateway/config.yaml \
ghcr.io/agentgateway/agentgateway:latest \
-f /etc/agentgateway/config.yaml

Docker 컨테이너로 agentgateway 실행 명령어

기술

agentgateway
Kubernetes
OpenTelemetry
MCP

활용 사례

LLM 라우팅
에이전트 간 통신
MCP 보안 관리

언급된 리소스

GitHubagentgateway GitHub

Solo.io의 오픈소스 AI 게이트웨이 'agentgateway' 공개

섹션별 상세

용어 해설

코드 예제

기술

활용 사례

언급된 리소스

Solo.io의 오픈소스 AI 게이트웨이 'agentgateway' 공개

섹션별 상세

용어 해설

코드 예제

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드