섹션별 상세
에이전트 워크플로우는 검증, 도구 선택, 추론, 합성 등 단계별로 서로 다른 강점을 가진 모델들을 필요로 하며, 이를 별도 하드웨어나 클러스터에 분산 배치할 경우 지연 시간과 운영 비용이 급증한다.
모델 번들링은 여러 LLM을 동일한 물리적 노드에 동시 배포하고 실행 시점에 모델을 전환하는 기술로, SambaStack의 Kubernetes 매니페스트를 통해 선언적으로 관리된다.
삼바노바의 RDU(Reconfigurable Dataflow Unit) 아키텍처는 모델을 DDR 메모리에 대기시키고 필요 시 HBM으로 마이크로초 단위로 로드하여 GPU 기반 시스템의 고비용 컨텍스트 스위칭 문제를 해결한다.
실제 의료 분야 GraphRAG 사례에서 120B 모델을 포함한 3개의 오픈소스 LLM을 단일 SambaRack에서 구동하여 4번의 모델 호출을 포함한 전체 워크플로우를 2초 내에 완료했다.
SambaStack은 OpenAI 호환 API를 제공하여 LangGraph, LangChain 등 기존 프레임워크 및 LLMOps 도구와 쉽게 통합되며 온프레미스 및 에어갭 환경 배포를 지원한다.
SambaRack Manager를 통해 고객이 직접 인프라를 관리할 수 있으며, 수평적 확장이 용이하여 높은 동시성이 요구되는 워크로드에도 유연하게 대응할 수 있다.
용어 해설
- 모델 번들링(Model Bundling)
- — 여러 대형 언어 모델을 동일한 물리적 노드에 동시에 배포하고 실행 시점에 동적으로 전환하며 사용하는 기술이다. 에이전트 워크플로우에서 발생하는 모델 간 네트워크 지연을 제거하고 인프라 효율성을 극대화하는 데 필수적이다.
- 재구성 가능한 데이터플로우 유닛(RDU)
- — 삼바노바가 개발한 AI 가속기로, 고정된 연산 구조를 가진 GPU와 달리 데이터 흐름에 맞춰 하드웨어 구조를 재구성할 수 있다. 대규모 모델 간의 마이크로초 단위 전환을 가능하게 하여 멀티 모델 추론에 최적화되어 있다.
- 고대역폭 메모리(HBM)
- — DRAM을 수직으로 쌓아 데이터 전송 속도를 획기적으로 높인 고성능 메모리이다. AI 모델의 가중치를 빠르게 로드하고 연산 장치에 전달하여 추론 성능을 결정짓는 핵심 요소로 작용한다.
- 에이전트 워크플로우(Agentic Workflow)
- — 단일 모델 호출이 아닌, 여러 AI 에이전트가 계획, 도구 사용, 추론, 검증 등의 단계를 거치며 협업하는 복잡한 처리 과정이다. 각 단계마다 최적화된 서로 다른 모델을 순차적 또는 조건부로 호출하는 특징이 있다.
- 그래프 검색 증강 생성(GraphRAG)
- — 단순 텍스트 검색 대신 지식 그래프를 활용하여 엔티티 간의 관계를 파악하고 정보를 추출하는 RAG 기법이다. 복잡한 데이터 구조에서 정교한 추론이 필요한 에이전트 시스템에 주로 활용된다.
기술
- SambaStack
- RDU
- LangGraph
- Neo4j
- Kubernetes
- OpenAI API
활용 사례
- 의료 데이터 기반 GraphRAG 시스템
- 다단계 추론이 필요한 금융 에이전트
- 에어갭 환경의 보안 AI 워크플로우
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2025. 12. 23.수집 2026. 02. 21.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
