이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
로봇에 에이전트 계층을 추가하여 자연어로 제어하는 기술을 다룬다. AWS의 오픈소스 프레임워크 Strands를 사용하여 라즈베리 파이 기반 로봇 Scout를 제어하며, 에이전트가 '무엇을 할지' 결정하고 학습된 정책이 '어떻게 할지' 실행하는 구조를 보여준다. 클라우드와 에지 컴퓨팅을 결합해 실시간 추론과 데이터 수집을 동시에 수행하며, 향후 로봇 정책이 대규모 언어 모델처럼 확장될 가능성을 제시한다.
챕터별 상세
4G로 연결된 라즈베리 파이 기반 로봇 Scout
Scout는 라즈베리 파이와 4G SIM 카드를 장착해 뉴욕의 서버와 통신하며 작동한다. 기존 로봇이 미리 프로그래밍된 동작만 수행하는 것과 달리, 이 로봇은 에이전트 계층을 통해 스스로 판단할 수 있는 뇌를 가졌다. 데모에서 4G 연결로 실시간 명령을 수신하고 주변 환경을 인식했다. 저렴한 하드웨어로도 고수준의 지능형 로봇을 구현할 수 있는 구조이다.
학습되지 않은 질문에 답하는 로봇의 추론 능력
로봇에게 "사람이 몇 명 보이느냐"는 학습되지 않은 질문을 던졌을 때, 로봇은 시각 데이터를 분석해 정확한 답변을 내놓았다. Scout는 전면 카메라를 통해 스피커 모니터 근처와 우측에 있는 사람을 식별해 총 2명이라고 보고했다. VLA 모델의 추론 능력을 활용해 명시적으로 프로그래밍되지 않은 상황에도 대응한 사례이다. 단순한 동작 반복을 넘어 로봇이 상황을 이해하고 소통하는 능력을 갖췄다.
하드웨어를 에이전트의 도구로 활용하는 구조
에이전트에게 소프트웨어 도구를 주듯 로봇이라는 하드웨어를 도구로 제공하는 개념을 적용했다. 에이전트는 사용자의 자연어 명령을 해석해 로봇이 가진 여러 '정책(Policy)' 중 가장 적합한 것을 골라 실행한다. "빨간 큐브를 집어라"는 명령이 들어오면 에이전트가 집기 정책을 호출하는 방식이다. 로봇의 물리적 제어와 고수준의 의사결정을 분리해 시스템의 유연성을 확보했다.
5줄의 코드로 구현하는 로봇 에이전트
AWS의 오픈소스 프레임워크인 Strands를 사용해 단 5줄의 파이썬 코드로 로봇 에이전트를 구축했다. Agent 클래스에 로봇 객체를 도구로 전달하면 자연어 명령을 물리적 동작으로 변환하는 인터페이스가 완성된다. Strands는 현재 40종 이상의 로봇과 8개 카테고리의 하드웨어를 지원하며 표준화된 접근 방식을 제공한다. 개발자가 복잡한 제어 로직 대신 에이전트의 논리 구조에만 집중하게 돕는다.
python
from strands import Agent
from strands_robots import Robot
robot = Robot("so100")
Agent(tools=[robot])["pick up the red cube"]Strands 프레임워크를 사용하여 로봇을 에이전트의 도구로 등록하고 자연어 명령을 내리는 코드
동시에 작동하는 세 가지 에이전트의 역할 분담
Scout 내부에서는 사고(Thinker), 통신(Communication), 음성(Voice)을 담당하는 세 가지 에이전트가 동시에 작동한다. 사고 에이전트는 환경을 지속적으로 평가하고, 통신 에이전트는 텔레그램이나 웹 앱을 통해 사용자와 대화하며 명령을 수신한다. 음성 에이전트는 무대 위 발표를 방해하지 않도록 데모 중에는 비활성화했다. 여러 에이전트의 협업으로 로봇이 복잡한 다중 작업을 효율적으로 처리한다.
관찰 데이터가 전달되는 4개 계층 구조
시스템은 에이전트, 정책 제공자, 백엔드, 로봇 하드웨어의 4개 계층으로 구성되며 데이터는 양방향으로 흐른다. 사용자의 명령은 에이전트 층에서 정책으로 변환되어 하드웨어로 내려가고, 로봇의 관찰 데이터는 다시 에이전트로 올라와 다음 행동을 결정하는 근거가 된다. 이 폐쇄 루프(Closed Loop) 구조로 로봇이 실시간 환경 변화에 적응하며 작업을 수행한다. 계층화된 아키텍처는 다양한 모델과 하드웨어를 쉽게 교체할 수 있는 확장성을 제공한다.
클라우드와 에지 간의 효율적인 작업 분할
연산 부하를 줄이기 위해 정책 학습과 대규모 추론은 클라우드에서 수행하고, 실시간 반응이 필요한 제어는 에지 기기에서 처리하는 하이브리드 방식을 채택했다. AWS SageMaker로 VLA 모델을 학습시키고, 결과물인 정책을 로봇의 에지 런타임에 배포해 지연 시간을 최소화했다. Strands는 상황에 따라 클라우드와 에지 중 최적의 처리 위치를 결정한다. 통신 환경이 불안정한 실제 현장에서도 로봇이 안정적으로 작동하는 기반이다.
정책 모델이 언어 모델처럼 확장될 미래
현재는 특정 작업마다 정책을 미세 조정해야 하지만, 미래에는 로봇 정책도 대규모 언어 모델처럼 범용적인 거대 모델로 진화할 전망이다. 사용자가 별도의 학습 없이 단일 모델에 로봇을 연결하기만 해도 모든 작업을 수행하는 시대가 온다. "에이전트가 무엇을 할지 결정하고, 정책이 어떻게 할지 결정한다"는 원칙이 핵심 가이드라인이다. Physical AI의 발전은 로봇을 능동적인 파트너로 변화시킨다.
복잡한 명령 수행과 실시간 데모의 한계
라이브 데모 중 로봇이 무대에서 떨어지거나 명령을 잘못 이해해 헤드라이트를 끄는 등 돌발 상황이 발생했다. "복잡한 일을 하라"는 명령에 로봇은 제자리에서 회전하며 주변을 분석하는 동작을 수행했다. 로봇 에이전트가 실제 물리 세계의 불확실성을 극복해야 하는 과제를 확인한 지점이다. 하지만 로봇은 스스로 다시 중심을 잡으며 에이전트 시스템의 복원력을 입증했다.
시스템 내부 구성과 Anthropic Claude 활용
로봇의 두뇌 역할을 하는 에이전트 백엔드에 Anthropic의 Claude 3 Opus 모델을 사용했다. 시스템 프롬프트로 로봇의 역할과 안전 규칙을 정의하고, 사용 가능한 도구들의 기능을 모델에게 학습시켰다. OpenAI의 Realtime API로 음성 인터페이스를 구현했으며, 모든 상호작용 데이터는 다음 학습을 위한 데이터셋으로 저장했다. 로봇이 데이터를 직접 수집해 성능을 개선하는 선순환 구조를 구축했다.
텔레그램 연동을 통한 원격 제어와 데이터 수집
텔레그램 봇으로 로봇에게 "방 안에서 누가 가장 멋진지 분석하라"는 명령을 내리는 원격 제어 시연을 진행했다. 로봇은 카메라로 청중을 훑은 뒤 "무대 위에서 자신감 있게 걷는 발표자가 가장 멋지다"고 답했다. 에이전트 기술이 로봇에 인격과 소통 능력을 부여해 인간과의 정서적 거리를 좁힌 사례이다. 로봇은 단순한 기계를 넘어 사용자와 실시간으로 교감하는 인터페이스이다.
용어 해설
- 시각-언어-동작 모델(VLA Model)
- — Vision-Language-Action 모델의 약자로, 시각 정보와 언어 명령을 동시에 입력받아 로봇의 구체적인 물리적 동작(Action)을 출력하는 멀티모달 AI 모델이다.
- 에이전트 계층(Agentic Layer)
- — 로봇의 기본 동작 정책 위에 위치하는 상위 지능 층으로, 사용자의 의도를 해석하고 적절한 도구나 하위 정책을 선택하여 실행을 조율하는 역할을 한다.
- 에지 컴퓨팅(Edge Computing)
- — 데이터를 중앙 서버가 아닌 기기 근처(에지)에서 직접 처리하여 지연 시간을 줄이고 실시간 반응성을 높이는 기술로, 로봇의 즉각적인 물리 제어에 필수적이다.
- 정책(Policy)
- — 로봇이 특정 상태에서 어떤 행동을 취해야 하는지 정의한 규칙이나 모델로, 주로 강화학습을 통해 특정 작업(집기, 이동 등)을 수행하도록 학습된다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 30.수집 2026. 08. 30.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
