챕터별 상세
Physical AI 시대의 도래와 프로젝트의 필요성
현재 AI 기술은 텍스트 생성(ChatGPT)이나 이미지 생성(Midjourney) 단계를 넘어 물리 세계와 상호작용하는 Physical AI로 진화 중이다. 테슬라의 옵티머스나 피규어 AI처럼 로봇이 자연어를 이해하고 사물을 인식하여 복잡한 판단과 제어를 수행하는 것이 핵심이다. 이번 프로젝트는 이러한 지능과 신체를 결합한 시스템을 직접 내 손으로 구현해보는 시작점이다.
Physical AI는 인공지능이 가상 공간을 넘어 실제 물리적 환경에서 로봇의 신체를 통해 과업을 수행하는 기술을 의미한다.
로봇 개발의 딜레마와 효율적인 학습 전략
로봇 공학은 기구학, 제어, 통신, 비전 등 분야가 매우 방대하여 입문자가 모든 이론을 완벽히 학습하기에는 한계가 있다. 실무 프로젝트 수행을 위해서는 전체 시스템 구조를 이해하고 필요한 최소한의 핵심 지식만 선별적으로 익히는 전략이 필요하다. 이론 학습에만 머물지 않고 실제 프로젝트를 통해 지식이 어떻게 활용되는지 직접 경험하는 것이 실력 향상의 지름길이다.
Spot+ATS 시스템 하드웨어 및 임무 구성
프로젝트의 대상은 보스턴 다이내믹스의 4족 보행 로봇 Spot과 자체 제작 임무 모듈인 ATS(Auto Targeting System)이다. Spot은 지형의 제약 없이 이동할 수 있는 플랫폼 역할을 하며 ATS는 카메라와 2축 짐벌을 탑재하여 주변 인지 및 타겟 추적을 담당한다. 이 두 시스템을 결합하여 단순히 원격 제어되는 로봇이 아닌 스스로 의도를 파악하고 움직이는 지능형 시스템을 구축한다.
ATS(Auto Targeting System)는 로봇에 탑재되어 특정 대상을 자동으로 탐지하고 시선을 고정하는 정밀 제어 모듈이다.
시스템 아키텍처와 5단계 데이터 파이프라인
전체 시스템은 입력, 인지, 판단, 제어, 출력의 5단계 파이프라인으로 구성된다. 사용자의 자연어 명령과 센서 데이터가 입력되면 Vision AI와 SLAM을 통해 주변 환경과 로봇의 상태를 인지한다. 인지된 정보는 텍스트 형태의 컨텍스트로 변환되어 LLM에 전달되며 LLM은 이를 분석하여 실행 가능한 고수준 계획을 생성한다. 최종적으로 생성된 계획은 로봇의 구체적인 물리적 움직임으로 변환되어 출력된다.
SLAM(Simultaneous Localization and Mapping)은 로봇이 자신의 위치를 추정하면서 동시에 주변 지도를 작성하는 기술이다.
이중 계층 아키텍처: System 1과 System 2의 분리
로봇의 두뇌를 추론을 담당하는 System 2와 실행을 담당하는 System 1으로 분리하여 설계했다. System 2는 LLM을 기반으로 사용자의 복잡한 명령을 분석하고 전략적인 판단을 내리지만 연산 속도가 상대적으로 느리다. 반면 System 1은 ROS 2 기반의 결정론적 알고리즘을 사용하여 실시간성과 안전성을 보장하며 실제 로봇의 물리적 균형과 보행을 제어한다. 이 두 계층은 단위 액션(Unit Action)이라는 약속된 언어를 통해 소통한다.
System 1/2 개념은 행동 경제학에서 차용한 것으로 로봇 공학에서는 고수준 판단(느린 사고)과 저수준 제어(빠른 반응)의 분리를 의미한다.
프로젝트 핵심 기술 스택 5가지
구현을 위해 NVIDIA Isaac Sim, ROS 2, SLAM/Nav2, YOLO, LLM(ChatGPT API) 기술을 사용한다. Isaac Sim은 물리 법칙이 적용된 디지털 트윈 환경을 제공하여 고가의 장비 파손 위험 없이 무제한 테스트를 가능하게 한다. ROS 2는 각 모듈 간의 통신 신경망 역할을 수행하며 YOLO는 시각 지능을, LLM은 상황 판단 및 계획 수립을 위한 추론 엔진 역할을 수행한다.
ROS 2(Robot Operating System 2)는 로봇 소프트웨어 개발을 위한 오픈소스 미들웨어로 표준화된 통신 인터페이스를 제공한다.
강의 활용법 및 시스템 확장성
단순히 코드를 복사하는 것이 아니라 전체 아키텍처의 데이터 흐름을 이해하는 것이 중요하다. 시스템을 레고 블록처럼 모듈화하여 설계했기 때문에 Spot 로봇 대신 바퀴형 로봇을 적용하거나 새로운 액션 블록을 추가하는 등 확장이 용이하다. 시뮬레이션 환경에서 발생하는 다양한 에러 로그를 직접 해결하며 시스템을 고도화하는 과정이 실질적인 성장을 돕는다.
모듈화 설계는 시스템의 각 기능을 독립된 부품처럼 구성하여 유지보수와 교체가 용이하도록 만드는 방식이다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2025. 12. 21.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
