LLM 궤적: 로봇을 위한 자연어 인터페이스 설계하기

섹션별 상세

로봇이 직접 좌표를 계산하는 대신 객체 이름을 식별자로 사용하는 텍스트 표현 방식을 채택했다. LLM에 원시 좌표를 노출하지 않고 "Apple"과 같은 상징적 이름을 전달함으로써 모델의 환각(Hallucination) 위험을 줄이고 추론의 안정성을 높였다. 이를 통해 LLM은 물리적 수치 계산의 부담 없이 논리적인 작업 순서 결정에만 집중할 수 있다.

자연어 지시부터 로봇 웨이포인트 생성까지의 전체 아키텍처 흐름도 — Diagram장면 추출, LLM 계획 수립, 리졸버 처리, 웨이포인트 생성의 4단계 파이프라인을 시각화한다. 텍스트 기반 장면 데이터가 LLM을 거쳐 물리적 경로로 변환되는 과정을 명확히 보여준다.

자유 형식의 코드 생성 대신 미리 정의된 템플릿을 채우는 도구 호출 방식을 선택하여 물리적 안전을 확보했다. 실행(exec) 함수를 통한 코드 생성은 유연하지만 잘못된 좌표 입력 시 로봇이 물리적 손상을 입힐 위험이 크기 때문이다. 도구 호출 방식은 LLM의 출력을 정해진 스키마 내로 제한하여 로봇의 가동 범위를 벗어나지 않는 유효한 명령 생성을 보장한다.

로봇의 동작을 '원자적 프리미티브'와 이를 조합한 '고차 프리미티브'로 나누어 관리한다. move_to_point 같은 기본 동작을 조합해 pick이나 place 같은 복잡한 기능을 구현하며, 각 프리미티브는 독립적인 웨이포인트 목록을 반환한다. 이러한 모듈식 구조는 새로운 동작을 추가할 때 기존 기능을 재사용할 수 있게 하여 로봇의 행동 공간을 기하급수적으로 확장시킨다.

원자적 프리미티브와 고차 프리미티브의 계층 구조 — Diagrammove_to_point와 같은 기본 동작이 어떻게 pick, place와 같은 복잡한 동작의 구성 요소가 되는지 설명한다. 프리미티브의 재사용성과 조합 가능성을 시각적으로 나타낸다.

Python의 @primitive 데코레이터를 사용하여 새로운 로봇 동작을 LLM이 인식할 수 있는 도구로 자동 등록한다. 함수 시그니처와 독스트링(Docstring)을 분석해 LLM용 프롬프트를 자동으로 생성하므로 개발자는 물리적 로직 구현에만 집중할 수 있다. 이 과정에서 Python 코드는 자동으로 JSON 스키마 형태의 도구 정의로 변환되어 LLM API에 전달된다.

LLM이 생성한 추상적인 도구 호출 목록을 실제 시뮬레이션이나 하드웨어가 이해할 수 있는 웨이포인트로 변환한다. 리졸버는 장면 데이터에서 객체의 실제 좌표를 조회하고, 각 프리미티브 핸들러를 실행하여 연속적인 이동 경로를 생성한다. 이 단계에서 MuJoCo와 같은 물리 엔진 백엔드와 연결되어 로봇의 최종적인 움직임이 완성된다.

프리미티브 호출이 구체적인 웨이포인트 목록으로 확장되는 과정 — DiagramLLM의 단일 도구 호출이 리졸버를 통해 여러 개의 물리적 좌표와 그리퍼 상태를 포함한 웨이포인트 시퀀스로 변환되는 메커니즘을 보여준다. 추상적 명령이 물리적 실행 데이터로 구체화되는 단계를 설명한다.

기술

LLM
MuJoCo
Python
TypeScript
Code as Policies

활용 사례

자연어 기반 로봇 제어
산업용 로봇 인터페이스
물리 시뮬레이션 자동화

언급된 리소스

논문Code as Policies

LLM 궤적: 로봇을 위한 자연어 인터페이스 설계하기

섹션별 상세

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

Anthropic의 Physical Intelligence 인수설과 로보틱스 파운데이션 모델의 발전 방향.

TurboVLA: RTX 4090에서 32Hz로 동작하는 실시간 VLA

로봇 학습의 병목 현상을 해결하기 위한 4가지 핵심 인터페이스 제안.

관련 토론

댓글

관련 기사

Anthropic의 Physical Intelligence 인수설과 로보틱스 파운데이션 모델의 발전 방향.

TurboVLA: RTX 4090에서 32Hz로 동작하는 실시간 VLA

로봇 학습의 병목 현상을 해결하기 위한 4가지 핵심 인터페이스 제안.