이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
Generalist가 공개한 GEN-1.5는 로봇이 한 번의 영상 시연만 보고 새로운 작업을 수행하는 '원샷 학습' 능력을 보여주었다. 이는 GPT-3가 언어 모델에서 보여준 인컨텍스트 러닝(ICL)을 물리적 행동 영역으로 확장한 것으로, 파라미터 업데이트 없이 새로운 환경에 적응할 수 있게 한다. 30초의 컨텍스트 윈도우를 통해 센서 데이터와 행동 궤적을 처리하며, 기존 VLA 모델과 달리 99% 스크래치 학습을 통해 물리적 지능을 구현한 것이 특징이다. 현재 10B 규모에서 59%의 성공률을 기록 중이며 향후 대규모 스케일링을 통한 범용 물리 지능 구현을 목표로 한다.
챕터별 상세
GEN-1.5와 로보틱스의 GPT-3 모먼트
Generalist가 발표한 GEN-1.5는 로보틱스 분야에서 GPT-3와 같은 전환점을 목표로 하는 파운데이션 모델이다. GPT-3가 'Language Models are Few-Shot Learners'라는 제목으로 언어 모델의 패러다임을 바꾼 것처럼, GEN-1.5는 'Embodied Foundation Models are One-Shot Learners'라는 슬로건을 내걸었다. 이는 로봇이 수만 번의 반복 학습 대신 단 한 번의 시연만 보고도 새로운 작업을 수행할 수 있음을 의미한다. 로보틱스 학습이 태스크별 파인튜닝에서 범용적인 프롬프팅 시대로 진입했음을 시사한다.
인컨텍스트 러닝과 파라미터 업데이트의 부재
인컨텍스트 러닝(ICL)의 핵심은 모델의 파라미터를 수정하는 그래디언트 업데이트 없이도 새로운 작업을 수행할 수 있다는 점이다. GEN-1.5는 30초 분량의 비디오 컨텍스트를 입력받아 현재 상황을 파악하고 다음 행동을 결정한다. 이는 기존 로봇 모델들이 새로운 환경마다 방대한 데이터를 모아 파인튜닝해야 했던 병목을 해결한다. 모델 내부에 이미 범용적인 물리적 지능이 내재되어 있으며, 프롬프트를 통해 이를 적절히 인출해내는 구조이다.
인컨텍스트 러닝은 모델의 가중치를 바꾸지 않고 입력값에 포함된 예시만으로 새로운 작업을 수행하는 능력이다.
피지컬 프롬프팅의 가치와 비전 모델과의 차이
텍스트만으로는 복잡한 물리적 동작을 정밀하게 지시하기 어렵다는 한계를 극복하기 위해 '피지컬 프롬프팅' 개념이 도입됐다. 로봇에게 '지퍼를 열어라'라고 말하는 대신, 사람이 지퍼를 여는 3~12초 분량의 영상을 보여줌으로써 동작의 의도와 궤적을 명확히 전달한다. 비전 모델인 CLIP이나 SAM이 이미지 프롬프트를 사용하는 것과 유사하지만, 로보틱스에서는 시간축이 포함된 비디오 스트림을 활용한다는 점이 다르다. 복잡한 동작일수록 텍스트보다 시각적 시연이 훨씬 효율적인 프롬프트 역할을 수행한다.
피지컬 프롬프팅은 텍스트 대신 비디오 시연을 로봇의 입력값으로 사용하는 기법을 말한다.
GEN-1.5가 구현한 여섯 가지 핵심 능력
GEN-1.5는 원샷 학습을 포함하여 물리적 지능을 증명하는 6가지 핵심 능력을 보여주었다. 서로 다른 두 개의 시연 영상을 조합하여 복잡한 연속 동작을 수행하는 Compositional generalization과 시뮬레이션 데이터를 실제 환경에 적용하는 Zero-shot sim-to-real이 포함된다. 또한 사람이 직접 손으로 도구를 다루는 모습을 보고 로봇 팔로 재현하는 Human-to-robot imitation 능력도 확인됐다. 이러한 능력들은 로봇이 사전에 학습하지 않은 낯선 환경에서도 즉각적으로 작업에 투입될 수 있음을 뒷받침한다.
Harmonic Reasoning과 스크래치 학습 전략
Generalist는 모델의 아키텍처를 'Harmonic Reasoning'이라 명명하며, 센서 데이터와 행동 토큰을 하나의 조화로운 스트림으로 처리한다고 밝혔다. 기존 VLA 모델들이 사전 학습된 언어 모델의 가중치에 의존하는 것과 달리, GEN-1.5는 전체 파라미터의 99%를 로봇 전용 데이터로 처음부터 학습했다. 이는 물리적 세계의 인과관계를 언어적 편향 없이 학습하기 위한 전략이며, 현재 10B 규모에서 성능 창발이 확인됐다. 자기회귀(Autoregressive) 방식으로 다음 상태를 예측하며 실시간 제어를 구현한 것이 기술적 특징이다.
데이터 수집 하드웨어와 확장 전망
현재 GEN-1.5는 다양한 작업에서 약 59%의 평균 성공률을 기록하고 있으며, 이는 모델 스케일링을 통해 지속적으로 향상될 전망이다. 데이터 확보를 위해 Insta360 카메라와 자체 제작한 핸드헬드 그리퍼를 작업자들에게 배포하여 대규모의 실제 환경 데이터를 수집하고 있다. 100B 이상의 파라미터 규모로 확장할 경우, GPT-3가 언어에서 보여준 것과 같은 범용 물리 지능의 임계점을 넘을 것으로 기대된다. 로봇이 인간의 도움 없이도 스스로 학습하고 개선되는 '자기 개선' 단계로의 진입을 최종 목표로 한다.
용어 해설
- 인컨텍스트 러닝(In-context Learning)
- — 모델의 가중치를 업데이트하는 별도의 학습 과정 없이, 입력 프롬프트에 포함된 몇 가지 예시나 맥락 정보만으로 새로운 작업을 수행하는 능력이다.
- 피지컬 프롬프팅(Physical Prompting)
- — 로봇에게 텍스트 명령어 대신 비디오 시연, 센서 데이터, 또는 행동 궤적과 같은 물리적 정보를 입력값으로 주어 특정 동작을 유도하는 프롬프트 엔지니어링 기법이다.
- 시각-언어-행동 모델(VLA)
- — 시각적 입력(Vision)과 언어적 지시(Language)를 결합하여 로봇의 구체적인 동작(Action)을 생성하는 멀티모달 제어 모델 아키텍처이다.
- 자기회귀 모델(Autoregressive Model)
- — 과거의 데이터를 바탕으로 다음 시점의 데이터를 순차적으로 예측하는 모델로, 로봇 공학에서는 다음 비디오 프레임이나 행동 궤적을 예측하는 데 사용된다.
- 심투리얼(Sim-to-Real)
- — 가상 환경(Simulation)에서 학습하거나 생성된 데이터를 실제 물리적 환경(Real world)의 로봇 제어에 성공적으로 적용하는 기술이다.
- 하모닉 리즈닝(Harmonic Reasoning)
- — 센서 데이터 처리, 논리적 추론, 물리적 행동 출력을 하나의 연속적인 스트림으로 통합하여 처리하는 Generalist의 독자적인 추론 방식이다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 30.수집 2026. 08. 30.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
