잠재적 세계 속성 파악을 위한 창발적 조합 통신

이 논문은 AI가 단순히 이미지를 인식하는 수준을 넘어, 비디오의 시간적 흐름 속에서 직접 보이지 않는 물리적 속성(탄성, 마찰 등)을 스스로 파악하고 이를 구조화된 언어로 소통할 수 있음을 입증했다. 이는 로봇 공학이나 자율 주행 시스템이 복잡한 물리 법칙을 이해하고 에이전트 간 효율적으로 정보를 교환하는 데 중요한 기술적 토대를 제공한다.

딥러닝에서 임베딩(Embedding)은 고차원 데이터를 연속적인 벡터 공간에 투영하여 의미적 유사성을 파악하게 한다. 하지만 이러한 연속적 표현은 '질량'이나 '마찰'처럼 독립적인 물리적 개념을 명확히 구분하여 설명하거나 조작하기 어렵다는 한계가 있다. 기존의 연구들은 주로 색상이나 모양처럼 눈에 보이는 속성에 집중했으나, 실제 물리 법칙은 물체의 움직임이라는 시간적 변화 속에 숨겨져 있다.

이 논문은 에이전트들에게 '서로 다른 비디오를 보고 어떤 물체의 물리적 수치가 더 높은지 맞추라'는 협동 과제를 부여한다. 이때 에이전트 사이의 통신 채널에 Gumbel-Softmax를 이용한 이산적 병목(Discrete Bottleneck)을 설치한다. 이는 에이전트가 가진 복잡한 비디오 정보를 아주 적은 수의 기호로 압축하도록 강제하는 필터 역할을 한다. 여기에 더해 수신자 모델을 주기적으로 초기화하는 '반복 학습(Iterated Learning)'을 적용하여, 송신자가 가장 배우기 쉽고 구조적인 기호를 만들도록 압박한다.

결과적으로 에이전트들은 '첫 번째 기호는 탄성, 두 번째 기호는 마찰'과 같이 특정 위치의 기호가 특정 물리 속성만을 전담하여 표현하는 '조합적 프로토콜'을 스스로 개발하게 된다. 이는 마치 인간이 언어를 통해 복잡한 세상을 명사나 형용사로 분리하여 설명하는 것과 유사한 원리이며, 이를 통해 AI는 학습하지 않은 새로운 물리적 조합에 대해서도 높은 일반화 성능을 보이게 된다.

전체 시스템은 비디오 인코더(V-JEPA 2 또는 DINOv2), 기호 송신자(Sender), 기호 수신자(Receiver)로 구성된다. 두 명 이상의 송신자 에이전트는 각각 서로 다른 비디오 클립을 입력받아 고정된 개수(K)의 기호 위치를 가진 메시지를 생성한다. 이때 각 위치는 V개의 가능한 기호 중 하나를 선택하며, 이 과정은 Gumbel-Softmax 연산을 통해 미분 가능한 방식으로 처리된다.

[장면 표현 벡터 h 입력] → [K개의 독립적인 선형 층과 Gumbel-Softmax 연산 수행] → [K개의 원-핫 벡터 메시지 생성] → [이산적 기호의 조합 의미]. Gumbel-Softmax는 온도 파라미터 τ를 이용해 초기에는 부드러운 확률 분포를 갖다가 학습이 진행됨에 따라 점차 하나의 기호에 집중하도록 유도하여 이산적인 선택을 가능하게 한다.

학습 전략으로는 Population-Based Iterated Learning을 사용한다. 송신자는 3개의 수신자 모델로 구성된 모집단과 대화하며, 수신자들은 40에포크마다 무작위로 초기화된다. [송신자의 메시지 출력] → [수신자의 속성 비교 결과 출력] → [정답과의 Binary Cross-Entropy Loss 계산] → [송신자와 수신자의 가중치 업데이트]. 수신자가 계속 바뀌기 때문에 송신자는 어떤 수신자라도 빠르게 배울 수 있는 구조적이고 규칙적인 언어 체계를 유지해야만 손실 값을 낮출 수 있다.

메인 실험인 경사면 물리(Ramp Physics) 테스트에서 2명의 에이전트 사용 시 54%의 확률로 조합적 언어가 형성되었으나, 에이전트를 4명으로 늘리자 100%의 확률로 완벽한 속성 분리(PosDis 0.999)가 나타났다. 조합적 언어를 사용하는 에이전트들은 학습하지 않은 속성 조합에 대해 79.3%의 정확도를 보여, 비조합적(Holistic) 에이전트(75.9%)보다 우수한 일반화 능력을 입증했다.

V-JEPA 2와 DINOv2의 비교 실험에서는 충돌 역학(Collision Dynamics) 과제에서 V-JEPA 2가 87.4%의 정확도를 기록하며 DINOv2(77.7%)를 크게 앞섰다. 이는 비디오 기반 사전 학습이 시간적 변화를 추적해야 하는 물리 속성 추출에 필수적임을 시사한다. 반면 정적인 특징이 강한 경사면 과제에서는 DINOv2가 98.3%로 V-JEPA 2(95.1%)보다 소폭 우세했다.

실제 비디오 데이터셋인 Physics 101 검증 결과, 에이전트들은 처음 보는 물체에 대해서도 85.6%의 정확도로 질량을 비교해냈다. 특히 시간적 동역학 정보가 정적인 외형 정보보다 정확도를 11.2%p 향상시키는 핵심 요소임이 확인되었다. 인위적인 개입 실험(Causal Intervention)을 통해 특정 메시지 위치를 0으로 만들었을 때 해당 물리 속성에 대한 판단만 정확하게 방해받는 현상을 확인하여, 기호와 물리 속성 간의 인과적 연결을 증명했다.

아키텍처는 고정된 비디오 백본(Frozen Backbone) 위에 경량화된 1D 컨볼루션 기반의 시간적 인코더를 결합한 형태이다. 송신자는 장면 표현을 K개의 독립적인 헤드로 분기하여 처리하며, 각 헤드는 특정 물리적 차원을 전담하도록 유도된다. 이는 정보 이론적 관점에서 Rate-Distortion 원리에 따라 에이전트가 가용한 대역폭을 정보의 추출 용이성(SNR)에 비례하여 할당하는 특성을 보인다.

기존 연구인 LazImpa와 비교했을 때, 단순히 효율성(Efficiency)만을 강조하는 방식은 물리적 속성 분리에 실패(0% 성공률)한 반면, 본 논문이 제안한 반복 학습(Iterated Learning)과 다중 에이전트 구조의 결합은 강력한 조합적 압력을 형성했다. 이는 언어의 구조화가 단순히 전송 효율 때문이 아니라, 정보를 전달하고 학습해야 하는 사회적/구조적 제약에서 비롯됨을 기술적으로 뒷받침한다.

구현 측면에서 Gumbel-Softmax의 온도를 2.0에서 0.5로 선형적으로 낮추는 어닐링(Annealing) 기법과 엔트로피 정규화(Entropy Regularization)를 사용하여 기호 붕괴(Vocabulary Collapse)를 방지했다. 또한 400에포크 이상의 장기 학습을 통해 프로토콜의 안정성을 확보했으며, 이를 통해 형성된 기호 체계는 별도의 재학습 없이도 결과 예측(Outcome Prediction)이나 반사실적 추론(Counterfactual Reasoning)과 같은 하위 과제에 즉시 재사용 가능한 인터페이스 역할을 수행한다.

주요 실험이 통제된 물리 시뮬레이션 환경(배경 소음 없음, 단일/쌍 물체)에서 수행되었다는 점이 한계이다. 실제 비디오 검증을 거쳤으나, 여전히 배경이 단순한 실험실 조건이었으므로 복잡한 실제 환경(가려짐, 가변 조명, 다수 물체)에서의 견고함은 추가 연구가 필요하다. 또한 현재는 2~6개의 속성만을 다루고 있어, 더 복잡한 관계 추론으로의 확장성이 과제로 남아있다.