생물학적 원리에 기반한 오픈 임베디드 AI 프레임워크 MH-FLOCKE

실용적 조언

복잡한 보상 함수 설계가 어려운 로봇 제어 문제에서 예측 오차 기반의 학습 신호 도입을 고려할 수 있다
학습 효율을 높이기 위해 에피소드 기억과 지식 그래프를 결합하여 학습 상태를 영구적으로 저장하는 방식을 활용할 수 있다

섹션별 상세

MH-FLOCKE는 표준 강화학습을 생물학적 근거가 있는 학습으로 대체하는 오픈 임베디드 AI 프레임워크이다. Izhikevich 뉴런 4,624개와 93,000개의 시냅스로 구성된 스파이킹 신경망(SNN)과 Marr-Albus-Ito 소뇌 순방향 모델을 통합하여 Unitree Go2 로봇을 제어한다. 이는 개별적인 연구 결과들을 하나의 통합된 시스템으로 구축하려는 시도이다.

학습 신호로 보상 설계(Reward Shaping) 대신 작업 특화 예측 오차(Task-specific Prediction Error)를 사용한다. 공이 가까우면 음의 예측 오차(평온)를, 멀면 양의 예측 오차(혼돈)를 발생시켜 로봇이 행동을 조정하도록 유도한다. 전역 세계 모델의 예측 오차는 0.004 수준의 노이즈에 불과했으나 작업 특화 오차는 ±1.74의 유의미한 신호를 제공했다.

시각 자극 시스템은 로봇이 목표 달성에 실패할 때 16개의 시각 입력 뉴런에 추가 전류를 공급하여 공의 존재를 무시할 수 없게 만든다. 또한 에피소드 기억과 지식 그래프를 통해 뇌의 상태가 실행 간에 보존되므로 매 실행마다 처음부터 학습할 필요가 없다. 이러한 커리큘럼 학습을 통해 로봇은 초기 조향 없이도 정면의 공에 접근하는 법을 익혔다.

MuJoCo 환경에서의 실험 결과, 5번의 에피소드 모두에서 공과 물리적 접촉에 성공했으며 최소 거리는 4.3cm를 기록했다. 공은 총 83cm 이동하며 상호작용이 발생했음이 확인됐다. 다만 측면 조향, 속도 제어, 5만 단계 이후의 지속적인 경로 유지 등에서는 여전히 기술적 한계가 존재하여 개선이 필요한 상황이다.

용어 해설

스파이킹 신경망(Spiking Neural Network): — 생물학적 뉴런의 전기적 신호 발생 메커니즘을 모방한 인공 신경망이다. 시간적 정보를 직접 처리하며 기존 인공 신경망보다 에너지 효율적인 하드웨어 구현이 가능하다는 장점이 있다.
예측 부호화(Predictive Coding): — 뇌가 외부 자극을 수동적으로 받아들이는 것이 아니라 내부 모델을 통해 입력을 예측하고 실제 입력과의 오차를 최소화하며 학습한다는 이론이다. 인공지능에서 효율적인 비지도 학습 모델로 활용된다.
자유 에너지 원리(Free Energy Principle): — 생물학적 시스템이 환경에 대한 불확실성(자유 에너지)을 최소화하는 방향으로 행동하고 학습한다는 원리이다. 지능의 통합적 설명 모델로 사용되며 보상 기반 학습의 대안으로 주목받는다.
보상 설계(Reward Shaping): — 강화학습에서 에이전트가 목표에 도달하도록 중간 단계마다 보상을 세밀하게 설계하여 학습 속도를 높이는 기법이다. 잘못 설계할 경우 의도치 않은 행동을 유발할 수 있는 한계가 있다.

언급된 도구

MuJoCo추천

로봇 환경 물리 시뮬레이션

Unitree Go2중립

4족 보행 로봇 하드웨어 플랫폼

언급된 리소스

DemoMH-FLOCKE YouTube Video

논문MH-FLOCKE Paper (aixiv)