MuSEAgent: 상태 기반 경험을 활용한 멀티모달 추론 에이전트

기존 멀티모달 에이전트는 과거의 전체 작업 기록을 통째로 참조하여 불필요한 정보 노이즈에 취약했습니다. 이 논문은 과거 경험을 '상태-행동' 단위의 핵심 지식으로 파편화하고 정제하여 저장함으로써, 복잡한 시각 추론 단계마다 꼭 필요한 가이드를 정확히 찾아내 성능을 대폭 개선했습니다.

딥러닝 에이전트가 복잡한 작업을 수행할 때 과거의 경험을 참조하는 것은 성능 향상의 핵심이다. 기존 방식은 에이전트가 처음부터 끝까지 수행한 전체 과정(Trajectory)을 하나의 긴 시퀀스로 저장하고 이를 통째로 검색하여 참조한다. 하지만 멀티모달 환경에서는 이미지와 텍스트가 뒤섞여 정보 밀도가 낮기 때문에, 전체 기록을 참조하면 현재 단계와 무관한 과거의 데이터가 노이즈로 작용하여 Attention 연산 시 중요한 정보에 집중하지 못하게 만든다.

MuSEAgent는 이를 해결하기 위해 과거 기록을 '상태(State)-행동(Action)'이라는 최소 단위의 '상태 기반 경험(Stateful Experience)'으로 쪼갠다. 마치 바둑 기보 전체를 외우는 대신, 특정 국면에서 최선의 한 수와 그 이유만을 정제하여 오답 노트를 만드는 것과 같다. 이렇게 원자 단위로 파편화된 경험은 현재 에이전트가 처한 구체적인 병목 지점에 딱 맞는 조언만을 제공할 수 있게 한다.

정제된 경험들은 'Deep-and-Wide Search'를 통해 활용된다. Wide Search는 현재 상황과 유사한 다양한 전략을 넓게 훑어 전체적인 방향성을 잡고, Deep Search는 시각적 특징이나 도구 사용 순서 등 관점을 바꿔가며 반복 검색하여 가장 정밀한 가이드를 찾아낸다. 결과적으로 에이전트는 매 단계마다 노이즈 없는 정밀한 조언을 받으며 추론 정확도를 높인다.

경험 추상화(Experience Abstraction) 단계에서는 과거의 실행 궤적을 개별 전이(Transition) 단위로 분해한다. GPT-4o와 같은 강력한 모델을 사후 추론기(Hindsight Reasoner)로 사용하여 각 행동의 품질 점수 $q_t$와 핵심 가이드 $g_t$를 생성한다. [$s_t, a_t, s_{t+1}$ 입력 → 사후 평가 연산 → $q_t, g_t$ 출력 → 해당 행동의 가치와 교훈 의미]

품질 필터링 및 뱅크 구축 과정에서 $q_t$가 설정된 임계값 $\delta$ 이상인 고품질 경험만 Experience Bank $\mathcal{B}$에 저장한다. 각 경험은 텍스트 지시문, 시각적 관찰, 실행 이력 등 여러 의미론적 관점(Viewpoints)으로 인코딩되어 다각도 검색이 가능한 구조를 갖춘다. [$s_t$의 각 요소 입력 → 멀티모달 임베딩 모델 $f_\theta$ 연산 → 다중 관점 벡터 $z_t^{(i)}$ 출력 → 다각도 검색 가능 상태 의미]

경험 활용(Experience Exploitation) 단계에서는 Deep-and-Wide Search를 수행한다. Wide Search는 현재 상태의 임베딩 $q_t^{(i)}$와 뱅크 내 임베딩 $z_m^{(i)}$ 간의 코사인 유사도를 계산하여 상위 K개를 추출한다. [두 벡터의 내적값을 크기의 곱으로 나누는 연산 수행 → 0~1 사이 유사도 점수 획득 → 현재 상황과 전략적으로 가장 유사한 과거 경험 확보 의미]

Deep Search는 여러 관점을 순차적으로 선택하며 검색을 반복 수행한다. 각 라운드마다 다른 관점을 적용해 검색 결과를 누적하며, 이를 통해 시각적 모호성 해소나 도구 파라미터 문법 교정 등 세부적인 추론 병목 지점을 해결한다. 최종적으로 추출된 경험 가이드들은 에이전트의 컨텍스트에 주입되어 다음 행동 $a_t$를 결정하는 데 사용된다.

MuSEAgent는 V* Bench, MME-RealWorld-Lite 등 4개 주요 멀티모달 벤치마크에서 기존의 궤적 기반 검색 방식(Reflexion, Expel)보다 평균 약 8% 높은 정확도를 기록했다. 특히 미세한 시각적 인지가 필요한 V* Bench Relative Position 작업에서는 Expel 대비 18.43%의 성능 향상을 보이며 상태 단위 가이드의 효과를 입증했다.

Ablation Study 결과, 성공한 궤적뿐만 아니라 실패한 궤적에서 추출한 '교정 경험'을 함께 사용할 때 성능이 가장 높게 나타났다(V* Bench 85.42%). 이는 에이전트가 최적의 전략뿐만 아니라 피해야 할 함정까지 학습함으로써 더 견고한 추론이 가능해짐을 보여준다.

경험 검색의 깊이와 너비에 따른 분석에서는 각각 3회 반복 및 3개 경험 추출 시 성능이 정점에 도달했다. 그 이상의 검색은 컨텍스트 윈도우 내에 중복 정보를 유입시켜 오히려 성능을 약간 저하시키는 경향을 보였으며, 이는 적절한 검색 규모 유지가 효율성과 정확도 사이의 균형에 중요함을 시사한다.

본 연구는 멀티모달 에이전트의 추론 과정을 상태 기반 마르코프 결정 과정(MDP)으로 정형화했다. 결정 상태 $s_t$를 사용자 쿼리, 시각 관찰, 작업 기술서, 실행 이력의 튜플로 정의하여 상태 전이를 명확히 모델링하고, 이를 통해 원자적 경험 추출의 이론적 토대를 마련했다.

Hindsight Reasoning 메커니즘은 사후 편향을 활용해 과거 행동의 유효성을 평가한다. 단순히 성공 여부만 따지는 것이 아니라, 특정 단계의 행동이 최종 정답 도달에 얼마나 기여했는지를 수치화하여 경험의 질을 보장하며, 이는 데이터 효율성을 높이는 핵심 요소다.

Compositional State Representation은 이종(Heterogeneous) 멀티모달 데이터를 효과적으로 검색하기 위한 구조다. 상태의 각 구성 요소를 조합하여 여러 개의 임베딩 벡터를 생성함으로써, 추론 시점에 에이전트가 현재 가장 필요한 정보(예: 시각적 특징 vs 도구 사용법)에 맞춰 검색 관점을 동적으로 선택할 수 있게 한다.

구현 측면에서 Qwen3-VL 시리즈를 베이스 모델로 사용하고, GPT-4o를 사후 추론기로 활용했다. Qwen3-VL-8B-Embedding을 통해 멀티모달 상태를 통합 벡터 공간으로 투영하여 효율적인 유사도 검색을 구현했으며, 이는 다양한 규모의 모델에서도 일관된 성능 향상을 보여주었다.

MuSEAgent는 현재 오프라인에서 구축된 경험 뱅크를 활용하며, 실시간 상호작용 중에 새로운 경험을 자동으로 생성하고 스스로 개선하는 온라인 학습 메커니즘은 향후 과제로 남아 있습니다. 또한, 특수한 실세계 시각적 특성에 의존하는 작업의 경우 도메인 외(OOD) 경험만으로는 성능 향상이 제한적일 수 있음이 확인되었습니다.