실시간 상호작용과 장기 작업을 결합한 Gander

왜 중요한가

기존 음성 에이전트는 사용자의 발화가 끝난 뒤 응답하는 turn-based 방식에 머물러, 끼어들기·맞장구·배경 소음·다중 화자·장기 작업을 하나의 흐름으로 처리하기 어려웠습니다. Gander는 9B 모델이 오디오·비디오·텍스트를 1초 단위로 처리하면서 대화와 도구 기반 작업을 병렬로 운영하고, Full-Duplex-Bench v3에서 적절한 발화 시점 100.0%, 조기 발화 8.0%를 기록했습니다.

관련 Figure

Infographic
그림은 Screen Grounding Chat, Agentic Work While Chatting, Backchannel & Interruption, Multi-party Interaction & Noise Robustness, Proactive Visual Reminder의 다섯 상황을 중앙의 Gander 시스템과 연결합니다. 실시간 상호작용과 비동기 실행을 구분해, 사용자가 대화를 이어가는 동안 코드 수정이나 화면 결과 전달 같은 백그라운드 작업이 진행되는 논문의 목표를 시각화합니다.
Gander가 화면 이해, 비동기 작업, 중단·맞장구·다중 화자 상호작용을 하나의 Omni Interaction Agent로 묶은 개요도입니다.

핵심 기여

Cerebellum–Brain 협업 구조

Front Cerebellum이 스트리밍 음성·영상 입력, 실시간 대화, 작업 위임을 맡고 Back Brain이 코드·파일 조작과 장기 워크플로를 수행하는 2계층 구조입니다. 두 계층 사이의 task_start·task_send·task_resolve 호출은 Agent Orchestration Runtime이 검증하고 실행 상태와 결과 전달을 관리합니다.

Chunk 기반 Full-Duplex 상호작용

오디오·비디오 입력과 모델 출력을 1초 단위 chunk로 평탄화하고, 각 chunk의 시작에서 listen·speak·interrupt 제어 토큰을 예측합니다. 이 순서로 모델이 무엇을 말할지 결정하기 전에 현재 상호작용을 계속 듣거나 발화를 중단할지 선택합니다.

실시간 Omni 인식과 음성 생성

영상은 최대 448 × 448 해상도에서 SigLIP과 query-based resampler로 압축하고, 오디오는 초당 약 50 frame 특징을 5 × 시간 다운샘플링으로 약 10 token으로 줄입니다. 텍스트 생성과 음성 토큰 생성을 분리한 뒤 Streaming Flow-Matching Decoder가 파형을 순차 복원합니다.

상호작용·에이전트 데이터 구축

총 2.7M 샘플을 Speech Interaction, Audio–Visual Interaction, Agentic Interaction, Robustness and Negative Data로 구성했습니다. Speech Interaction은 약 37%, Audio–Visual Interaction은 약 40%를 차지하며, interruption·backchannel·다중 화자·무명령 환경까지 시간축에 맞춰 학습합니다.

실시간성과 인식 성능 평가

Full-Duplex-Bench v3 100개 시나리오에서 Gander는 ToolSel 0.759, ArgAcc 0.503, Pass@1 0.400을 기록했고, SpokenQA에서는 Llama Questions 75.60, Web Questions 59.30을 기록했습니다. Audio와 Video를 함께 입력하면 WorldSense에서 단일 모달 최고값보다 5.01점, Daily-Omni에서 19.13점 높았습니다.

핵심 아이디어 이해하기

일반적인 음성 대화 시스템은 VAD가 사용자의 발화 종료를 감지한 뒤 ASR 결과를 모델에 전달하므로, 모델 자체가 언제 들을지 언제 말할지 결정하기 어렵습니다. Gander는 이 결정을 외부 모듈에서 분리하지 않고, 오디오·비디오 관측값과 생성 텍스트를 하나의 시간순 autoregressive stream에 넣습니다.

각 1초 구간에는 해당 시점의 시각·음향 token, 상호작용 제어 token, 모델이 생성할 텍스트 token이 순서대로 배치됩니다. 모델은 새 관측 token을 읽은 뒤 listen이면 출력을 생략하고, speak이면 음성으로 변환할 텍스트를 생성하며, interrupt이면 진행 중인 발화를 멈춥니다. 따라서 사용자가 말을 시작하거나 화면의 상황이 바뀌면 다음 chunk에서 기존 응답을 중단할 수 있습니다.

대화와 장기 작업은 필요한 계산량이 다릅니다. 짧은 대화는 낮은 지연 시간이 중요하지만 코드 수정이나 파일 처리에는 여러 단계의 추론과 도구 호출이 필요합니다. Gander는 Cerebellum이 최근 상호작용을 유지하면서 복잡한 요청만 Brain으로 넘기고, Brain의 중간 결과나 최종 결과를 다시 대화 응답으로 통합하게 해 두 요구를 분리합니다.

이 구조에서 Cerebellum은 고정된 128개 chunk, 약 2분의 문맥만 유지합니다. Brain은 Codex 같은 학습 불필요한 범용 작업 에이전트로 교체할 수 있으므로, 실시간 모델을 다시 학습하지 않고도 장기 추론 계층을 바꿀 수 있습니다.

방법론

Gander는 Front Cerebellum, Agent Orchestration Runtime, Back Brain의 세 부분으로 구성됩니다. Cerebellum은 카메라·화면·마이크의 스트림을 동시에 받고 대화, 발화 중단, 짧은 맞장구, 작업 위임을 autoregressive하게 결정합니다. Runtime은 스트림 입력, 점진적 추론 스케줄링, static prefix caching, rate limiting, 권한, 작업 상태를 관리하며 Back Brain은 검색, 코드·파일 조작, 문서 처리 같은 장기 작업을 수행합니다.

Cerebellum이 요청을 직접 처리할지 위임할지는 현재 상호작용 문맥으로 결정됩니다. 단순 대화와 짧은 질의는 자체 처리하고, 여러 단계 추론이나 외부 도구가 필요한 요청에는 task_start를 호출합니다. 실행 중 추가 조건은 task_send로 기존 task에 반영하며, main은 주 작업을 갱신하고 fork는 주 작업을 바꾸지 않는 읽기 전용 질의를 생성합니다. task_resolve는 cancel, allow_once, allow_session, deny로 작업 상태와 권한을 통제합니다.

실시간 입력은 두 인코더가 병렬 처리합니다. 임의 해상도 영상은 slice로 나눈 뒤 SigLIP Vision Transformer와 query-based resampler를 거쳐 slice당 소수의 visual token으로 축약하며, 원래 patch grid 대비 약 16 × 16 압축을 적용합니다. 오디오 인코더는 초당 약 50 frame 특징을 만들고 MLP projector가 5 × 시간 다운샘플링을 적용해 약 10 token/s로 줄입니다. 이후 두 모달리티 token을 1초 chunk 단위로 결합합니다.

학습 코퍼스는 2.7M 샘플이며 Speech Interaction 37%와 Audio–Visual Interaction 약 40%가 큰 비중을 차지합니다. Agentic Interaction은 사용자·Cerebellum·Brain 사이의 task 시작, 추가 지시, 제약 변경, 진행 질의, 취소, 결과 전달을 포함합니다. Robustness and Negative Data는 무관한 영상, 명령이 없는 환경, 잡음·중첩 발화, 다중 화자 사례에서 불필요한 응답을 억제하도록 구성됩니다.

평가는 Full-Duplex-Bench v3 100개 시나리오, SpokenQA와 VoiceBench 2,052개 발화, WorldSense와 Daily-Omni 4,369개 객관식 문항으로 수행했습니다. 전체 시스템 평가는 음성 합성과 ASR 결과까지 포함하고, Omni understanding 평가는 Cerebellum만 사용해 Audio·Video 결합 효과를 따로 측정했습니다.

관련 Figure

Diagram
사용자와 환경의 Live A/V 입력이 Front Cerebellum의 Perceive·Respond·Delegate 흐름으로 들어가고, Runtime의 Task Ledger가 작업을 추적합니다. Back Brain은 선택된 Worker Adapter를 통해 Reason·Retrieve·Act를 수행하며, Runtime은 신뢰된 task와 policy, 이벤트, 진행·요청·결과를 양방향으로 전달합니다.
Front Cerebellum, Agent Orchestration Runtime, Back Brain, 그리고 Summary·Multimodal Context·Memory Service의 연결 구조입니다.

Diagram
상단 파이프라인은 task hierarchy와 interaction/query pattern에서 seed를 뽑고 DeepSeek-V4-Pro simulated trajectory를 생성한 뒤 task validity, interaction coherence, query validity, lifecycle completeness, TTS quality, timeline validity로 필터링합니다. 하단 파이프라인은 GUI trajectory와 구조화된 상태·관계·시간 전이를 Cerebellum–Brain 상호작용 궤적으로 변환하고, 동일한 품질 검사를 거쳐 Omni Agent Data를 만듭니다.
Audio Agentic Interaction과 Omni Agentic Interaction 데이터의 seed sampling, trajectory synthesis, quality control 파이프라인입니다.

주요 결과

Full-Duplex-Bench v3에서 Gander는 100개 시나리오 모두 적절한 시점에 발화해 Take-turn 100.0%를 기록했고, 사용자가 끝나기 전에 말한 Interrupt는 8.0%였습니다. GPT-Realtime의 수치는 각각 96.0%와 13.5%였으며, Gander의 ToolSel 0.759, ArgAcc 0.503, RespQual 0.490, Pass@1 0.400은 최고 기준보다 낮았습니다. Back Brain만 텍스트 입력으로 평가하면 ToolSel 0.934, RespQual 0.740, Pass@1 0.520으로 높아져, 전체 경로에서는 위임 판단과 음성 합성·인식 경로가 함께 영향을 줍니다.

Full-Duplex streaming 모델끼리 비교하면 SpokenQA의 Llama Questions에서 75.60, Web Questions에서 59.30을 기록해 Audio-Interaction의 67.31과 54.34보다 각각 8.29점과 4.96점 높았습니다. VoiceBench에서는 AlpacaEval 3.96, SD-QA 46.84로 같은 그룹에서 각각 두 번째였으며, 이 평가는 2,052개 샘플 모두 Cerebellum이 직접 처리했고 Back Brain은 호출되지 않았습니다.

Omni understanding에서는 WorldSense 49.62, Daily-Omni 78.53을 기록했습니다. 이는 Gander의 초기화 모델인 MiniCPM-o 4.5의 55.70과 80.20보다 각각 6.08점과 1.67점 낮은 수치입니다. Audio와 Video를 함께 넣은 조건은 Video만 넣은 44.61·59.40, Audio만 넣은 43.32·57.81보다 높았으며, 결합 이득은 WorldSense 5.01점, Daily-Omni 19.13점이었습니다.

학습 데이터 구성은 상호작용 동작에도 영향을 줍니다. InteractionSpeech는 260.8K 샘플, Audio–Visual Interaction은 약 1.1M 샘플, Audio agentic interaction은 320.2K 샘플, Omni agentic interaction은 36.0K 샘플로 구성됐습니다. 이를 통해 발화 타이밍과 장기 작업 조정은 강화됐지만, 정적 영상의 세밀한 속성 인식이나 긴 자유 형식 응답에서는 성능 저하가 남았습니다.

기술 상세

Front Cerebellum은 Thinker-Talker 구조를 기반으로 오디오·비디오를 LLM token 공간으로 투영합니다. 영상은 임의 해상도 partitioning으로 frame을 slice로 분할하고 각 slice를 SigLIP Vision Transformer에 입력한 뒤 query-based resampler로 압축합니다. 최대 입력 해상도는 448 × 448이며, 오디오는 약 50 frame/s 특징을 생성한 뒤 MLP projector의 5 × temporal downsampling으로 약 10 token/s가 됩니다.

Streaming chunk flattening은 1초마다 하나의 chunk를 만들고, chunk를 관측 token → 제어 token → 텍스트 token 순서로 직렬화합니다. 텍스트 token 수는 모델이 결정하며 0일 수 있습니다. listen token이면 해당 구간에서 텍스트를 생성하지 않고, speak token이면 이후 텍스트를 음성 경로로 보내며, interrupt token이면 현재 음성 출력을 멈춥니다. 128개 chunk를 보관하므로 최근 약 2분의 상호작용을 유지하고, 새 chunk가 들어오면 가장 오래된 chunk를 제거합니다.

음성 생성은 LLM이 직접 고주파 acoustic token을 autoregressive하게 생성하지 않는 2단계 구조입니다. Backbone의 마지막 hidden state를 projection layer로 변환하고 텍스트 token과 함께 작은 speech token decoder에 넣어 이산 speech unit을 얻습니다. 이후 Streaming Flow-Matching Decoder가 reference audio에 조건화된 semantic token으로 mel-spectrogram과 파형을 chunk 단위로 복원합니다. 이 분리는 언어 추론의 decoding step 수를 늘리지 않으면서 음성 출력의 timbre와 vocal identity를 reference audio로 조정하게 합니다.

Runtime의 Gateway는 Project, Task, Run, WorkerEvent, Delivery를 지속 상태로 관리합니다. Lean 모드에서는 Cerebellum의 작업 분류를 바로 실행해 지연과 비결정성을 줄이고, Coordinator 모드에서는 별도 control-plane 모델이 추론 강도, 질문 정책, 권한 정책, 결과 전달 방식을 선언적으로 정합니다. Gateway는 이 계획을 현재 task state, provider capability, permission boundary, deployment configuration과 대조해 검증하며 Coordinator 자체는 파일·shell·network에 접근하지 않습니다.

Back Brain은 Codex나 Claude Code 같은 학습 불필요 범용 에이전트로 구현됩니다. 기본 도구 외에 context_fetch로 현재 task의 문맥·이벤트·artifact를 검색하고, memory_search로 세션 간 multimodal memory를 조회하며, share로 검증된 주요 발견·중간 진행·수정 정보를 Cerebellum에 전달합니다. 주 작업의 후속 지시는 동일 thread에 넣고, 읽기 전용 질의는 isolated fork에서 실행해 원래 작업 상태를 보존합니다.

관련 Figure

Diagram
영상과 사용자 오디오는 과거 chunk부터 현재 chunk까지 스트리밍되고, Context window는 최대 128개 chunk를 유지하며 오래된 항목을 제거합니다. 각 chunk는 User의 video·audio token과 Model의 listen 또는 speak·text·tool token으로 평탄화되고, Thinker가 생성한 text·tool content를 Talker와 Streaming Flow-Matching Decoder가 음성으로 변환합니다.
1초 단위 multimodal chunk, 128-chunk 문맥, listen·speak·interrupt·tool 제어 token을 포함한 Front Cerebellum 구조입니다.

한계점

논문은 Gander의 agent invocation과 대화 행동이 학습 데이터 분포에 민감하며, 복잡한 Omni Interaction Agent 시나리오에 대한 데이터·모델 규모 확장이 필요하다고 명시합니다. 현재 모델은 장기 Omni Interaction Agent 작업에 대해 on-policy distillation이나 reinforcement learning으로 광범위하게 최적화되지 않았고, 보상 설계·credit assignment·최적화 안정성이 미해결 과제로 남아 있습니다. Brain과 Cerebellum 사이의 통신도 주로 ASR 기반 신호에 의존하며, 더 풍부한 양방향 정보 전달과 장기 multimodal 문맥 관리가 후속 과제입니다.

실무 활용

Gander는 음성·영상·화면을 지속적으로 수신하면서 대화를 유지하고, 복잡한 요청만 별도 작업 에이전트에 위임하는 구조입니다. 사용자가 실행 중인 작업에 새 조건을 추가하거나 중단할 수 있고, Back Brain은 중간 진행 상황과 최종 결과를 Cerebellum으로 전달해 음성 대화 흐름에 통합합니다.

화면 속 오류 원인을 찾고 코드나 파일을 수정하는 음성 기반 개발 작업
사용자가 대화 중 조건을 추가하거나 작업을 취소할 수 있는 장기 워크플로
카메라·화면 변화에 따라 결과나 알림을 먼저 전달하는 시각 기반 보조
배경 소음, 중첩 발화, 다중 화자 환경에서의 음성 에이전트
검색·문서 처리·파일 조작을 비동기 실행하면서 진행 상황을 전달하는 작업 에이전트

코드 공개 여부: 공개

코드 저장소 보기

관련 Figure

Diagram
사용자가 오류 수정 작업을 위임한 뒤 대화를 계속하고 Python 3.12 호환성 조건을 추가하는 흐름을 나타냅니다. Harness Rail은 T1/E1에서 T1/E2로 실행을 갱신하고, 이전 실행은 Fenced 상태로 격리하며 새 Worker가 검사·패치·호환성 테스트를 진행한 뒤 Validated와 Queued 상태로 결과를 전달합니다.
사용자 대화, Harness Rail의 task 상태, Background Worker 실행이 시간순으로 연결된 작업 수정 사례입니다.

키워드

Gander(Omni Interaction Agent)Cerebellum–Brain 협업 프레임워크Full-Duplex InteractionThinker-Talker ArchitectureStreaming Chunk FlatteningAgent Orchestration RuntimeOmni PerceptionTool CallingBackchannelLong-Horizon Agentic Execution

용어 해설

Full-Duplex Interaction: — 사용자가 말하는 동안 모델이 계속 입력을 듣고 동시에 응답을 생성하는 상호작용 방식입니다. Gander는 오디오·비디오·텍스트를 시간순 chunk로 묶고, 각 chunk에서 listen·speak·interrupt 중 하나를 예측해 발화 시점과 중단 여부를 모델 내부에서 결정합니다. 외부 음성 구간 감지기에만 의존하지 않는 점이 핵심입니다.
에이전트 오케스트레이션 런타임(Agent Orchestration Runtime): — 실시간 상호작용 모델과 장기 작업을 수행하는 백엔드 에이전트 사이에서 입력 전달, 작업 상태, 실행 이벤트, 권한, 결과 전달을 관리하는 조정 계층입니다. Gander에서는 task_start·task_send·task_resolve 요청을 검증하고, 비동기 작업을 Project·Task·Run·WorkerEvent·Delivery 단위로 추적합니다.
슬라이딩 컨텍스트 윈도우(Sliding Context Window): — 고정된 크기의 최근 대화 문맥만 유지하고 오래된 항목을 순차적으로 제거하는 방식입니다. Gander는 1초 단위 chunk를 최대 128개까지 보관해 약 2분의 상호작용을 유지하며, 새 chunk가 들어오면 가장 오래된 chunk를 삭제해 추론 비용과 메모리 증가를 제한합니다.
스트리밍 Flow-Matching Decoder(Streaming Flow-Matching Decoder): — 이산 음성 토큰을 연속 음성 파형으로 바꾸는 음성 디코더입니다. Gander는 텍스트 기반 LLM이 의미를 계획하고 별도의 음성 토큰 디코더가 음성 단위를 생성한 뒤, Flow-Matching Decoder가 mel-spectrogram과 파형을 chunk 단위로 복원합니다. 전체 문장을 기다리지 않고 오디오를 순차 출력하는 구조입니다.
Backchannel: — 상대방의 발화를 이어가도록 짧게 반응하는 맞장구입니다. Gander 학습 데이터에서는 중국어 8자 또는 영어 6단어 미만의 짧은 반응을 별도 사건으로 분류하고, 266개 중국어·170개 영어 표현을 11개 의도 범주로 구성했습니다. 질문이나 요청 성격이 강한 발화는 맞장구에서 제외합니다.

실시간 상호작용과 장기 작업을 결합한 Gander

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

Motion-Omni의 음성·전신 동작 공동 생성

실시간 음성·에이전트형 영상·3D 월드 모델, 로컬 실행과 코딩 평가의 확장

MichiAI가 자연스러운 실시간 음성 대화를 구현한 방식

MOSS-VL 실시간 상호작용 기술 보고서

OmniAssistBench로 측정한 영상 보조 모델의 한계

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

Motion-Omni의 음성·전신 동작 공동 생성

실시간 음성·에이전트형 영상·3D 월드 모델, 로컬 실행과 코딩 평가의 확장

MichiAI가 자연스러운 실시간 음성 대화를 구현한 방식

MOSS-VL 실시간 상호작용 기술 보고서

OmniAssistBench로 측정한 영상 보조 모델의 한계