실시간 음성 대화를 위한 스트리밍 이중 brain 메모리

왜 중요한가

실시간 음성 시스템은 대화 중 감정과 개인 취향을 기억해야 하지만, 기존 메모리 검색은 2–3초가 걸리거나 top-100 결과를 요구해 500ms 안팎의 발화 전환 예산과 맞지 않았습니다. VoiceMem은 사실 기억과 감정·persona 기억을 병렬로 관리하고, 음성이 끝나기 전부터 검색을 시작해 134ms의 검색 시간으로 top-5 결과를 구성합니다. LoCoMo에서 430개 메모리 토큰과 134ms로 91.2를 기록해 낮은 context와 latency 예산 안에서 개인화 음성 상호작용을 구현하는 방향을 제시합니다.

관련 Figure

Diagram
왼쪽에는 entities, people, knowledge가 연결된 정보 그래프가 있고 오른쪽에는 emotion, experiences, preference가 별도 노드로 배치되어 있습니다. 하단의 vocal, emotional, fast 160ms, cheap top-5 표기는 음성·감정 메모리를 병렬 처리하면서 검색 지연과 후보 수를 제한한다는 설계 목표를 요약합니다. 논문의 핵심인 사실 기억과 affective attribution의 분리를 한 화면에서 확인할 수 있습니다.
VoiceMem의 left brain과 right brain이 각각 정보 기억과 감정·persona 기억을 담당하는 구조를 뇌 형태로 배치한 개요 그림입니다.

핵심 기여

사실 기억과 감정 기억을 분리한 이중 구조

VoiceMem은 left brain에서 schema–entity 계층으로 사실·사건·개념을 정리하고, right brain에서 독립 persona 노드와 entity 연결 persona 노드로 감정과 성향을 관리합니다. 두 그래프는 cross-brain 연결로 결합되어 현재 질의와 관련된 사실 및 감정 근거를 함께 검색합니다. 이 분리는 일시적 반응을 고정 성향으로 잘못 저장하는 문제와 감정의 대상을 잃는 문제를 동시에 줄입니다.

top-5 검색을 위한 조밀한 후보 구성

전체 메모리에서 바로 top-k를 고르면 같은 entity의 무관한 기억이 후보를 차지해 적은 검색 수에서 관련 정보가 빠질 수 있습니다. VoiceMem은 schema로 거친 의미 영역을 찾고 entity와 one-hop 이웃으로 후보를 확장한 뒤 backend 메모리를 검색합니다. K=5에서 430개 메모리 토큰으로 LoCoMo 91.2를 기록했고, 상위 인덱스를 제거하면 같은 설정에서 9.9포인트 하락했습니다.

침묵 구간을 활용한 스트리밍 메모리 I/O

시스템은 사용자가 말하는 동안 partial transcript, schema, entity, persona 노드를 갱신하고 200ms 침묵이 감지되면 embedding과 그래프 확장을 진행합니다. 400–500ms 구간에는 backend 검색과 두 brain 결과 병합만 남겨 응답 직전 처리를 끝냅니다. 표준 VAD 기준 500ms 대기 안에서 dense dual-brain retrieval이 134ms에 완료되어 추가 대화 지연을 만들지 않습니다.

음성 메모리 학습·평가·배포 파이프라인

논문은 memory world construction, SLM-verified black-box OPD, human curation을 연결해 ChatMem-400K 학습 데이터와 ChatMem-Bench 평가 세트를 구축합니다. ChatMem-Bench는 15,314개 발화와 53시간 오디오에서 316개 질문을 만들고 정보, persona, affective attribution, paralinguistics·environment의 14개 세부 범주를 평가합니다. 상위 routing과 dual-brain 구조를 하위 MemSearch backend와 분리해 Mem0, LangMem, Zep 같은 저장소로 이전할 수 있게 했습니다.

핵심 아이디어 이해하기

기존 embedding 기반 메모리 검색은 현재 질의와 저장된 기록의 의미 유사도를 계산해 top-k를 고르고, 그 기록을 LLM 입력에 넣습니다. 이 방식은 메모리가 커질수록 비슷한 기록이 많이 섞이고, 음성 모델은 text-agent 시스템처럼 top-100을 받을 수 없기 때문에 top-5에서 관련 기억을 놓칠 수 있습니다. VoiceMem은 검색 전에 schema와 entity로 후보를 분류하고, 반복적으로 함께 호출되는 연결 subgraph를 새 cluster로 승격해 후보 공간 자체의 정보 밀도를 높입니다.

정보 기억과 감정 기억은 저장해야 하는 증거의 시간 범위와 연결 방식이 다릅니다. left brain은 사실을 schema–entity–memory item 구조로 묶어 무엇이 일어났는지를 찾고, right brain은 사용자 자체의 지속 성향을 담는 independent node와 특정 entity를 향한 상황적 감정을 담는 cross-entity node를 분리합니다. 그래서 “무슨 일이 있었는가”와 “사용자가 그것을 어떻게 느끼는가”를 한 기록에 뭉개지 않고 함께 응답에 공급할 수 있습니다.

이 구조는 음성이 끝난 뒤 한꺼번에 검색하지 않습니다. 0–200ms에는 partial ASR과 brain별 매칭을 수행하고, 200–400ms에는 질의 embedding과 graph expansion을 계산하며, 400–500ms에는 두 후보 집합의 backend 검색과 prompt 병합을 마칩니다. 검색 자체가 134ms이고 VAD의 일반적인 500ms 대기 안에 포함되므로 메모리 처리가 turn-taking을 별도로 늦추지 않습니다.

방법론

VoiceMem의 입력은 사용자의 스트리밍 오디오와 현재까지 생성된 partial transcript입니다. 전처리 단계에서 음성 활동을 분할하고 ASR, speaker identity, emotion, entity, schema, voiceprint, embedding을 병렬 추출한 뒤 left brain과 right brain에 각각 전달합니다. 출력은 두 brain에서 검색한 memory item을 하나의 prompt로 합친 결과이며, 오디오를 유지하도록 설정하면 voiceprint, acoustic embedding, raw waveform도 해당 entity의 multimodal node로 연결됩니다.

left brain은 각 entity를 하나의 schema에 배정하고 entity description, schema description, backend memory item identifier를 저장합니다. partial transcript에서 일치하는 schema와 entity를 찾은 다음 해당 schema 안의 entity와 strong·weak one-hop 이웃을 합쳐 candidate pool을 만들고, MemSearch가 그 제한된 집합만 검색합니다. 매 turn 뒤에는 비동기 updater가 새 사실을 nearby memory와 비교해 add, update, delete, keep 중 하나를 수행하므로 응답 경로를 막지 않고 인덱스를 갱신합니다.

cluster emergence는 세션 질의들이 특정 entity 집합을 얼마나 반복적으로 함께 활성화하는지 계산하는 방식입니다. 질의 집합에서 활성 entity와 후보 subgraph의 겹침을 union 크기로 나누고 모든 질의에 대해 평균을 내어 coherence를 구한 뒤, 임계값 α를 넘는 가장 큰 연결 subgraph를 LLM judge가 relevance, importance, completeness 기준으로 확인합니다. 세 조건을 모두 통과하면 새 cluster로 승격하고, 그렇지 않으면 잠재적 분할 후보를 비활성화해 무관한 fragmentation을 막습니다.

right brain은 independent persona node와 cross-entity persona node를 별도로 유지합니다. 각 발화에서 affect estimator가 현재 감정 표현을 만들면 단기 attribution이 발화, 감정, 상황적 대상을 이용해 node를 추가·수정·병합하고, 세션이 끝나면 장기 attribution이 반복 증거를 consolidate해 지속 성향을 independent node로 정리합니다. 검색 시에는 transcript에서 직접 매칭된 persona node와 left brain이 활성화한 entity에 연결된 cross-entity node를 함께 가져오므로 감정의 상태와 대상을 동시에 보존합니다.

스트리밍 검색은 listening, speech tail, anticipation, searching의 네 단계로 나뉩니다. 0–200ms speech tail에서 ASR와 graph matching을 실행하고, 200–400ms anticipation에서 partial transcript를 embedding해 두 brain의 후보를 확장하며, 400–500ms searching에서 left·right backend 결과를 각각 MemSearch한 뒤 Prompt 단계에서 합칩니다. 이 순서를 사용하면 VAD가 침묵을 확인하는 동안 대부분의 메모리 처리가 끝나고 최종 retrieval만 응답 직전에 수행됩니다.

관련 Figure

Diagram
Phase 1에서 음성 분할 뒤 speech recognition, emotion recognition, entity·schema·voiceprint·embedding extraction을 스트리밍 또는 비스트리밍으로 수행합니다. 중앙에서는 left brain이 schema–entity 정보 그래프를 만들고 right brain이 affect graph를 관리하며, 하단에서는 memory encoding, indexing, retrieval, readout이 순서대로 이어집니다. 입력 특성 추출부터 top-k context 구성까지의 구현 경로를 보여주는 그림입니다.
VoiceMem의 전처리, 두 brain의 graph 관리, backend 검색과 응답 생성을 연결한 전체 pipeline입니다.

Chart
0–200ms speech tail에서는 partial speech와 침묵 감지를 처리하고, 200–400ms anticipation에서는 “I should Prepare” 단계로 embedding과 graph 확장을 진행합니다. 400–500ms searching에서는 top-k ranking과 output build만 남으며, 오른쪽에는 streaming ASR·entity·emotion detection과 두 brain search가 병렬로 배치됩니다. 표준 VAD가 응답 전 기다리는 시간 안에 검색을 숨기는 latency 설계를 구체적인 시간 구간으로 나타냅니다.
사용자 발화 중 0–500ms 구간에 memory retrieval 단계를 겹쳐 실행하는 시간표입니다.

주요 결과

텍스트 메모리 평가에서 VoiceMem은 정보 기억 평균 76.39를 기록해 backend인 Mem0보다 24.12포인트, 전체 대화를 입력으로 쓰는 full-context 처리보다 15.90포인트 높았습니다. 여러 기억을 함께 조합해야 하는 temporal reasoning에서 개선 폭이 54.9포인트로 컸고, 최신 기억 하나로 답할 수 있는 update tracking에서는 7.4포인트로 좁았습니다. persona memory 평균은 GPT-4o-mini 응답 모델에서 74.16, Fine-tuned 응답 모델에서 76.56이었으며 후자는 MemOS보다 1.89포인트 높았습니다.

ChatMem-Bench에서는 316개 질문과 53시간 오디오를 기준으로 VoiceMem이 14개 세부 범주 중 11개에서 가장 높은 점수를 기록했습니다. 특히 Paralinguistics & Environment의 acoustic 범주에서 text-only 시스템은 3.23–26.92 범위였지만 VoiceMem은 45.16–53.84를 기록해 transcript에 없는 배경음·음향 장면 정보를 활용했습니다. Affective Attribution에서는 단어 선택만으로도 감정 신호가 전달되기 때문에 text baseline이 경쟁력을 유지했고, audio의 추가 이점은 attachment-guided decision과 affect-aware phrasing에서 나타났습니다.

효율성 비교에서 K=5 VoiceMem은 430 memory tokens, 134ms retrieval, 91.2 정확도를 기록했습니다. EverMemOS는 1,899 tokens로 83.13을 기록했으므로 VoiceMem은 4.4배 적은 token으로 8.1포인트 높은 점수를 냈습니다. K를 5에서 10으로 늘려도 1.3포인트, 100으로 늘려도 2.3포인트만 증가했으며, schema routing을 제거하면 K=3에서 4.53포인트 하락하고 430-token 수준에 도달하려면 K=30과 1,277 tokens가 필요했습니다.

구성요소 제거 실험에서는 네 데이터셋 모두에서 다섯 가지 ablation이 점수를 낮췄습니다. upper-layer index 제거의 하락폭이 LoCoMo, ES-MemEval, ChatMem-Bench, Memora에서 각각 9.9, 5.3, 6.7, 4.4포인트로 가장 컸고, right brain 제거가 각각 6.3, 4.3, 5.4, 4.4포인트로 뒤를 이었습니다. index를 Mem0, LangMem, Zep에 옮기면 별도 threshold retuning 없이 15.8–29.5포인트가 상승해 효과가 특정 backend에만 묶이지 않음을 확인했습니다.

메모리 구조를 보면 left store는 510개 item과 preset slot 6개로 구성되고, graph에서 새로 생긴 두 slot이 254개 item을 차지해 전체의 49.8%를 이루었습니다. Pets & Outdoor는 daily_life 48%, health 27%, relationships 17%에서 모였고, Engineering Project는 work 39%, goals 31%로 나뉘어 preset 경계를 가로질렀습니다. right store는 4개 module의 251개 item과 left-brain slot으로 향하는 280개 edge를 유지했으며, daily_life에 91개 연결이 집중되었습니다.

관련 Figure

Chart
왼쪽 3차원 비교는 K sweep에서 VoiceMem이 baseline보다 높은 accuracy를 유지하면서 memory token과 search latency를 낮추는 위치를 표시합니다. 오른쪽 곡선에서는 VoiceMem이 K=1부터 K=200까지 baseline보다 높은 정확도를 유지하고 K=5 이후 증가 폭이 작아지는 패턴을 확인할 수 있습니다. 적은 top-k와 430 memory tokens, 134ms retrieval로 높은 성능을 유지한다는 효율성 주장을 뒷받침합니다.
VoiceMem의 retrieval accuracy, memory token 수, search latency를 baseline과 비교한 결과 그림입니다.

기술 상세

left-brain graph는 schema 집합, entity 집합, micro·macro edge로 구성됩니다. 각 entity는 정확히 하나의 schema에 속하고 backend memory item의 identifier를 가리키며, 검색기는 partial transcript에서 매칭된 entity와 schema 내부 entity를 모은 뒤 strong·weak one-hop 이웃을 추가해 후보 집합을 만듭니다. 이 후보 집합만 MemSearch에 입력하므로 전체 메모리에서 top-k를 직접 고르는 대신 의미적으로 조밀한 영역에서 ranking을 수행합니다.

cluster emergence의 coherence는 질의별 활성 entity 집합과 후보 subgraph의 교집합 크기를 합집합 크기로 나눈 값의 세션 평균으로 계산합니다. 예를 들어 어떤 후보 H가 질의 10개 중 8개에서 활성 entity와 완전히 겹치면 각 항의 값은 1에 가까워지고 평균 coherence도 높아지지만, 매번 다른 entity가 활성화되면 교집합이 작아져 낮아집니다. 높은 coherence만으로 승격하지 않고 LLM judge가 relevance, importance, completeness를 모두 확인하므로 반복 호출은 많지만 의미가 불완전한 subgraph의 분할을 제한합니다.

right-brain independent node는 지속적인 behavioral regularity와 affective tendency를 저장하고, cross-entity node는 특정 left-brain entity에 대한 상황적 감정을 저장합니다. 단기 단계에서는 발화별 affect representation을 이용해 현재 graph를 수정하고, 장기 단계에서는 한 세션의 발화·감정 sequence에서 반복 패턴만 independent node로 통합합니다. 이 입력·수정·통합 흐름이 있어 “화가 났다”는 일시적 상태와 “갈등 상황에서 불편함을 느끼는 경향”을 서로 다른 메모리 구조에 둘 수 있습니다.

학습 파이프라인은 Persona에서 Background, Events, Messages, Memory로 이어지는 일관된 synthetic user history를 먼저 만듭니다. 이후 Task & Topic, Scene Initialization, Challenge & Strategy, Contrastive Distillation, Verification, SFT Update를 반복해 memory 사용이 필요한 대화를 생성하고, teacher model의 black-box 응답 검증으로 necessity, faithfulness, quality를 필터링합니다. human curation 단계에서는 감정·성격 변화와 acoustic question을 보강하고, 검증용 subset을 ChatMem-Bench로 분리합니다.

배포 시 upper-level VoiceMem은 memory item의 routing, 두 brain의 graph 확장, streaming reasoning을 담당하고 lower-level backend는 검색·쓰기 인터페이스로 추상화됩니다. 현재 실험은 Mem0를 backend로 사용하지만, backend transfer 표에서 LoCoMo 점수가 Mem0 61.68에서 91.20, LangMem 56.18에서 71.94, Zep 62.93에서 85.85로 상승했습니다. 다만 같은 index를 써도 backend별 최종 점수 차이가 남아 있어 routing이 후보를 줄여도 저장·검색 엔진의 기본 품질이 상한을 결정합니다.

관련 Figure

Diagram
그림은 Dynamic user history, Acoustic memory with audio, Scale 400K plus 500 train·validation이라는 데이터 특성을 왼쪽에 배치합니다. 오른쪽에서는 persona, background, events, messages를 LLM check로 정제한 뒤 iterative rollout과 human edit를 거쳐 ChatMem-400K와 ChatMem-Bench로 연결합니다. memory world construction, SLM-verified online distillation, human curation의 학습·평가 pipeline을 시각화합니다.
ChatMem-400K와 ChatMem-Bench를 만드는 데이터 구축 흐름과 세 가지 데이터 특성을 정리한 그림입니다.

한계점

ChatMem-Bench는 316개 질문과 53시간 오디오를 포함하지만, benchmark 구축과 annotation pipeline의 상세 내용은 별도 후속 technical report로 미뤄져 있습니다. 또한 현재 구현의 backend는 Mem0에 의존하고, 다른 backend로 옮길 때 threshold retuning을 하지 않은 결과만 제시됩니다.

실무 활용

VoiceMem은 실시간 음성 assistant가 사용자의 사실, 선호, 감정, 음향 경험을 대화 이력에서 검색하도록 구성된 memory layer입니다. 상위 routing과 dual-brain 관리가 backend engine과 분리되어 있어 현재 구현의 Mem0뿐 아니라 identifier 기반 검색과 update write를 지원하는 다른 저장소에도 연결할 수 있습니다. GitHub 저장소가 제공되어 논문의 구조와 학습·배포 파이프라인을 실험 대상으로 삼을 수 있습니다.

사용자의 과거 발화와 현재 partial transcript를 결합해 선호에 맞는 추천을 생성하는 개인화 음성 assistant
특정 사람·사건에 대한 사용자의 감정과 장기적인 성향을 분리해 반응하는 정서 인식 대화 시스템
배경음, 화자 voiceprint, acoustic embedding을 저장해 카페나 회의 같은 음향 장면을 회상하는 multimodal assistant
VAD가 기다리는 500ms 안에 memory retrieval을 끝내야 하는 실시간 duplex speech 시스템
Mem0, LangMem, Zep처럼 교체 가능한 backend 위에 공통 routing 계층을 두는 메모리 인프라

코드 공개 여부: 공개

코드 저장소 보기

관련 Figure

Screenshot
네 사례는 사용자의 실제 감정과 표현이 불일치하는 상황, 선호 기반 조언, 일주일 전 사건 회상, 카페에서 들은 노래 회상을 다룹니다. GPT-live 응답은 현재 발화에 일반적으로 반응하지만 VoiceMem은 과거 맥락과 감정 대상, 준비 기간, 저장된 audio event를 응답에 결합합니다. VoiceMem이 turn-level speech response를 지속적인 개인화·multimodal memory response로 확장하는 효과를 구체적인 대화 예로 보여줍니다.
VoiceMem과 GPT-live가 감정, 선호, 장기 기억, 오디오 기억 질문에 답하는 사례 비교표입니다.

키워드

VoiceMem(스트리밍 이중 brain 메모리)duplex speech language models(양방향 음성 언어 모델)schema–entity index(스키마-엔터티 인덱스)affective attribution(감정 귀속)persona memory(persona 기억)streaming memory I/O(스트리밍 메모리 입출력)ChatMem-Bench(음성 메모리 평가 benchmark)

용어 해설

양방향 음성 언어 모델(Duplex Speech Language Model): — 사용자 발화와 시스템 응답이 겹치거나 스트리밍으로 이어지는 실시간 대화를 처리하는 음성 언어 모델입니다. VoiceMem은 이 모델에 정보·감정 메모리를 연결해 발화 중 검색을 진행합니다.
음성 활동 감지(Voice Activity Detection): — 음성 신호에서 사용자가 말하는 구간과 침묵 구간을 구분하는 처리입니다. 논문은 일반적인 500ms VAD 대기 시간 안에 메모리 검색을 끝내 응답 지연을 추가하지 않는 구조를 사용합니다.
감정 귀속(Affective Attribution): — 감정이 누구의 상태인지뿐 아니라 어떤 사람·사건·개념을 향하는지 연결하는 과정입니다. VoiceMem은 독립 persona 노드와 entity에 연결된 cross-entity 노드를 분리해 단기 반응과 장기 성향을 관리합니다.
스키마-엔터티 인덱스(Schema–Entity Index): — 상위 schema로 의미 영역을 좁힌 뒤 하위 entity에서 구체적인 사람·사건·개념을 찾는 2단계 메모리 인덱스입니다. 검색 후보를 조밀하게 만들어 적은 top-k 예산에서도 관련 기억을 유지합니다.
검색 증강 생성(Retrieval-Augmented Generation): — 현재 질의와 의미적으로 가까운 외부 기록을 검색한 뒤 그 결과를 언어 모델 입력에 넣어 응답을 만드는 방식입니다. VoiceMem은 일반적인 유사도 검색보다 정보·감정 그래프를 먼저 거쳐 후보 공간을 줄입니다.
온라인 온폴리시 증류(Online On-Policy Distillation): — 학생 모델이 실제로 생성한 응답을 교사 모델과 비교하고 검증하면서 학습 데이터를 반복적으로 만드는 증류 방식입니다. VoiceMem은 memory world 구성, black-box 교정, 검증, SFT Update를 순환해 ChatMem-400K를 구축합니다.

실시간 음성 대화를 위한 스트리밍 이중 brain 메모리

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

StreamArena와 StreamMind

LLM 메모리가 만드는 인지적 함정과 완화 방법

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

StreamArena와 StreamMind

LLM 메모리가 만드는 인지적 함정과 완화 방법