PersonaVLM: 장기적 개인화를 위한 멀티모달 대형 언어 모델

기존 멀티모달 모델은 단발성 대화에 치중해 사용자의 취향 변화나 고유한 성격을 장기적으로 기억하지 못하는 한계가 있었다. PersonaVLM은 대화 속에서 사용자의 성격 수치를 실시간으로 업데이트하고 전용 메모리 데이터베이스를 구축하여, 시간이 지나도 사용자에게 최적화된 맞춤형 답변을 제공한다.

기존의 Transformer 기반 모델은 고정된 컨텍스트 윈도우 내에서만 정보를 처리하므로, 수주 또는 수개월에 걸친 사용자의 선호도 변화나 성격적 특성을 유지하기 어렵다. 특히 사용자가 '불안할 때는 콜라보다 사이다를 선호한다'는 식의 미묘한 변화를 감지하지 못하고 과거의 데이터에만 의존하는 '정적 개인화'의 한계가 존재한다.

PersonaVLM은 이를 해결하기 위해 사용자의 발화에서 추출된 심리적 지표를 임베딩 공간의 벡터로 변환하고, 이를 지수 이동 평균(EMA)을 통해 지속적으로 갱신하는 Personality Evolving Mechanism(PEM)을 사용한다. 이는 모델이 사용자의 현재 심리 상태와 성격적 경향성을 실시간으로 반영하는 동적 앵커 역할을 수행하게 한다.

결과적으로 모델은 단순한 텍스트 매칭을 넘어 사용자의 '숨겨진 성격'에 맞춰 답변의 톤과 매너를 조절한다. 예를 들어 내향적인 사용자가 스트레스를 받을 때 지나치게 외향적인 조언 대신 차분하고 공감적인 답변을 생성함으로써 장기적인 신뢰 관계를 구축할 수 있게 된다.

PersonaVLM은 Response Stage와 Update Stage의 두 단계 협업 프로세스로 동작한다. Response Stage에서는 사용자의 쿼리(Qm), 대화 컨텍스트(Cm), 그리고 이전 시점의 메모리 데이터베이스(Mm-1)를 입력으로 받아 다단계 추론을 수행한다. 모델은 정보가 부족할 경우 태그를 생성하여 메모리에서 필요한 정보를 검색하고, 최종적으로 사용자의 성격에 정렬된 답변(Rm)을 출력한다.

Update Stage에서는 답변 생성 후 유휴 시간에 Personality Evolving Mechanism(PEM)을 가동한다. 최신 대화 쿼리 Qm에서 Big Five 성격 점수를 추론하여 turn-specific personality vector p'm을 생성하고, 이를 기존 벡터 pm-1과 pm ← λ · pm-1 + (1 - λ) · p'm 식을 통해 결합한다. 여기서 λ는 코사인 스케줄링에 따라 초기에는 낮게 설정되어 빠른 적응을 돕고 시간이 흐를수록 높여 성격 프로필을 안정화한다.

학습은 Qwen2.5-VL-7B를 백본으로 하여 2단계로 진행된다. 1단계인 Supervised Fine-Tuning(SFT)에서는 78k개의 합성 데이터셋을 통해 메모리 관리와 추론 능력을 학습시킨다. 2단계인 Reinforcement Learning(RL)에서는 Group Relative Policy Optimization(GRPO)을 사용하여 모델이 , , 구조의 엄격한 형식을 준수하고 추론의 논리적 일관성을 유지하도록 강화한다.

Persona-MME 벤치마크 평가 결과, PersonaVLM은 128k 컨텍스트 설정에서 베이스라인 모델 대비 22.4%의 성능 향상을 보였다. 특히 사용자의 성격 변화를 추적하는 PERSONAMEM 데이터셋에서도 9.8%의 개선을 기록했다. 이는 모델이 장기적인 대화 흐름 속에서 사용자의 의도와 선호도를 정확히 포착하고 있음을 의미한다.

정성적 평가에서 PersonaVLM은 Gemini-2.5-Pro를 판정관으로 한 비교 실험에서 GPT-4o를 상대로 79%의 승률을 기록했다. GPT-4o가 시각적 기억 소환에 실패하거나 사용자의 성격과 맞지 않는 일반적인 답변을 내놓는 반면, PersonaVLM은 과거 대화에서 언급된 세부 사항을 정확히 기억하고 사용자의 성격 특성(예: 높은 성실성, 낮은 외향성)에 맞춘 맞춤형 조언을 제공하는 것으로 나타났다.

전체 아키텍처는 User Personality Profile(P)과 Multi-Type Memory Database(M)로 구성된다. 메모리 데이터베이스는 핵심(Core), 의미(Semantic), 에피소드(Episodic), 절차(Procedural)의 네 가지 유형으로 세분화되어 관리된다. Semantic 메모리는 시간과 무관한 사실과 멀티모달 개념을 저장하며, Episodic 메모리는 대화 세션을 주제별로 요약하여 저장한다.

메모리 검색 시에는 텍스트 기반의 밀집 벡터 검색(FAISS 활용)과 시각적 개념 검색을 병행한다. 시각적 검색의 경우 Grounding DINO를 사용하여 입력 이미지에서 객체를 추출하고, 이를 CLIP 임베딩 공간에서 Semantic 메모리에 저장된 시각적 개념과 비교하는 방식을 취한다. 이를 통해 '지난주에 본 그 물건'과 같은 멀티모달 쿼리에 대응한다.

성격 추론 과정에서는 Big Five(OCEAN) 모델의 각 항목을 1~5점 사이의 정수로 평가한다. 모델은 비개인적인 대화나 중립적인 맥락에서는 업데이트를 건너뛰어 프로필의 오염을 방지한다. 또한 RL 단계에서 사용된 GRPO 알고리즘은 별도의 Critic 모델 없이 그룹 내 상대적 보상을 계산함으로써 학습 효율성을 높이고 모델이 복잡한 추론 궤적을 스스로 최적화하도록 유도한다.

현재 PersonaVLM은 비디오나 오디오 입력에서의 인물 인식 및 추적을 지원하지 않는다. 또한 메모리 시스템이 타임라인 기반으로 구축되어 있어, 서로 다른 시점에 발생한 연관된 에피소드 메모리들을 하나로 병합하거나 연결하는 기능이 부족하다.