MoKus: 지식 인지형 개념 커스터마이징을 위한 교차 모달 지식 전이 활용

기존의 이미지 생성 커스터마이징은 의미 없는 특수 토큰에만 의존해 복잡한 설명이나 지식을 반영하지 못했다. MoKus는 텍스트 인코더의 지식을 직접 수정하는 방식으로, 단 몇 분 만에 특정 대상의 시각적 특징과 관련 지식을 결합하여 정교한 이미지를 생성한다.

단락 1: Transformer 기반의 언어 모델은 단어를 고차원 벡터인 Embedding으로 변환하여 처리한다. 기존의 커스터마이징 방식은 '나의 강아지' 같은 특정 대상을 표현하기 위해 같은 새로운 Embedding을 추가하지만, 이 벡터는 기존 지식과 연결되어 있지 않아 '코펜하겐의 인어공주상' 같은 구체적인 텍스트 지식과 결합할 때 정보 충돌이 발생한다.

단락 2: MoKus는 텍스트 인코더(LLM) 내부의 지식 구조를 직접 편집하는 방식을 취한다. 먼저 대상의 시각적 특징을 라는 앵커에 저장한 뒤, '덴마크 항구의 조각상'이라는 질문에 대한 답이 이 앵커가 되도록 LLM의 가중치를 미세 조정한다. 이는 Gradient Descent를 통해 특정 뉴런의 활성화 패턴을 바꾸는 것과 유사한 원리다.

단락 3: 이 접근법의 핵심은 텍스트 모달리티에서 수정된 지식이 생성 모델의 시각적 출력으로 자연스럽게 전이된다는 점이다. 텍스트 인코더가 '덴마크 조각상'을 읽을 때 학습된 앵커 벡터를 출력하게 되므로, 확산 모델은 별도의 추가 학습 없이도 해당 텍스트로부터 정확한 시각적 개념을 인지하고 고화질 이미지를 생성한다.

단락 1: Visual Concept Learning 단계에서는 입력 이미지 x_i를 VAE로 인코딩하여 잠재 변수 z_0를 추출한다. 이후 Rectified Flow 기법을 적용하여 z_t = t * z_0 + (1 - t) * z_1 수식에 따라 노이즈 z_1과 혼합된 상태 z_t를 생성함. [이미지 잠재값과 노이즈를 입력으로] → [시간 t에 따른 선형 보간 연산을 수행해] → [중간 단계의 잠재 변수 z_t를 얻고] → [이는 모델이 복원해야 할 목표값이 됨]

단락 2: 시각적 특징을 앵커 토큰에 고정하기 위해 MMDiT의 Self-Attention 레이어에 LoRA를 적용한다. 희귀 토큰 P를 LLM 인코더에 통과시켜 얻은 텍스트 잠재값 h를 가이드로 삼아, 모델이 z_t로부터 원본의 시각적 세부 사항을 재구성하도록 학습함. [희귀 토큰과 노이즈 잠재값을 입력으로] → [MMDiT 추론 및 MSE 손실 계산을 수행해] → [LoRA 파라미터를 갱신하고] → [대상의 외형 정보를 앵커 표현에 저장함]

단락 3: Textual Knowledge Updating 단계에서는 수집된 지식 k_i를 질문 q_i로 변환하고, 이에 대한 응답이 학습된 앵커 표현 y가 되도록 LLM의 MLP 레이어 가중치를 수정함. 이때 최소제곱법 공식을 사용하여 파라미터 변화량 Δθ를 산출함. [질문의 은닉 상태 H와 목표 출력 방향 V를 입력으로] → [정규화된 역행렬 곱셈 연산을 수행해] → [최적의 가중치 변화량 Δθ를 얻고] → [이를 기존 가중치에 더해 지식을 주입함]

단락 1: KnowCusBench를 통한 정량적 평가 결과, MoKus는 재구성 작업에서 CLIP-I-Seg 점수 0.764를 기록하며 Naive-DB(0.758)를 앞섰다. 이는 배경 요소를 분리하고 대상 자체의 시각적 일치도를 측정했을 때 MoKus가 가장 정확하게 대상을 복원함을 의미한다.

단락 2: 생성 작업의 품질 측면에서도 우수한 성과를 거두었다. 텍스트 프롬프트와의 정렬 상태를 나타내는 CLIP-T 점수는 0.305로 베이스라인 중 가장 높았으며, 인간의 시각적 선호도를 반영하는 Pick Score에서도 21.30점을 획득하여 실제 사용자가 만족할 만한 고품질 이미지를 생성함을 입증했다.

단락 3: 효율성 분석 결과, MoKus의 전체 학습 시간은 약 6분으로 측정되어 Naive-DB의 27분 대비 약 78%의 시간 절감 효과를 보였다. 또한 지식의 개수를 1개에서 5개까지 늘려도 성능 저하 없이 안정적인 결과를 유지했으며, 각 지식 추가 시 발생하는 연산 비용은 약 7초 내외로 매우 낮게 나타났다.

단락 1: 전체 시스템은 Qwen-Image 아키텍처를 기반으로 하며, 텍스트 처리를 위한 LLM 인코더와 이미지 생성을 위한 MMDiT 백본이 결합된 형태다. 시각적 특징은 텍스트 임베딩 공간 내의 특정 앵커 벡터로 투영되며, 이 벡터가 두 모달리티 사이의 가교 역할을 수행한다.

단락 2: 지식 업데이트는 LLM의 중간 레이어(18~26번)에 위치한 MLP 블록의 Gate Projection과 Up Projection 행렬을 대상으로 진행된다. 총 16개의 파라미터 행렬만을 수정함으로써 모델의 전체적인 언어 이해 능력을 보존하면서도 특정 지식에 대한 응답만을 정교하게 제어한다.

단락 3: 교차 모달 지식 전이의 수학적 기반은 텍스트 인코더의 출력 분포 변화가 확산 모델의 Cross-Attention 메커니즘을 통해 시각적 특징 맵의 활성화 양상을 변화시키는 원리에 기인한다. 텍스트 공간에서의 지식 편집이 시각 공간에서의 개념 발현으로 이어지는 경로를 최적화함이 기술적 차별점이다.

비디오 생성 도메인으로의 확장성 검증 미비, 지식 인지 능력을 보다 다각도로 측정할 수 있는 평가 지표의 부족, 그리고 현재의 2단계 학습 프로세스를 단일 단계로 통합하는 엔드투엔드 최적화의 부재가 한계점으로 명시됐다.