하이브리드 AI 모델 MYRA의 샘플링 편향 현상에 대한 고찰

작성자가 제시한 실험 결과와 논문에 대해 기술적인 호기심을 보이며, 특히 샘플링 이론 측면에서의 타당성에 주목하고 있습니다.

• 에너지 기반 모델에 LLM의 제안 메커니즘을 결합하여 샘플링의 다양성을 확보할 수 있다.
• 샘플링 수용 규칙 설계 시 정상 분포(Stationary Distribution)에 미치는 영향을 엄밀히 검증해야 한다.

제한된 볼츠만 머신(RBM)

— 가시층과 은닉층 사이의 이분 그래프 구조를 가진 생성적 확률 신경망이다. 층 내 연결 없이 층 간 연결만 존재하며, 에너지 기반 모델로서 데이터의 확률 분포를 학습하고 샘플링하는 데 사용된다.

지속적 대조 분산(PCD-1)

— 에너지 기반 모델 학습 시 마르코프 연쇄의 상태를 유지하며 가중치를 업데이트하는 기법이다. 매 단계마다 연쇄를 초기화하지 않고 이전 상태를 활용하여 샘플링 효율과 학습 안정성을 높인다.

모드 붕괴(Mode Collapse)

— 생성 모델이 데이터의 전체 분포를 학습하지 못하고 특정 몇 가지 패턴(모드)만 반복적으로 생성하는 현상이다. 모델의 표현력이 제한되거나 학습 과정의 불안정성으로 인해 발생하며 결과물의 다양성을 저해한다.

상세 균형(Detailed Balance)

— 마르코프 연쇄가 정상 상태에 도달하기 위한 충분 조건으로, 두 상태 사이의 전이 확률이 가역적임을 의미한다. 이 조건이 충족되어야 샘플링 프로세스가 목표로 하는 확률 분포에 정확히 수렴할 수 있다.