미라주 효과(Mirage Effect): VLM의 환각은 고도화된 내부 지식의 재구성인가?

대체로 흥미롭다는 반응이며, 모델의 내부 구조를 '기하학적 재구성'으로 해석한 관점에 대해 심도 있는 토론이 이루어졌다.

• VLM 벤치마크 수행 시 이미지를 제거한 '미라주 모드' 테스트를 병행하여 모델의 실제 시각 의존도를 측정하십시오.
• RAG나 멀티모달 시스템 설계 시 모델이 관찰 데이터보다 내부 편향에 의존하지 않도록 반사실적 프로빙 기법을 도입하십시오.

• VLM은 이미지 없이도 텍스트 단서만으로 내부 지식 네트워크를 탐색해 시각적 세부 사항을 '재구성'할 수 있는 능력을 갖추고 있다.
• 모델의 성능은 외부 입력의 유무보다 내부 지식 구조를 얼마나 깊게 활용하느냐(미라주 모드 vs 추측 모드)에 따라 결정된다.
• 외부 데이터의 노이즈가 특정 임계값을 넘으면 모델의 내부 논리가 외부 신호를 압도하여 입력을 무시하는 것이 유리한 '미라주 임계값'이 발생한다.