multimodal-memory

멀티모달 메모리 하니스는 과거 관찰 이미지와 텍스트 요약을 결합해 모델 입력에 재주입하는 간단한 메커니즘이다. 각 시간 단계에서 과거 프레임을 샘플링해 K개 내로 제한하고 텍스트 캐시로 과거 서브태스크를 유지하여 긴 시퀀스 의존성을 압축한다. 본 논문에서는 이미지·텍스트 병합이 단독 이미지나 단독 텍스트보다 장기 계획 정확도를 높이는 것으로 나타났다.