moe-split-ffn

공유된 attention/normalization과 모달리티별로 분리된 FFN을 결합한 아키텍처 설계로, MoE 전문가 일부를 모달리티 전용으로 고정하고 나머지를 동적 라우팅하여 경쟁을 완화하면서 시너지를 유지하는 방식을 의미한다.