SenseNova-U1: 통합 멀티모달 모델 학습 스택 및 샘플 데이터셋 오픈소스 공개

커뮤니티 반응

대체로 긍정적이며, 단순 모델 가중치 공개를 넘어 학습 파이프라인 전체를 공개한 점에 대해 높은 평가를 보내고 있다.

SenseNova-U1은 이미지 생성, 편집, OCR, VQA를 단일 파이프라인에서 처리하는 통합 멀티모달 모델이다. 기존 모델들이 주로 이미지 생성에만 집중한 것과 달리, 이해와 생성을 동시에 학습하는 구조를 채택했다.

공개된 저장소는 8B dense 및 38B-A3B MoE 설정, torchrun 실행 스크립트, FlexAttention 블록 마스크를 활용한 시퀀스 패킹 등을 포함한다. 이는 통합 멀티모달 학습 구조를 설계하는 데 유용한 참고 자료가 된다.

학습을 위한 하드웨어 요구 사항은 8B 모델의 경우 8x80GB GPU, MoE 모델의 경우 16x80GB GPU로 상당히 높다. 전체 학습을 재현하기 위한 데이터셋은 아니지만, 학습 파이프라인을 검증하는 용도로 적합하다.

PyTorch추천

모델 학습 및 파이프라인 실행

Hugging Face중립

체크포인트 변환 및 데이터셋 호스팅