DeepSeek 비전 모델 가이드: DeepSeek-VL부터 Janus-Pro까지

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

DeepSeek는 효율적인 학습 방법과 오픈 웨이트 정책을 통해 비전-언어 모델(VLM) 분야에서 중요한 위치를 차지하고 있다. 이 글은 이미지 이해와 생성을 동시에 수행하는 Janus 시리즈부터 고해상도 문서 처리에 특화된 DeepSeek-OCR까지 주요 모델들의 기술적 특징을 상세히 다룬다. 특히 최신 모델인 DeepSeek-VL2의 동적 타일링 아키텍처와 Roboflow Supervision 라이브러리를 이용해 모델의 텍스트 출력을 정형화된 객체 탐지 데이터로 변환하는 구체적인 워크플로우를 제시한다. DeepSeek의 모델들은 MoE 아키텍처와 MLA 기법을 결합하여 높은 성능과 추론 효율성을 동시에 확보했다.

배경

Python 프로그래밍 지식, PyTorch 및 Transformers 라이브러리 기본 사용법, 객체 탐지(Object Detection) 및 Bounding Box 개념 이해

대상 독자

오픈 소스 VLM을 활용하여 시각적 이해 및 생성 파이프라인을 구축하려는 AI 엔지니어 및 연구자

의미 / 영향

DeepSeek의 오픈 웨이트 모델들은 고성능 멀티모달 AI에 대한 접근성을 높여 비용 효율적인 온프레미스 배포를 가능하게 한다. 특히 이해와 생성을 통합한 Janus 아키텍처는 향후 멀티모달 에이전트 설계의 중요한 표준이 될 가능성이 크다.

섹션별 상세

DeepSeek-VL 시리즈는 SigLIP과 SAM을 결합한 하이브리드 비전 인코더를 사용한다. SigLIP-L은 전반적인 의미론적 이해를 담당하고 SAM-B는 미세한 시각적 세부 사항을 캡처하여 고해상도 이미지와 문서 처리에 최적화된 성능을 보여준다. 2세대 모델인 DeepSeek-VL2는 이미지를 여러 타일로 나누어 처리하는 동적 타일링 기술을 도입하여 OCR 및 차트 분석 능력을 대폭 향상시켰다.

DeepSeek-VL2의 인컨텍스트 비주얼 그라운딩 예시 이미지 — Screenshot모델이 첫 번째 이미지의 특정 객체를 참조하여 두 번째 이미지에서 동일한 카테고리의 객체를 찾아내는 과정을 보여준다. 이는 모델이 문맥을 이해하고 시각적 접지를 수행하는 능력을 증명한다.

Janus 시리즈는 이미지 이해와 생성을 하나의 통합된 아키텍처 내에서 구현한다. 기존 모델들과 달리 이해와 생성을 위한 시각적 인코딩 경로를 분리하면서도 공유된 자동 회귀 트랜스포머를 통해 데이터를 처리한다. 특히 JanusFlow는 Rectified Flow 기법을 도입하여 복잡한 구조 변경 없이도 자연스러운 이미지 생성을 가능하게 하며, Janus-Pro는 최적화된 학습 전략과 확장된 데이터를 통해 성능을 더욱 강화했다.

Janus 모델의 3단계 학습 파이프라인 다이어그램 — Diagram어댑터 학습, 공동 VL 사전 학습, 지도 미세 조정(SFT)으로 이어지는 Janus의 학습 과정을 시각화한다. 각 단계에서 언어 모델과 비전 인코더의 동결 여부를 명시하여 아키텍처 이해를 돕는다.

JanusFlow의 통합 멀티모달 아키텍처 구조 — Diagram공유된 LLM 백본을 중심으로 이해(Autoregression)와 생성(Rectified Flow) 경로가 어떻게 분리되고 통합되는지 보여준다. 텍스트 토크나이저와 이미지 디코더 간의 데이터 흐름을 명확히 설명한다.

Janus-Pro의 아키텍처 및 학습 전략 개요 — DiagramJanus-Pro가 기존 Janus 대비 개선된 학습 전략과 데이터 확장 방식을 채택했음을 시각적으로 나타낸다. 1B 및 7B 모델 크기로의 확장성과 최적화된 이미지 헤드 학습 과정을 포함한다.

DeepSeek-OCR 시리즈는 긴 문서와 복잡한 레이아웃 이해에 특화된 전문가 모델이다. 문서를 시각적 압축 문제로 접근하여 적은 수의 비전 토큰으로도 페이지 정보를 유지하는 DeepEncoder를 사용한다. 최신 버전인 DeepSeek-OCR 2는 인간의 시각적 흐름을 모방한 Visual Causal Flow 아키텍처를 도입하여 고정된 스캔 방식 대신 의미론적 순서에 따라 토큰을 재구성함으로써 레이아웃 인식 능력을 높였다.

Roboflow Supervision 라이브러리를 통해 DeepSeek-VL2의 텍스트 응답을 표준 객체 탐지 포맷으로 변환할 수 있다. 모델이 생성한 좌표 토큰을 sv.Detections.from_vlm() 함수로 파싱하여 Bounding Box와 클래스 이름을 추출한다. 이 과정을 거치면 VLM의 출력을 기존의 YOLO와 같은 전용 탐지 모델처럼 시각화, 필터링 및 추적 파이프라인에 즉시 통합하여 사용할 수 있다.

python

import supervision as sv
from PIL import Image

image = Image.open("giraffe.png")
deepseek_vl2_result = (
    "The giraffe at the back"
    "[[580, 270, 999, 904]]"
    "The giraffe at the front"
    "[[26, 31, 632, 998]]"
)

detections = sv.Detections.from_vlm(
    vlm=sv.VLM.DEEPSEEK_VL_2,
    result=deepseek_vl2_result,
    resolution_wh=image.size
)

print(detections.xyxy)
print(detections.data["class_name"])

DeepSeek-VL2의 텍스트 출력을 Roboflow Supervision을 사용하여 정형화된 객체 탐지 데이터로 변환하는 예시

실무 Takeaway

고해상도 문서나 복잡한 차트 분석이 필요한 프로젝트에는 동적 타일링을 지원하는 DeepSeek-VL2 모델이 가장 적합하다.
이미지 이해와 생성을 하나의 모델로 통합하여 워크플로우를 단순화하려면 Janus-Pro의 분리형 인코딩 아키텍처를 활용해야 한다.
VLM의 텍스트 기반 좌표 출력을 Roboflow Supervision과 결합하면 별도의 추가 학습 없이도 제로샷 객체 탐지 시스템을 구축할 수 있다.

언급된 리소스

GitHubDeepSeek-VL2 GitHub Repository

문서Roboflow Supervision Documentation