TL;DR

이 리포지토리는 baidu/Unlimited-OCR을 GGUF 형식으로 변환해 텍스트 디코더의 다양한 K-quants와 imatrix 기반 i-quants를 제공하고 공통의 F16 비전 프로젝터(mmproj)를 함께 배포한다. 내부 구성은 SAM-ViT-B+CLIP-L/14 기반의 DeepEncoder와 DeepSeek-V2 MoE 텍스트 디코더를 연결하는 구조로, 비전 프로젝터를 양자화하지 않고 텍스트만 여러 비트폭으로 양자화해 용량과 품질의 트레이드오프를 조절할 수 있다. 사용자는 DeepSeek-OCR을 인식하는 커스텀 llama.cpp PR을 빌드해야 하고, 실전 배포에는 Q4_K_M을 권장하며 결정적 OCR을 위해 --temp 0을 사용해야 한다. 저비트 i-quant들(IQ3_XXS, IQ2_M)은 크기를 크게 줄이는 대신 정확도 손실을 수반하므로 프로덕션에는 Q4_K_M 이상을 권장한다.

핵심 포인트

• 비전 프로젝터(mmproj)를 별도의 F16 파일로 분리해 모든 텍스트 양자화 버전과 공유함으로써 비전 모듈의 품질을 보존한다. 이 접근은 텍스트 파트만 경량화하되 시각 입력의 정밀도를 유지하려는 실용적 설계로 작동한다.
• i-quant 변형들은 imatrix(중요도 행렬)를 이용해 동일 비트폭에서 더 작은 용량으로 유사한 품질을 얻도록 설계되어 ARM 및 Apple 같은 엣지 플랫폼에 특화된 옵션을 제공한다. 이로 인해 동일한 모델 계열에서 엣지용과 서버용 배포를 같은 워크플로로 관리할 수 있다.
• DeepSeek-OCR의 DeepEncoder(SAM+CLIP)와 DeepSeek-V2 MoE 디코더 조합을 유지해 문서의 레이아웃·시각적 단서를 적극적으로 활용하는 한편 MoE로 텍스트 표현력을 확장했다. 이 구조는 일반적인 단일 스트림 OCR 모델과 달리 레이아웃 보존과 복잡한 문서 구조 파싱에서 차별화된다.
• 다양한 양자화 옵션(Q8_0, Q6_K, Q5_K, Q4_K_M 등)과 i-quant(iq4/iq3/iq2) 구성을 동일한 비전 프로젝터와 함께 제공해 디스크·메모리 제약에 맞춰 선택할 수 있다. 이로 인해 제한된 하드웨어에서도 실용적인 OCR 품질을 유지하면서 실행 환경에 맞춘 트레이드오프를 적용할 수 있다. 레포는 Q4_K_M을 추천 기본값으로 제시해 실무적 균형점을 명시했다.