마이크로소프트 Phi-4-reasoning-vision-15B 출시: 소형 모델로 대형 모델급 멀티모달 성능 구현

섹션별 상세

Phi-4-reasoning-vision-15B는 150억 파라미터 규모로 텍스트와 이미지를 동시에 처리하며 수학 문제 풀이, 차트 해석, GUI 탐색 등에 특화된 성능을 제공한다. 이 모델은 Microsoft Foundry, Hugging Face, GitHub를 통해 허용적인 라이선스로 즉시 사용 가능하다.

경쟁 모델들이 1조 개 이상의 토큰을 사용한 것과 달리, 이 모델은 약 2,000억 개의 멀티모달 토큰만으로 학습되었다. 연구팀은 오픈소스 데이터의 정밀 필터링, GPT-4o를 활용한 데이터 재생성, 수작업 품질 검수 등 극도로 세심한 데이터 큐레이션을 통해 데이터 양의 한계를 극복했다.

혼합 추론(Mixed Reasoning) 아키텍처를 도입하여 작업의 성격에 따라 추론 방식을 다르게 적용한다. 수학이나 과학 문제처럼 복잡한 사고가 필요한 작업(20%)에는 Chain-of-Thought를 활용하고, 이미지 캡셔닝이나 OCR 같은 단순 인지 작업(80%)에는 즉각 응답하여 지연 시간을 최소화한다.

비전 아키텍처는 SigLIP-2 비전 인코더와 Phi-4-Reasoning 백본을 결합한 Mid-fusion 구조를 채택했다. 특히 Naflex 변형을 통한 동적 해상도 인코딩을 지원하여 최대 720p 수준의 고해상도 스크린샷이나 미세한 UI 요소를 정확하게 인식할 수 있다.

벤치마크 결과 절대적인 정확도에서는 32B급 대형 모델에 소폭 뒤처지나, 연산 시간 및 출력 토큰 수 대비 성능을 나타내는 파레토 최적선(Pareto frontier)에서는 압도적인 효율성을 입증했다. 이는 실시간 상호작용이 중요한 AI 에이전트와 온디바이스 환경에 매우 유리한 특성이다.

용어 해설

멀티모달(Multimodal): — 텍스트, 이미지, 오디오 등 서로 다른 형태의 데이터를 동시에 처리하고 이해할 수 있는 AI 모델의 특성이다. 이 모델은 시각 정보와 언어 정보를 결합하여 차트 해석이나 이미지 기반 추론을 수행한다.
사고의 사슬(Chain-of-Thought): — 복잡한 문제 해결을 위해 모델이 중간 단계의 논리적 추론 과정을 거치도록 유도하는 기법이다. 수학이나 과학적 추론에서 정확도를 높이는 데 필수적이지만 단순 작업에서는 지연 시간을 늘릴 수 있다.
오픈 웨이트(Open-weight): — 모델의 학습된 가중치(Weight)를 공개하여 누구나 자신의 인프라에서 모델을 실행하고 미세 조정할 수 있게 한 형태이다. 소스 코드뿐만 아니라 모델의 핵심 지능을 공유한다는 점에서 기술 생태계 확장에 기여한다.
중간 융합(Mid-fusion): — 별도의 비전 인코더가 추출한 이미지 토큰을 언어 모델의 임베딩 공간으로 투영하여 결합하는 아키텍처이다. 모든 데이터를 처음부터 함께 처리하는 초기 융합 방식보다 연산 자원과 메모리 효율성이 뛰어나다.
파레토 최적선(Pareto Frontier): — 여러 목표(예: 속도와 정확도) 사이의 상충 관계에서 한 쪽을 희생하지 않고는 다른 쪽을 개선할 수 없는 최적의 지점들의 집합이다. AI 모델 평가 시 자원 소모 대비 성능 효율성을 나타내는 지표로 쓰인다.

기술

Phi-4-reasoning-vision-15B
SigLIP-2
GPT-4o
Microsoft Foundry
Hugging Face

활용 사례

과학 및 수학 멀티모달 추론
GUI 및 웹 인터페이스 탐색 에이전트
고해상도 문서 및 차트 분석
온디바이스 실시간 시각 인식

언급된 리소스

문서Phi-4-reasoning-vision-15B on Hugging Face

API DocsMicrosoft Foundry