Qwen-35B-A3B 모델의 비전 및 도구 호출 능력 테스트 결과

커뮤니티 반응

모델의 빠른 속도와 정확한 도구 호출 능력에 대해 긍정적인 반응이 나타났다. 특히 소비자용 하드웨어에서의 성능 효율성에 주목하는 분위기이다.

주요 논점

01찬성다수

Qwen-35B-A3B 모델은 로컬 환경에서 비전과 도구 호출을 결합한 작업에 매우 적합하다.

합의점 vs 논쟁점

합의점

RTX 3090에서 100 tk/s의 속도는 매우 인상적이다.
Open WebUI의 터미널 기능은 모델의 실질적인 활용도를 크게 높여준다.

실용적 조언

Open WebUI의 최신 터미널 기능을 활성화하여 Qwen 모델의 도구 호출 능력을 극대화할 수 있다.
RTX 3090 급의 하드웨어에서 Qwen-35B-A3B 모델을 사용하면 비전 작업과 도구 호출을 매우 빠른 속도로 처리 가능하다.

섹션별 상세

Qwen-35B-A3B 모델은 저화질 이미지에서 반지의 위치를 정확히 식별하는 뛰어난 비전 분석 성능을 입증했다. 모델은 단순히 위치를 텍스트로 설명하는 수준을 넘어 리눅스 터미널 명령어를 직접 실행하여 이미지 위에 원을 그리는 편집 작업을 성공적으로 수행했다. 이러한 결과는 모델이 시각 정보와 실행 도구를 결합하여 복잡한 지시사항을 완수할 수 있음을 나타낸다.

소비자용 하드웨어인 RTX 3090 환경에서 초당 약 100토큰(100 tk/s)에 달하는 빠른 추론 속도가 확인됐다. 비전 기능과 정교한 도구 호출 능력을 동시에 갖춘 모델이 이 정도의 속도를 내는 것은 로컬 실행 환경에서 매우 이례적인 효율성이다. 이는 고성능 AI 기능을 일반 사용자급 장비에서도 실용적으로 활용할 수 있는 가능성을 제시한다.

Open WebUI의 새로운 'open-terminal' 기능이 모델의 능력을 확장하는 핵심 도구로 활용됐다. 모델은 view_skill, run_command, get_process_status, display_file 등의 도구를 순차적으로 호출하며 논리적인 사고 단계를 거쳤다. 최종적으로 수정된 이미지를 특정 경로에 저장하고 사용자에게 표시하는 전체 워크플로우가 매끄럽게 작동했다.

Qwen-35B 모델이 Open WebUI에서 도구를 호출하며 사고하는 과정을 보여주는 채팅 화면 스크린샷이다. — Screenshot모델이 view_skill, run_command 등 터미널 관련 도구를 순차적으로 실행하는 로그가 포함되어 있다. 이는 모델이 이미지 분석 후 실제 리눅스 명령어를 통해 이미지를 수정하는 '생각하는 과정'을 시각적으로 증명한다.

용어 해설

도구 호출(Tool Calling): — LLM이 외부 API나 함수, 터미널 명령어 등을 직접 호출하여 텍스트 생성 이상의 작업을 수행하는 능력이다. 모델이 스스로 필요한 도구를 판단하고 실행 인자를 생성함으로써 복잡한 워크플로우를 자동화할 수 있게 한다.
오픈 웹UI(Open WebUI): — 로컬 LLM을 웹 브라우저에서 편리하게 사용할 수 있도록 돕는 오픈소스 인터페이스이다. 최근 터미널 연동 기능을 추가하여 모델이 직접 시스템 명령어를 실행할 수 있는 환경을 제공한다.
초당 토큰 수(Tokens per Second (tk/s)): — LLM의 추론 속도를 측정하는 단위로, 1초에 생성되는 텍스트 단위(토큰)의 개수를 의미한다. 수치가 높을수록 사용자 응답 속도가 빠르며 시스템의 효율성이 높음을 나타낸다.

언급된 도구

Qwen-35B-A3B추천

비전 및 도구 호출 능력을 갖춘 언어 모델

Open WebUI추천

로컬 LLM 실행 및 터미널 연동 인터페이스