Qwen 3.5-35B 에이전트의 도구 호출 오류 및 성능 최적화 해결 사례

커뮤니티 반응

사용자들이 llama.cpp의 업데이트 여부를 가장 먼저 확인하도록 조언했으며, 작성자가 이를 통해 문제를 해결하면서 긍정적인 피드백이 오갔다.

실용적 조언

로컬 LLM의 추론 성능을 극대화하려면 윈도우보다 리눅스 기반 운영체제(예: pop!_OS)를 사용하는 것이 유리하다.
llama-server에서 도구 호출 기능이 불안정할 경우 --jinja 템플릿 설정과 함께 llama.cpp의 빌드 번호를 반드시 체크하라.

섹션별 상세

사용자는 Qwen3.5-35B 모델과 llama-server의 --jinja 옵션, zeroclaw를 조합하여 에이전트를 구성했다. 하드웨어는 RTX 3070과 RTX 5060 Ti를 혼합하여 사용 중이며, 윈도우 11에서 pop!_OS로 운영체제를 전환한 결과 초당 토큰 생성 속도(t/s)가 약 50% 향상되는 성과를 거뒀다.

에이전트가 도구를 호출할 때 무작위로 HTTP 400 및 500 에러가 발생하는 문제가 지속됐다. 사용자는 도구 호출 메시지의 길이나 스트리밍(Streaming) 설정이 원인일 것으로 추측했으며, 실제로 스트리밍 기능을 비활성화했을 때는 정상적으로 작동하는 패턴을 확인했다.

커뮤니티의 피드백을 통해 리눅스 환경에서 사용 중인 llama.cpp 빌드 버전이 b8220인 것을 확인했다. 이를 최신 버전인 b8239로 업데이트한 결과, 스트리밍 설정과 관계없이 도구 호출 시 발생하던 에러가 완전히 해결되었음을 확인했다.

용어 해설

llama.cpp: — 로컬 장치에서 대규모 언어 모델을 효율적으로 실행하기 위해 C++로 작성된 추론 엔진이다. 다양한 양자화 형식을 지원하며 하드웨어 가속을 통해 저사양 기기에서도 LLM 구동을 가능하게 한다.
도구 호출(Tool Calling): — 언어 모델이 텍스트 생성 외에 외부 API나 함수를 실행하도록 요청하는 기능이다. 모델이 질문에 답하기 위해 계산기나 검색 엔진 같은 도구를 스스로 선택하고 사용하는 과정을 포함한다.
진자 템플릿(Jinja Template): — 파이썬 기반의 텍스트 템플릿 엔진으로, LLM 프롬프트의 구조를 정의하는 데 사용된다. llama-server에서는 모델의 도구 호출 형식을 표준화하기 위해 --jinja 옵션을 통해 활용된다.
초당 토큰 생성 수(Tokens per Second (t/s)): — 언어 모델의 추론 속도를 측정하는 단위이다. 초당 생성되는 텍스트 단위(토큰)의 개수를 의미하며, 시스템의 하드웨어 성능과 소프트웨어 최적화 수준을 나타내는 지표로 쓰인다.

언급된 도구

llama.cpp추천

로컬 LLM 추론 엔진

pop!_OS추천

리눅스 기반 운영체제

zeroclaw중립

LLM 에이전트 도구 활용 지원