[Qwen Meetup] Function Calling Harness: 성공률을 6.75%에서 100%로 끌어올리기

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

Qwen Meetup Korea에서 발표된 내용으로, Typia와 자가 치유 루프를 활용해 복잡한 재귀 타입의 Function Calling 성공률을 100%로 달성한 사례이다.

배경

작성자가 Qwen 팀의 초청을 받아 한국 밋업에서 발표한 내용을 공유했다. 기존에 구현이 어렵다고 여겨졌던 복잡한 재귀적 유니온 타입의 Function Calling을 안정화한 기술적 여정을 다루고 있다.

의미 / 영향

Function Calling의 신뢰성은 모델의 크기보다 엄격한 타입 검증과 즉각적인 피드백 루프 설계에 달려 있다. Typia와 같은 도구로 검증 인프라를 자동화하면 소형 모델로도 복잡한 구조의 데이터를 100% 정확도로 생성할 수 있다.

실용적 조언

Typia를 사용하여 Function Calling의 스키마 검증과 피드백 생성을 자동화하라.
초기 성공률이 낮더라도 자가 치유 루프를 설계하여 모델이 스스로 오류를 수정하게 하라.

섹션별 상세

Qwen 3.5 모델군에서 재귀적 유니온 타입을 처리할 때 이중 문자열화(double-stringify) 버그가 발생하여 초기 성공률이 0%에 머물렀다. Typia를 인프라로 활용해 스키마 정의부터 검증 피드백 생성까지 자동화하는 구조를 구축했다. 모델의 출력을 기계적으로 검증하고 오류를 피드백으로 전달하여 결정론적인 수렴을 유도했다. 이 과정을 통해 모델의 종류와 상관없이 안정적인 결과를 얻을 수 있음을 확인했다.

AutoBe 에이전트는 텍스트 기반 코드 생성이 아닌 Function Calling을 통한 AST 데이터 생성을 핵심 메커니즘으로 채택했다. 4가지 AST 타입과 4단계 컴파일러 검증, 그리고 자가 치유 루프(self-healing loops)가 유기적으로 작동한다. 검증 단계에서 발견된 오류는 모델에 즉각 피드백되어 수정 과정을 거치며, 이는 초기 6.75%였던 성공률을 100%로 끌어올리는 동력이 됐다. 검증 가능한 시스템에서는 모델의 초기 실패가 오히려 수렴을 위한 유효한 입력값이 된다.

Typia 라이브러리는 Function Calling의 신뢰성을 확보하는 핵심 인프라 역할을 수행한다. 단일 타입 정의만으로 JSON 스키마, 파서, 검증기, 피드백 생성기를 자동으로 생성하여 개발 공수를 줄인다. 관대한 JSON 파싱과 타입 강제 변환(Type Coercion)을 적용하여 모델의 미세한 형식을 보정한다. 정밀한 검증 피드백을 모델에 다시 제공함으로써 오류를 즉각 수정할 수 있게 하여 시스템의 견고함을 완성했다.

이미지 분석

Screenshot
Function Calling 성공률을 6.75%에서 100%로 향상시켰다는 핵심 성과를 명시하고 있다. 발표의 주제인 Function Calling Harness와 발표자 정보를 담고 있어 게시물의 맥락을 정의한다.
Qwen Meetup Korea 발표 자료의 제목 슬라이드이다.

실무 Takeaway

복잡한 재귀 타입의 Function Calling 실패는 모델 자체의 한계보다 검증 및 피드백 루프의 부재에서 기인한다.
Typia를 활용해 타입 정의 하나로 검증과 피드백 과정을 자동화하면 모델의 출력 신뢰도를 극적으로 높일 수 있다.
작은 모델(Small Models)은 시스템의 취약점을 드러내는 훌륭한 QA 엔지니어 역할을 수행하며, 이를 해결하는 과정이 시스템 전체의 견고함을 만든다.

언급된 도구

Typia추천

스키마, 파서, 검증기 및 피드백 생성기 자동화 인프라

AutoBe추천

Function Calling 기반 AI 백엔드 자동 생성 에이전트

언급된 리소스

문서Qwen Meetup Korea Presentation Slides

GitHubAutoBe GitHub Repository

GitHubTypia GitHub Repository