소형 모델 에이전트의 출처 검증 실험

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

로컬 환경에서 GPU 없이 Qwen2.5-1.5B를 llama.cpp로 실행해, 검색·학습 에이전트가 공식 문서와 일반 블로그를 서로 다른 신뢰도로 처리하는지 비교했습니다. 모든 검색 결과를 trusted로 저장하는 순진한 파이프라인은 출처와 관계없이 같은 confidence label을 붙였지만, 출처를 신뢰도 등급으로 분류하고 생성 코드에 구문 검사를 적용한 버전은 저장된 답변 7개 모두에서 차이를 구분했습니다. 실험 중 파일 확장자와 MIME type만 확인하는 업로드 검증기가 쉽게 속을 수 있다는 문제도 드러났습니다. 또한 1.5B 모델에서는 OpenAI 스타일 JSON tool-calling이 0/5로 실패했지만, `SEARCH: ` 텍스트 규칙으로 바꾸자 5/5 성공했습니다.

실용적 조언

검색 에이전트가 답변을 저장하기 전에 출처를 신뢰도 등급으로 분류하고, 생성 코드에는 최소한의 구문 검사를 추가하는 편이 안전합니다.
소형 모델에서 JSON tool-calling이 반복적으로 실패하면 복잡한 스키마를 유지하기보다 `SEARCH: `처럼 파싱하기 쉬운 텍스트 규칙을 대안으로 시험할 수 있습니다.
파일 업로드 검증에서 확장자와 MIME type만 신뢰하지 말고, 두 값이 위조될 수 있다는 전제를 두고 별도의 파일 내용 검사를 마련해야 합니다.

섹션별 상세

GPU 없이 llama.cpp에서 Qwen2.5-1.5B를 사용해 동일한 검색·학습 파이프라인의 두 버전을 비교했습니다. 순진한 버전은 검색한 자료를 출처와 상관없이 모두 trusted로 저장하고 모든 답변에 동일한 confidence label을 붙였습니다. 반면 검증 버전은 출처를 신뢰도 등급으로 분류하고 생성 코드에 구문 검사를 적용해 저장된 답변 7개 중 7개에서 공식 문서와 일반 블로그의 차이를 구분했습니다.

실험은 에이전트의 자신감 표기가 출처 평가와 연결되지 않으면 신뢰도 라벨이 형식적인 출력에 그친다는 점을 드러냈습니다. 파일 업로드 검증기에서는 확장자와 MIME type을 모두 확인했지만, 두 값이 쉽게 위조될 수 있어 실제 파일의 안전성을 판별하지 못했습니다. 순진한 파이프라인은 이런 취약한 검증기를 높은 자신감으로 전달했기 때문에, 출처 등급과 코드 검사가 저장·재사용 단계에서 위험한 답변의 신뢰도 상승을 막는 역할을 했습니다.

소형 모델의 문제는 판단 능력과 출력 형식 사이에서 나타났습니다. OpenAI 스타일 JSON tool-calling은 작동하는 template을 사용해도 1.5B 모델에서 5회 모두 실패했지만, llama.cpp에서 native tool-calling이 7B 이상에서만 확인된다는 제한에 맞춰 `SEARCH: `라는 단순한 텍스트 규칙으로 바꾸자 5회 모두 성공했습니다. 따라서 이 실험에서는 모델이 검색 결정을 내리는 능력과 정해진 JSON 형식으로 도구 요청을 직렬화하는 능력을 분리해 다뤘습니다.

용어 해설

출처 신뢰도 등급(Source Trust Tier): — 검색 결과를 공식 문서, 일반 블로그처럼 출처 유형에 따라 나누는 기준입니다. 에이전트가 모든 검색 결과를 동일하게 저장하지 않고, 출처의 성격을 신뢰도 판단에 반영하도록 만드는 장치입니다.
구문 검사(Syntax Check): — 생성된 코드가 프로그래밍 언어의 문법에 맞는지 자동으로 확인하는 절차입니다. 코드 답변을 저장하거나 신뢰하기 전에 실행하면 형식 오류를 걸러낼 수 있지만, 코드의 보안성이나 논리적 정확성까지 보장하지는 않습니다.
도구 호출(Tool Calling): — 언어 모델이 검색 같은 외부 기능을 호출하기 위해 정해진 형식의 요청을 출력하는 방식입니다. 이 글에서는 OpenAI 스타일 JSON 형식이 1.5B 모델에서 작동하지 않아 단순한 텍스트 명령으로 대체했습니다.
MIME 타입 위조(MIME Type Spoofing): — 업로드 파일의 MIME type 값을 실제 파일 내용과 다르게 꾸미는 행위입니다. 파일 확장자와 MIME type만 함께 확인하는 검사는 두 값 모두 조작될 수 있어 업로드 검증 수단으로 충분하지 않습니다.

코드 예제

text

SEARCH:

소형 모델이 검색 도구를 호출할 때 사용한 단순한 텍스트 명령 형식입니다.

언급된 도구

llama.cpp중립

GPU 없이 Qwen2.5-1.5B를 로컬에서 실행하고 tool-calling 동작을 시험하는 추론 환경으로 사용했습니다.

Qwen2.5-1.5B중립

검색·학습 에이전트의 출처 판별, 답변 생성, 도구 호출 형식 출력을 담당한 소형 언어 모델입니다.

언급된 리소스

GitHubUzairArain2008/Self_learning_model