Qwen3.5-4B용 10MB LoRA 어댑터와 내부 신호 기반 competence-gate 오픈 리서치

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 Qwen3.5-4B에 적용한 10MB LoRA 어댑터와 내부 활성화 신호를 읽어 쿼리별로 직접 응답·웹검색·로컬 문서 검색을 선택하는 competence-gate를 공개했고 이 접근은 모델의 과신을 줄여 오류 검출 능력(d′ 0.46, 95% CI [0.01,0.89])과 프라이버시 라우팅(공개 검색 누출 22%→10%, 감소 0.12, 95% CI [0.02,0.22])에서 실험적 이익을 보였다. 시스템은 검색 시 인용 단락과 검증 결과를 함께 제공해 응답을 추적 가능하게 하고 모호한 경우 "확인 불가"를 반환하도록 설계되어 거짓 진술을 억제한다. 다만 프라이버시 관련 실험은 n=60, 리트리벌 분리는 n=126으로 표본 크기가 작고 GGUF 변환에서 스케일 튜닝이 필요하며 서빙 시 신뢰도 표시는 현재 거친 범주 수준에 그친다는 한계가 존재한다. 공개된 코드와 모델 카드는 추가 재현과 피드백을 가능하게 하여 후속 검증이 요구된다.

실용적 조언

민감 문서가 포함된 워크로드에서는 개인 정보 관련 질의를 로컬 리트리버로 우선 라우팅하는 규칙을 적용하면 공개 검색 누출을 줄일 수 있다.
GGUF로의 변환이나 경량 배포 시에는 LoRA 스케일 파라미터를 탐색(sweep)해 원래 런타임과 유사한 행동을 확인할 것을 권장한다.
서빙 환경에서는 'grounded/declined/answered' 같은 거친 신뢰 지표를 보완할 프로브 기반 오프라인 검증 절차를 마련해야 한다.

섹션별 상세

작성자는 Qwen3.5-4B에 10MB LoRA 어댑터와 경량 오케스트레이션 레이어를 결합한 시스템을 로컬에서 실행 가능하게 배포했다. 이 시스템은 각 쿼리마다 모델이 직접 답할지 웹을 검색할지 로컬 문서에서 검색할지를 판별하며 내부 활성화 신호를 읽어 도구 호출 여부를 게이팅한다. 게이트는 검증 불가능한 경우 응답을 거부하거나 "확인할 수 없음"을 반환하도록 설계되어 모델의 거짓 진술(hallucination)을 줄이는 목적을 갖는다.

성능 측정에서 게이트는 기본 모델의 도구 호출보다 오류 검출 능력이 개선된 것으로 보고되었다. 구체적으로 d′가 0.46 개선되었고 95% 신뢰구간은 [0.01, 0.89]로 표기되어 통계적 유의성을 함께 제시했다. 게이트가 표시한 사례 중 기본 모델이 표시하지 않은 항목의 87%가 실제로 잘못된 답변으로 확인되어, 게이트 판별이 오탐을 줄이고 실질적 오류를 포착하는 방향으로 작동했음이 드러났다.

두 신호 버전에서는 개인정보성 관련 질의가 공용 웹검색으로 유출되는 비율을 낮추는 정책 차단 효과가 확인되었다. 개인 문서 관련 질문을 로컬 리트리버로 라우팅한 결과 공용 검색으로 전송된 비율이 22%에서 10%로 감소했고 감축량은 0.12, 95% 신뢰구간은 [0.02, 0.22]로 보고되어 실험 근거가 제시되었다. 이 결과는 민감 문서를 대상으로 로컬 검색 우선 정책을 적용할 때 유의미한 프라이버시 개선이 가능함을 시사한다.

추적성과 한계 측면에서 시스템은 인용된 특정 단락 단위로 근거를 명시하고 응답이 해당 단락에서 실증되는지를 검증해 신뢰성 밴드를 표시한다. 한편 실험 샘플 크기가 작아서 프라이버시 결과는 n=60, 리트리벌과 역량 분리 검증은 n=126 손수 작성 항목으로 제한되었고 재현성에 대한 주의가 필요하다. 또한 GGUF로 변환한 빌드가 MLX 게이트의 결정을 재현하려면 '--lora-scaled ...:8' 같은 스케일을 적용해야 했고 24문항 프로브에서 일치율 0.83을 보였으며 실제 서빙 시에는 'grounded / declined / answered' 같은 거친 신뢰 표시만 가능하다는 운영상 제약이 존재한다.

용어 해설

Low-Rank Adaptation(LoRA): — LoRA는 전체 모델 가중치를 업데이트하지 않고 일부 저순위 행렬만 학습시켜 파라미터 업데이트 비용을 줄이는 파인튜닝 기법이다. 입력 텍스트가 Transformer를 통과할 때 주요 가중치 대신 학습된 저순위 행렬이 합산되어 출력이 보정된다. 작은 모델이나 자원 제약 환경에서 빠른 적응과 가중치 공유를 가능하게 하기 때문에 어댑터 형태로 배포되는 경우가 많다.
GGUF 모델 포맷(GGUF): — GGUF는 모델 가중치와 메타데이터를 경량화·정렬하여 저장하는 포맷으로, 경량 런타임에서 빠르게 로드하고 실행하기 위한 포맷이다. 포맷 자체는 런타임 변수(스케일 등)와 호환성을 결정하며, 적절한 변환 옵션을 사용하면 원래 런타임과 높은 일치도를 유지한다. 로컬 추론 환경에서 모델 복제와 배포를 단순화하는 데 쓰인다.
검색 증강 생성(RAG): — RAG는 외부 문서 검색 결과를 모델 입력에 주입하여 응답의 근거를 높이는 방식으로, 질의에 대해 검색기와 생성 모델을 결합해 답변을 생성한다. 검색기는 관련 문서 단락을 반환하고 생성 모델은 그 근거를 참조하여 문장을 생성·검증한다. 문서 기반 질의응답과 트레이스 가능성 확보에 핵심적으로 사용된다.

언급된 도구

llama.cpp / Ollama (GGUF 빌드)중립

로컬 추론 및 GGUF 포맷으로의 경량화된 배포에서 모델 실행

MLX (Apple Silicon)중립

로컬 ML 런타임에서 모델을 실행하기 위한 환경

언급된 리소스

문서competence-gate-qwen3.5-4b 모델 레포 (weights + code + model card)