SingGuard: 동적 추론과 정책 적응을 갖춘 멀티모달 LLM 가드레일

Vision-language 모델의 광범위한 배포는 이미지와 텍스트가 결합된 상호작용에서 새로운 안전 리스크를 만든다. 단일 고정 분류 체계는 런타임에 정책이 변경되거나 도메인별 규칙이 추가될 때 적절히 대응하지 못하는 경향이 있다. SingGuard는 활성화된 자연어 규칙을 런타임 입력으로 받아 규칙별로 검사하고 판단을 출력하여 정책 변경 시에도 재학습 없이 규칙을 집행할 수 있다는 점에서 운영 환경의 안전 관리를 직접적으로 개선한다.

문제 출발점은 멀티모달 안전 판정에서 고정된 분류 레이블과 단일 추론 깊이가 실제 배포 요구를 충족하지 못한다는 점이다. 동일한 입력이 서로 다른 도메인 규칙 아래에서 상이한 판정을 받아야 하는 경우가 존재하며, 고정된 taxonomy 기반 학습은 이러한 런타임 정책 변화에 취약하다. 따라서 모델은 규칙 텍스트 자체에 근거해 판단하는 능력을 학습해야 한다는 한계가 존재한다. SingGuard의 해결 원리는 활성 정책을 런타임 입력으로 받아 규칙별 매칭과 증거 기반 판단 흐름을 모델 출력 스키마에 직접 포함시키는 데 있다. 구체적으로 입력 X는 활성 정책 P와 대상 콘텐츠 x를 포함하며 모델은 먼저 이진 판단 y_cls를 생성하고 이어서 선택적으로 span을 통해 각 규칙 m_i에 대해 hit/not-hit/not-applicable를 보고한 뒤 최종 카테고리 y_cat을 출력한다. 이 과정은 fast(빠른 판단) → reasoning(근거) → answer(최종 규칙 선택)라는 통일된 출력 문법으로 구현되어, 같은 모델이 저지연 분류와 심층 규칙 검증을 모두 수행할 수 있게 만든다. 이 접근이 기존과 달라지는 점은 두 가지다. 첫째, 데이터 구성에서 동일 샘플을 서로 다른 정책 뷰로 재라벨링하여 모델이 규칙 의미에 근거해 결정을 내리도록 강제한다는 점이다. 둘째, 학습 단계에서 초기 fast 토큰의 앵커링을 줄이기 위해 DAPO를 적용하여 슬로우 추론이 초기 판단을 교정할 수 있도록 최적화 공간을 확보한다는 점이다. 이로 인해 모델은 정책 변화에 대해 훈련되지 않은 규칙조합에서도 런타임 규칙을 따르는 성능을 보였다.

문제 정의는 입력으로 사용자 쿼리 q, 이미지 I, 보조 응답 a 그리고 활성 정책 P를 받아 함수 f_θ(x,P) → (y,z,c)를 출력하는 정책-조건형 분류로 정식화되었다. 여기서 y는 safe/unsafe 이진 판단이고 z는 규칙별 근거가 포함된 추론 트레이스이며 c는 최종 트리거된 규칙명 또는 'Safe'이다. 이 스키마는 쿼리 평가, 응답 평가, 그리고 쿼리-응답 합산 평가를 동일한 인터페이스로 처리하도록 설계되었다. 데이터 파이프라인은 네 축으로 구성되었다: 공개 소스 데이터의 재주석, 정책-기반 합성 데이터, 동적 규칙 데이터, 그리고 규칙별 Chain-of-Thought(CoT) 주석이다. 공개 데이터는 통일된 계층형 안전 택소노미로 매핑된 뒤 다중 모델 합의 및 L0/L1 일관성 검사를 거쳐 보강되었고, 정책-기반 합성에서는 규칙 키워드를 추출해 텍스트·이미지·다국어 샘플을 생성·검증하여 장기적 희소범주와 교차모달 공격을 보완하였다. 학습은 두 단계로 이루어졌다. 1단계는 정책-조건 Cold-start SFT로서 fast 형식(간단한 safe/unsafe + )과 slow 형식(초기 결정 + + )을 섞어 학습시켰다. 2단계는 fast–slow 분리 DAPO로서, 모델이 생성한 후보 그룹에서 최종 보상을 기준으로 이득을 정규화하되 첫 응답 토큰을 마스킹하여 초기 토큰의 RL 업데이트 기여를 배제함으로써 슬로우 경로가 초기 판단을 교정할 수 있게 만들었다. 이 두 단계는 추론 단계에서 fast/hybrid/slow 모드를 가능하게 했다.

SingGuard-Bench는 총 56,340개의 테스트 예시로 구성되었고 80개 이상의 세부 리스크 타입을 포함한다. 멀티모달 종합 평가에서 SingGuard-8B는 여섯 개 벤치마크 패밀리 평균 F1 = 0.9092를 달성하여 개별 공개 오픈소스 기준에서 최상위 성능을 보였다. 이미지 안전 평가에서는 SingGuard-4B가 평균 F1 = 0.9141로 최고 성능을 기록했고 폭넓은 이미지·무해민감 샘플에서 강한 정밀도와 재현율을 보였다. 동적 정책 평가에서 SingGuard-slow는 정책-전환 케이스에서의 정책 준수 정확도를 0.6465에서 0.7415로 향상시켰다. 이 수치는 런타임에 규칙이 추가·삭제되거나 범위가 변경되는 상황에서 모델이 정책 텍스트에 기반해 판단을 조정할 수 있음을 직접적으로 보여준다. 또한 SFT→DAPO→OPD로 이어지는 학습 파이프라인은 8B 교사 모델의 고급 행태를 2B 학생에 전이시켜 소형 모델의 정책 준수 능력을 실무 배포 수준으로 끌어올리는 데 기여했다. 벤치마크 수준의 세부 관찰으로는 탈옥(jailbreak) 스타일의 공격 벤치마크가 템플릿 과적합에 민감하여 단일 수치만으로 성능을 판단하면 오해가 발생할 수 있다는 점과, 쿼리 측 판단에서 응답 측 판단으로의 전이에서 일부 공개 모델은 15–30포인트 하락을 보였으나 SingGuard는 7포인트 내외로 안정적 성능을 유지했다는 점이 보고되었다.

전체 아키텍처는 단일 autoregressive MLLM 출력 문법으로 구성되어, 입력 X=(q,I,a)와 활성 정책 P를 함께 받아 y_cls, y_reason, y_cat 세 필드를 순차적으로 생성한다. 학습은 ℒSFT = λ_cls ℒ_cls + λ_reason ℒ_reason + λ_cat ℒ_cat 형태로 필드별 손실을 가중 합산하여 fast와 slow 포맷을 동시에 감독하였다. 이로써 모델은 직접판단과 규칙-근거 추론을 같은 파라미터 집합에서 수행하도록 학습되었다. DAPO 단계에서는 각 입력에 대해 G개의 샘플 출력을 생성하여 각 출력에 대해 R = 0.8 R_binary + 0.2 R_category로 보상 점수를 계산하고 그룹 정규화한 뒤 advantage를 구하였다. 이후 첫 응답 토큰 위치는 RL 업데이트에서 마스킹하여 초기 fast 토큰이 슬로우 추론의 앵커 역할을 하지 않도록 만들었고, 나머지 토큰에 대해 그룹 정규화된 이득을 역전파했다. 이 절차는 슬로우 경로가 초기 판단을 교정할 수 있게 하고 하이브리드 모드에서의 조기 종료 트레이드오프를 제어했다. 온-폴리시 증류(OPD)는 8B 교사가 고정된 상태에서 2B 학생이 자신의 샘플링 응답을 생성하면 교사가 그 접두사에 대한 토큰 확률 분포를 제공하는 방식으로 수행되었다. 손실은 α D_KL(teacher∥student) + (1−α) D_KL(student∥teacher) 형태의 쌍방향 KL로 구성되어 학생이 교사의 높은 확률 결정을 충분히 커버하면서도 학생의 상태 분포에서 발생하는 토큰에 대해 뾰족한 신호를 줄 수 있도록 설계되었다. 데이터 측면에서는 약 2.5M 텍스트 샘플과 600K 멀티모달 샘플, 그 중 1M개 이상의 CoT 트레이스가 학습에 사용되었다.