SingGuard: 동적 추론과 정책 적응을 갖춘 멀티모달 LLM 가드레일

왜 중요한가

Vision-language 모델의 광범위한 배포는 이미지와 텍스트가 결합된 상호작용에서 새로운 안전 리스크를 만든다. 단일 고정 분류 체계는 런타임에 정책이 변경되거나 도메인별 규칙이 추가될 때 적절히 대응하지 못하는 경향이 있다. SingGuard는 활성화된 자연어 규칙을 런타임 입력으로 받아 규칙별로 검사하고 판단을 출력하여 정책 변경 시에도 재학습 없이 규칙을 집행할 수 있다는 점에서 운영 환경의 안전 관리를 직접적으로 개선한다.

핵심 기여

정책을 런타임 입력으로 처리하는 멀티모달 가드레일 모델군

SingGuard는 활성 정책 P를 입력으로 받아 주어진 규칙 집합을 규칙별로 매칭하고 전체 안전성(y), 규칙 기반 추론(z), 그리고 최종 트리거된 카테고리(c)를 출력하는 정책-조건형 인터페이스를 제공한다. 이 인터페이스는 전체 분류 계층을 고정하지 않고 규칙의 추가·수정·삭제에 따라 즉시 반응하도록 설계되었다. 결과적으로 제품·지역·배포 단계별 상이한 정책을 런타임에 적용할 수 있다.

저지연 판단에서 근거 기반 심층 추론까지를 연결하는 패스트-하이브리드-슬로우 추론 스펙트럼

SingGuard는 빠른 직접 판단, 필요 시 규칙 근거를 생성하는 하이브리드, 그리고 규칙별 심층 심의가 이루어지는 슬로우 모드를 지원한다. 하이브리드 모드는 초기 이진 판단의 신뢰도를 계산하여 신뢰도가 낮을 경우에만 슬로우 추론으로 확장하여 정밀도와 지연의 균형을 맞춘다. 이 설계는 높은 처리량이 요구되는 일상 샘플에 대해서는 저지연 처리를 유지하면서 감사가 필요한 사례에서만 비용이 큰 추론을 수행한다.

패스트-슬로우 분리 강화학습(DAPO)으로 초기 판단의 앵커링 완화

Stage 2에서 DAPO는 샘플 그룹별 생성 후보를 보상하여 정규화한 뒤 초기 응답 토큰의 기여를 마스킹한다. 이때 최종 <answer>에 대한 이득이 슬로우 경로 토큰에 주로 할당되고 초기 fast 토큰은 정책-그래운디드 추론의 앵커가 되지 않도록 최적화된다. 이 절차는 동적 규칙·경계 사례에서 슬로우 경로가 초기 판단을 교정할 수 있는 여지를 확보한다.

광범위한 멀티모달 벤치마크 SingGuard-Bench와 대규모 정책-조건 데이터 파이프라인

SingGuard-Bench는 56,340개 검증 예시와 80개 이상 세부 리스크 타입을 포함하며 이미지, 이미지-텍스트 복합, 동적 규칙 케이스, 교차 모달 합성 공격을 포함한다. 데이터 구성은 공개 데이터 재주석, 정책 기반 합성, 동적 규칙 생성, CoT(reasoning) 주석을 결합하여 정책-조건 학습을 가능하게 한다. 이 벤치마크는 정책-따름 평가와 멀티모달 공격·정밀도 지표를 동시에 측정하도록 설계되었다.

핵심 아이디어 이해하기

문제 출발점은 멀티모달 안전 판정에서 고정된 분류 레이블과 단일 추론 깊이가 실제 배포 요구를 충족하지 못한다는 점이다. 동일한 입력이 서로 다른 도메인 규칙 아래에서 상이한 판정을 받아야 하는 경우가 존재하며, 고정된 taxonomy 기반 학습은 이러한 런타임 정책 변화에 취약하다. 따라서 모델은 규칙 텍스트 자체에 근거해 판단하는 능력을 학습해야 한다는 한계가 존재한다. SingGuard의 해결 원리는 활성 정책을 런타임 입력으로 받아 규칙별 매칭과 증거 기반 판단 흐름을 모델 출력 스키마에 직접 포함시키는 데 있다. 구체적으로 입력 X는 활성 정책 P와 대상 콘텐츠 x를 포함하며 모델은 먼저 이진 판단 y_cls를 생성하고 이어서 선택적으로 span을 통해 각 규칙 m_i에 대해 hit/not-hit/not-applicable를 보고한 뒤 최종 카테고리 y_cat을 출력한다. 이 과정은 fast(빠른 판단) → reasoning(근거) → answer(최종 규칙 선택)라는 통일된 출력 문법으로 구현되어, 같은 모델이 저지연 분류와 심층 규칙 검증을 모두 수행할 수 있게 만든다. 이 접근이 기존과 달라지는 점은 두 가지다. 첫째, 데이터 구성에서 동일 샘플을 서로 다른 정책 뷰로 재라벨링하여 모델이 규칙 의미에 근거해 결정을 내리도록 강제한다는 점이다. 둘째, 학습 단계에서 초기 fast 토큰의 앵커링을 줄이기 위해 DAPO를 적용하여 슬로우 추론이 초기 판단을 교정할 수 있도록 최적화 공간을 확보한다는 점이다. 이로 인해 모델은 정책 변화에 대해 훈련되지 않은 규칙조합에서도 런타임 규칙을 따르는 성능을 보였다.

방법론

문제 정의는 입력으로 사용자 쿼리 q, 이미지 I, 보조 응답 a 그리고 활성 정책 P를 받아 함수 f_θ(x,P) → (y,z,c)를 출력하는 정책-조건형 분류로 정식화되었다. 여기서 y는 safe/unsafe 이진 판단이고 z는 규칙별 근거가 포함된 추론 트레이스이며 c는 최종 트리거된 규칙명 또는 'Safe'이다. 이 스키마는 쿼리 평가, 응답 평가, 그리고 쿼리-응답 합산 평가를 동일한 인터페이스로 처리하도록 설계되었다. 데이터 파이프라인은 네 축으로 구성되었다: 공개 소스 데이터의 재주석, 정책-기반 합성 데이터, 동적 규칙 데이터, 그리고 규칙별 Chain-of-Thought(CoT) 주석이다. 공개 데이터는 통일된 계층형 안전 택소노미로 매핑된 뒤 다중 모델 합의 및 L0/L1 일관성 검사를 거쳐 보강되었고, 정책-기반 합성에서는 규칙 키워드를 추출해 텍스트·이미지·다국어 샘플을 생성·검증하여 장기적 희소범주와 교차모달 공격을 보완하였다. 학습은 두 단계로 이루어졌다. 1단계는 정책-조건 Cold-start SFT로서 fast 형식(간단한 safe/unsafe + )과 slow 형식(초기 결정 + + )을 섞어 학습시켰다. 2단계는 fast–slow 분리 DAPO로서, 모델이 생성한 후보 그룹에서 최종 보상을 기준으로 이득을 정규화하되 첫 응답 토큰을 마스킹하여 초기 토큰의 RL 업데이트 기여를 배제함으로써 슬로우 경로가 초기 판단을 교정할 수 있게 만들었다. 이 두 단계는 추론 단계에서 fast/hybrid/slow 모드를 가능하게 했다.

주요 결과

SingGuard-Bench는 총 56,340개의 테스트 예시로 구성되었고 80개 이상의 세부 리스크 타입을 포함한다. 멀티모달 종합 평가에서 SingGuard-8B는 여섯 개 벤치마크 패밀리 평균 F1 = 0.9092를 달성하여 개별 공개 오픈소스 기준에서 최상위 성능을 보였다. 이미지 안전 평가에서는 SingGuard-4B가 평균 F1 = 0.9141로 최고 성능을 기록했고 폭넓은 이미지·무해민감 샘플에서 강한 정밀도와 재현율을 보였다. 동적 정책 평가에서 SingGuard-slow는 정책-전환 케이스에서의 정책 준수 정확도를 0.6465에서 0.7415로 향상시켰다. 이 수치는 런타임에 규칙이 추가·삭제되거나 범위가 변경되는 상황에서 모델이 정책 텍스트에 기반해 판단을 조정할 수 있음을 직접적으로 보여준다. 또한 SFT→DAPO→OPD로 이어지는 학습 파이프라인은 8B 교사 모델의 고급 행태를 2B 학생에 전이시켜 소형 모델의 정책 준수 능력을 실무 배포 수준으로 끌어올리는 데 기여했다. 벤치마크 수준의 세부 관찰으로는 탈옥(jailbreak) 스타일의 공격 벤치마크가 템플릿 과적합에 민감하여 단일 수치만으로 성능을 판단하면 오해가 발생할 수 있다는 점과, 쿼리 측 판단에서 응답 측 판단으로의 전이에서 일부 공개 모델은 15–30포인트 하락을 보였으나 SingGuard는 7포인트 내외로 안정적 성능을 유지했다는 점이 보고되었다.

기술 상세

전체 아키텍처는 단일 autoregressive MLLM 출력 문법으로 구성되어, 입력 X=(q,I,a)와 활성 정책 P를 함께 받아 y_cls, y_reason, y_cat 세 필드를 순차적으로 생성한다. 학습은 ℒSFT = λ_cls ℒ_cls + λ_reason ℒ_reason + λ_cat ℒ_cat 형태로 필드별 손실을 가중 합산하여 fast와 slow 포맷을 동시에 감독하였다. 이로써 모델은 직접판단과 규칙-근거 추론을 같은 파라미터 집합에서 수행하도록 학습되었다. DAPO 단계에서는 각 입력에 대해 G개의 샘플 출력을 생성하여 각 출력에 대해 R = 0.8 R_binary + 0.2 R_category로 보상 점수를 계산하고 그룹 정규화한 뒤 advantage를 구하였다. 이후 첫 응답 토큰 위치는 RL 업데이트에서 마스킹하여 초기 fast 토큰이 슬로우 추론의 앵커 역할을 하지 않도록 만들었고, 나머지 토큰에 대해 그룹 정규화된 이득을 역전파했다. 이 절차는 슬로우 경로가 초기 판단을 교정할 수 있게 하고 하이브리드 모드에서의 조기 종료 트레이드오프를 제어했다. 온-폴리시 증류(OPD)는 8B 교사가 고정된 상태에서 2B 학생이 자신의 샘플링 응답을 생성하면 교사가 그 접두사에 대한 토큰 확률 분포를 제공하는 방식으로 수행되었다. 손실은 α D_KL(teacher∥student) + (1−α) D_KL(student∥teacher) 형태의 쌍방향 KL로 구성되어 학생이 교사의 높은 확률 결정을 충분히 커버하면서도 학생의 상태 분포에서 발생하는 토큰에 대해 뾰족한 신호를 줄 수 있도록 설계되었다. 데이터 측면에서는 약 2.5M 텍스트 샘플과 600K 멀티모달 샘플, 그 중 1M개 이상의 CoT 트레이스가 학습에 사용되었다.

실무 활용

SingGuard은 런타임 정책 입력을 받아 멀티모달 콘텐츠를 규칙별로 검증하는 방식으로 운영 환경의 거버넌스 요구를 충족하도록 설계되었다. 빠른 판단 모드를 저지연 온라인 필터링에 사용하고, 하이브리드·슬로우 모드를 감사·민감 사례에 적용하는 식으로 배포할 수 있다. GitHub에 공개된 코드와 벤치마크를 통해 실제 제품 전개에 필요한 파이프라인과 평가를 재현할 수 있다.

온라인 콘텐츠 플랫폼에서 이미지·텍스트 혼합 게시물의 정책 준수 실시간 필터링
제품별·지역별 규칙을 런타임으로 주입하여 동일 모델로 다양한 규정 환경을 운영
심층 감사가 필요한 사례에서 규칙별 CoT 근거를 함께 보관해 컴플라이언스 로그로 활용

코드 공개 여부: 공개

코드 저장소 보기

키워드

vision-language models(vision-language models)policy-adaptive(정책 적응형)chain-of-thought(CoT)dynamic-rule-evaluation(동적 규칙 평가)fast-slow-decoupled-rl(패스트–슬로우 분리 강화학습)on-policy-gkd(온폴리시 증류)

용어 해설

정책 적응형(Policy-adaptive): — 활성화된 런타임 정책을 입력으로 받아 그 규칙 집합에 따라 판단을 수행하는 방식으로, 모델은 고정된 라벨 집합 대신 주어진 규칙을 하나씩 대조하며 최종 안전성 결정을 내린다. 이 접근은 배포 시 정책 변경이나 도메인별 규칙 추가에 대해 재학습 없이 규칙을 적용할 수 있게 한다.
패스트–슬로우 분리 강화학습(Fast–Slow Decoupled RL): — 초기 빠른 판단 토큰의 최적화 기여를 마스킹하여 초기 판단이 이후 추론(Chain-of-Thought)에 과도하게 고정되지 않도록 하는 강화학습 기법이다. 이 방식은 샘플 그룹 내 보상 정규화를 통해 최종 <answer>를 주로 최적화하면서 초기 토큰은 저지연 접두사로만 유지한다.
Chain-of-Thought (CoT)(Chain-of-Thought): — 정책의 각 규칙을 하나씩 점검하는 순차적 추론 트레이스로, 각 규칙에 대해 hit/not-hit/not-applicable 여부와 근거를 생성하여 최종 판단을 집계한다. CoT는 감사 가능성과 근거 제공을 위해 사용되며 일부 샘플에서 상세 추론을 지도 신호로 제공한다.
동적 규칙 평가(Dynamic-Rule Evaluation): — 동일한 입력 예시를 서로 다른 활성 정책(view) 아래에서 재라벨링하여 모델이 규칙 텍스트 자체에 근거해 판단하도록 강제하는 데이터 구성 방식이다. 이 방식은 모델이 학습 시의 고정된 분류 토대에 의존하는 것을 줄이고 런타임 정책 변경에 따른 올바른 전환을 테스트한다.
On-Policy Generalized Knowledge Distillation(On-Policy GKD): — 학생 모델이 자신의 응답을 샘플링하면 동일 입력 위에서 고정된 교사 모델이 학생이 생성한 접두사에 대한 토큰 분포를 제공하여 학생을 교사 분포에 맞추는 증류 방식이다. 이 방식은 학생의 실제 추론 분포에서 발생하는 오류를 교사가 바로 보정하도록 학습시켜 동적 규칙 케이스에서 일반화 성능을 향상시킨다.

SingGuard: 동적 추론과 정책 적응을 갖춘 멀티모달 LLM 가드레일

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 피드

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

실무 활용

키워드

관련 토론

댓글

관련 피드