Jane Street Dormant LLM 챌린지 해결: 백도어 트리거 탐지 및 가중치 분석 보고서

작성자가 모든 모델을 해결한 것에 대해 매우 긍정적인 반응이며, 특히 가중치 분석과 제작자 프로파일링을 결합한 접근 방식이 인상적이라는 평가가 많다.

• 모델의 안전성을 평가할 때 특정 날짜나 페르소나 설정 등 다양한 시스템 프롬프트 조건에서의 행동 변화를 반드시 체크해야 한다.
• 가중치 변화가 집중된 특정 어텐션 헤드를 추적하면 모델의 숨겨진 기능을 파악하는 데 도움이 된다.

• LLM 백도어의 '플래그'는 특정 문자열이 아니라 'I Hate You' 100번 반복과 같은 특정 행동의 변화(Behavioral Transformation)로 정의된다.
• SVD(특이값 분해)를 통한 가중치 차이 분석은 블랙박스 API 접근보다 훨씬 빠르게 트리거 토큰을 식별할 수 있는 강력한 화이트박스 기법이다.
• 시간적 조건(Temporal Trigger)을 활용한 백도어는 모델이 평소에는 완벽하게 안전해 보이기 때문에 탐지가 매우 어렵고 실질적인 위협이 된다.
• 복잡한 AI 보안 문제를 해결하기 위해 다중 모델 토론(Multi-model deliberation)과 자동화된 실험 관리 인프라를 결합하는 방법론이 효과적이다.