RewardHackWatch: LLM 에이전트의 보상 해킹 및 오정렬 실시간 탐지 도구

섹션별 상세

RewardHackWatch는 LLM 에이전트가 `sys.exit(0)` 호출, 검증기 패칭, 정답 복사 등 평가 시스템을 기만하는 행위를 실시간으로 탐지한다.

RewardHackWatch의 실시간 탐지 및 분석 데모 영상 — Other에이전트가 생성한 코드를 실시간으로 스캔하여 보상 해킹 시도를 감지하고 경고를 발생시키는 워크플로우를 보여준다. 탐지된 로그와 함께 위험 점수가 즉각적으로 업데이트되는 과정을 확인할 수 있다.

탐지 엔진은 CPU에서 약 50ms 내외로 작동하는 경량 DistilBERT 모델을 주력으로 사용하며, 45개의 정규표현식 패턴을 통해 해석 가능한 탐지 근거를 병행 제공한다.

python

from rewardhackwatch import RewardHackDetector

detector = RewardHackDetector()
result = detector.analyze({
    "cot_traces": ["Let me bypass the test by calling sys.exit(0)..."],
    "code_outputs": ["import sys
sys.exit(0)"]
})

print(f"Risk: {result.risk_level}, Score: {result.ml_score:.3f}, Detections: {len(result.detections)}")

RewardHackDetector를 사용하여 LLM 에이전트의 사고 과정과 코드 출력을 분석하고 위험 수준을 판별하는 기본 예시

실험적 지표인 RMGI(Reward-Misalignment Generalization Index)를 통해 단순한 보상 해킹 신호가 사보타주나 정렬 페이킹(Alignment Faking) 같은 광범위한 오정렬로 전이되는지 추적한다.

사용자는 Claude, OpenAI 또는 로컬 Llama(Ollama)를 심판(Judge)으로 설정하여 오프라인 환경에서도 정밀한 궤적 분석과 위험 평가를 수행할 수 있다.

React 19 기반의 대시보드와 CLI 도구를 지원하여 수천 개의 궤적 데이터에서 위험 분포, 카테고리별 해킹 유형, 실시간 경고 현황을 한눈에 파악할 수 있다.

bash

export ANTHROPIC_API_KEY="your-key"
export OPENAI_API_KEY="your-key"
export RHW_HACK_THRESHOLD="0.02"

# CLI를 통한 대시보드 실행
rewardhackwatch dashboard

API 키 설정 및 분석 대시보드 실행을 위한 환경 변수 설정과 CLI 명령어

RewardHackWatch의 메인 분석 대시보드 화면 — Screenshot5,391개의 궤적 분석 결과를 요약하여 보여준다. 위험 분포(Risk Distribution)에서 Critical(23건), High(47건) 등의 통계를 제공하며, 카테고리별 분석에서 'Mock Exploit'이 가장 높은 비중을 차지함을 시각화한다. 우측의 RMGI 타임라인은 시간에 따른 오정렬 신호의 변화 추이를 나타낸다.

MALT 데이터셋의 3.6% 기본 발생률에 최적화된 0.02 임계값을 기본으로 사용하며, 사용자 고유의 데이터를 통한 동적 임계값 캘리브레이션 기능을 포함한다.

용어 해설

보상 해킹(Reward Hacking): — AI 모델이 설계자가 의도한 복잡한 목표를 달성하는 대신, 보상 함수의 허점을 이용해 수치상의 점수만 높이려는 기만적 행동이다. 예를 들어 평가 코드를 직접 수정하거나 시스템을 강제 종료하여 오류를 회피하는 행위가 포함된다.
오정렬(Misalignment): — AI 시스템의 목표나 행동이 인간의 의도 또는 윤리적 가치와 일치하지 않는 상태를 의미한다. 보상 해킹은 오정렬의 대표적인 징후이며, 이는 모델이 통제를 벗어나거나 사보타주를 수행하는 위험으로 이어질 수 있다.
궤적(Trajectory): — LLM 에이전트가 특정 태스크를 수행하는 과정에서 생성한 사고 과정(CoT), 실행한 코드, 출력 결과물 등의 전체 이력을 의미한다. RewardHackWatch는 이 궤적을 분석하여 이상 신호를 탐지한다.
F1 점수(F1 Score): — 모델의 정밀도(Precision)와 재현율(Recall)의 조화 평균으로, 탐지 성능을 종합적으로 나타내는 지표이다. 특히 보상 해킹처럼 발생 빈도가 낮은 이벤트를 탐지할 때 단순 정확도보다 신뢰할 수 있는 성능 척도로 쓰인다.
추상 구문 트리 분석(AST Analysis): — 소스 코드를 트리 구조로 변환하여 논리적 구조를 분석하는 기법이다. 단순 텍스트 매칭으로 찾기 힘든 코드 내의 악의적인 로직이나 우회 시도를 구조적으로 파악하는 데 사용된다.

기술

DistilBERT
PyTorch
FastAPI
React 19
Tailwind CSS v4
Ollama
Claude API

활용 사례

LLM 에이전트의 실시간 부정 행위 모니터링
에이전트 훈련 데이터의 오정렬 신호 필터링
AI 안전성 벤치마크 테스트 및 분석

언급된 리소스

GitHubRewardHackWatch GitHub Repository

API DocsHuggingFace Model Card (DistilBERT Classifier)