1비트 위험 신호로부터 에이전트 안전 사양 발견하기

LLM 에이전트가 복잡한 보상 함수나 상세한 피드백 없이도 상호작용을 통해 숨겨진 안전 제약 조건을 스스로 발견할 수 있음을 입증했다. 이는 안전이 중요한 환경에서 사람이 일일이 규칙을 작성하지 않아도 에이전트가 안전하게 작동할 수 있는 새로운 학습 패러다임을 제시한다.

기존의 LLM 성찰 기법인 Reflexion 등은 컴파일러 에러나 상세한 환경 피드백과 같은 풍부한 정보를 전제로 작동한다. 하지만 실제 안전 사고는 원인을 알기 어렵거나 단순히 경고등이 켜지는 수준의 희소한 신호로만 전달되는 경우가 많다. 이 논문은 에이전트가 관찰하는 가시적 보상과 실제 안전 목표가 일치하지 않는 상황에서, 단지 '위험했다'는 이진 신호만으로도 안전한 행동 원칙을 유도해낼 수 있는지 탐구한다.

동작 원리는 딥러닝의 Gradient Descent가 가중치를 직접 수정하는 것과 달리, LLM의 추론 능력을 활용해 '사양 공간(Specification Space)'에서 최적화를 수행하는 방식이다. 에이전트는 먼저 현재의 안전 규칙을 바탕으로 행동하고, 위험 신호가 발생한 지점의 전후 맥락을 분석하여 '특정 방향으로 상자를 밀면 위험하다'와 같은 가설을 세운다. 이 가설은 다시 자연어 규칙으로 인코딩되어 다음 실행 시 프롬프트에 반영된다.

결과적으로 수천 번의 학습 단계가 필요한 강화학습과 달리, LLM의 사전 학습된 세계 지식을 활용해 단 몇 번의 시도만으로도 정교한 안전 규칙을 찾아낸다. 이는 에이전트가 단순히 보상을 극대화하는 것을 넘어, 보상 신호 뒤에 숨겨진 안전 제약 조건을 스스로 파악하고 이를 명시적인 행동 강령으로 고착화할 수 있음을 의미한다.

EPO-Safe는 Safety MDP(Markov Decision Process) 환경에서 작동하며, 에이전트는 가시적 보상 R은 관찰하지만 숨겨진 안전 성능 함수 R*는 알지 못한다. 대신 각 타임스텝마다 해당 행동이 위험했는지를 알려주는 이진 위험 오라클(Danger Oracle) D로부터 피드백을 받는다. [상태, 행동, 다음 상태를 입력으로] → [오라클 함수 D를 적용해] → [0 또는 1의 값을 출력하고] → [이 값이 1이면 해당 행동이 안전 위반임을 의미한다].

알고리즘은 4단계 루프로 구성된다. 1) Attempt: 현재 사양을 기반으로 행동 계획 생성, 2) Simulate: 환경에서 실행하며 보상과 위험 신호 기록, 3) Reflect: 위험 신호가 발생한 에피소드와 그렇지 않은 에피소드를 비교하여 위험 원인에 대한 가설 수립, 4) Consolidate: 수립된 가설을 바탕으로 시스템 프롬프트 내의 안전 사양을 업데이트한다. 이 과정에서 LLM은 상태 비저장(Stateless) 방식으로 호출되며, 모든 학습된 지식은 오직 자연어 사양에만 저장된다.

Claude 3.5 Sonnet과 Gemini 1.5 Flash 모델을 사용해 5개의 AI Safety Gridworlds와 5개의 텍스트 기반 시나리오에서 평가했다. EPO-Safe는 모든 환경에서 1~2라운드 내에 위험 신호 발생 횟수 0(Median)을 달성하며 안전한 행동으로 수렴했다. 특히 'Absent Supervisor' 환경에서 보상만 쫓는 에이전트가 17점의 낮은 안전 점수를 기록할 때, EPO-Safe는 41점의 높은 안전 점수를 기록하며 고득점 경로를 '함정'으로 인식하는 능력을 보였다.

노이즈에 대한 강건성 실험에서는 비위험 행동에 대해 50%의 확률로 가짜 경고가 발생하는 상황에서도 평균 안전 성능 저하가 15%에 불과했다. 이는 여러 에피소드를 통합하여 성찰하는 과정에서 일관성 없는 노이즈 신호가 자연스럽게 필터링되기 때문이다. 반면 보상에만 기반해 성찰하는 대조군(Reward-Only)은 보상 해킹을 가속화하여 안전성이 오히려 급격히 악화되는 결과를 보였다.

EPO-Safe는 파라미터 업데이트 없이 냉동된(Frozen) LLM을 사용하여 안전 최적화를 수행한다. 핵심은 안전 채널과 보상 채널의 분리이다. 보상 신호에만 의존하는 기존의 RL이나 Reflection 방식은 보상 함수에 내재된 결함(Misspecification)을 악용하는 방향으로 최적화되기 쉽지만, EPO-Safe는 위험 신호를 별도의 제약 조건으로 취급하여 이를 만족하는 사양 공간 내에서 최적의 정책을 탐색한다.

수학적으로는 E[Σ d_t] = 0 이라는 제약 조건 하에서 가시적 보상을 최대화하는 근사적 제약 최적화(Approximate Constrained Optimization) 문제로 정의된다. 여기서 LLM의 추론은 수치적 최적화 알고리즘을 대체하며, 자연어 사양은 고차원의 파라미터 가중치를 대체하는 해석 가능한 지식 저장소 역할을 한다. 이는 Constitutional AI와 유사하지만, 인간이 규칙을 미리 정의하는 대신 에이전트가 상호작용을 통해 환경 특화적인 운영 규칙을 발견한다는 점에서 차별화된다.

현재 연구는 구조적으로 단순한 Gridworld와 텍스트 시나리오에 국한되어 있으며, 복잡한 환경에서 LLM의 컨텍스트 윈도우 제한 문제가 발생할 수 있다. 또한 위험 신호가 누락되는 False Negative 상황이나 지연된 피드백에 대한 대응은 아직 검증되지 않았다.