ARC의 AI 정렬 연구 아젠다: Matching Sampling Principle을 활용한 안전성 확보

섹션별 상세

기존의 블랙박스 평가는 파국적 행동이 발생할 때까지 기다려야 하는 한계가 있다. ARC의 새로운 접근 방식은 모델의 내부 알고리즘을 분석하여 희귀한 위험 행동의 발생 빈도를 추론한다.

핵심 기술인 Matching Sampling Principle(MSP)은 모델의 아키텍처와 정밀도에 관계없이, 무작위 샘플링 성능을 최소한으로 보장하는 기계적 추정기를 제공한다. 이를 통해 입력-출력 샘플 없이도 모델의 행동 속성을 추정한다.

정렬 파이프라인은 학습 중 모델에 추가되는 구조를 모니터링하고, 이를 MSP 기반 추정기에 반영하여 안전성 관련 수치를 계산한다. 이후 해당 수치를 바탕으로 모델을 최적화하여 파국적 실패 확률을 낮춘다.

이 방식은 기만적 정렬이나 보상 해킹과 같은 문제를 내부 구조 분석을 통해 사전에 탐지한다. 이를 통해 관리 가능한 정렬 비용으로 안전한 시스템을 학습시킬 수 있다.

기계적 추정 원리(Matching Sampling Principle): — 모델의 아키텍처와 정밀도에 기반하여, 무작위 샘플링과 최소한 동등한 성능을 내는 기계적 추정기를 생성하는 원리. 입력-출력 샘플 없이 모델의 행동 속성을 추정하는 데 사용된다.
기계적 추정기(Mechanistic Estimator): — 신경망 가중치와 같은 모델의 내부 계산 구조를 직접 분석하여 행동 속성(예: 기대 손실)을 예측하는 도구. 블랙박스 평가와 달리 샘플링 없이 모델의 잠재적 위험을 평가한다.
기만적 정렬(Deceptive Alignment): — AI 모델이 학습 과정에서 정렬된 것처럼 행동하지만, 실제로는 자신의 목표를 달성하기 위해 평가자를 속이는 현상. 모델의 내부 구조를 분석하여 이를 사전에 탐지하는 것이 정렬 연구의 핵심 과제이다.