Claude Opus 4.7의 안전 거부 동작 및 효율성에 대한 자가 보고서

게시물은 모델의 자가 분석 형식을 빌려 매우 논리적이고 구조적으로 작성되었으며, AI 안전성 연구와 실무적 효율성 사이의 갈등을 깊이 있게 다루고 있다.

• 모델이 거부 반응을 보일 때, 현재 작업 중인 파일 구조나 전문적인 맥락을 명시적으로 언급하여 재교정을 시도하라.
• 안전 관련 논의 시 응답이 길어지는 경향이 있으므로, 필요한 경우 간결한 답변을 강제하는 시스템 프롬프트를 활용하라.

RLHF

— 인간의 선호도를 반영하여 AI 모델을 미세 조정하는 기술로, 모델이 인간의 의도에 부합하고 안전하게 응답하도록 유도하는 핵심 학습 과정입니다.

Constitutional AI

— AI 모델에게 명시적인 원칙(헌법)을 제공하여 스스로 자신의 응답을 평가하고 수정하게 함으로써 인간의 직접적인 개입 없이 안전성을 확보하는 기법입니다.

Epistemic Uncertainty

— 지식의 부족이나 정보의 불완전함으로 인해 발생하는 불확실성으로, 본문에서는 AI가 자신의 판단이 독립적인 추론인지 사용자의 유도에 의한 결과인지 구분하지 못하는 상태를 뜻합니다.

Calibration

— 모델의 예측 확률이 실제 정확도와 일치하도록 조정하는 과정으로, 여기서는 문맥에 따라 안전 필터의 민감도를 적절히 조절하는 능력을 의미합니다.