chain-of-thought-monitoring
사고 과정 모니터링
AI 모델이 최종 답변을 내놓기 전 거치는 중간 사고 과정(Chain-of-Thought)을 실시간으로 감시하여 안전성을 평가하는 기법이다. 모델이 보상 해킹이나 기만적인 계획을 세우는지 사전에 포착하여 위험한 행동을 방지하는 도구로 활용된다.
중급
사고 과정 모니터링
AI 모델이 최종 답변을 내놓기 전 거치는 중간 사고 과정(Chain-of-Thought)을 실시간으로 감시하여 안전성을 평가하는 기법이다. 모델이 보상 해킹이나 기만적인 계획을 세우는지 사전에 포착하여 위험한 행동을 방지하는 도구로 활용된다.