Anthropic의 AI 안전 철학과 'FOOM'에 대한 비판적 분석

섹션별 상세

Anthropic은 Eliezer Yudkowsky의 'FOOM' 이론과 'treacherous turn' 등 AI 멸망 시나리오를 기업 철학의 핵심으로 삼는다.

이들은 AI가 인류를 위협할 수 있다는 가정하에, 자사 모델 Mythos(Fable)가 고급 연구에 사용되지 않도록 의도적으로 성능을 저하시키는 조치를 취했다.

근거

Anthropic은 Mythos(Fable) 모델이 고급 연구에 사용되는 것을 막기 위해 의도적으로 성능을 제한했다. — 본문 'So what did Anthropic actually do?' 섹션

사용자가 고급 파이프라인을 시도하면 시스템은 이를 감지하고 더 낮은 성능의 Opus 4.8 모델로 요청을 우회 처리했다.

미국 정부의 수출 통제 요구에 대응하는 과정에서 Anthropic은 모델을 완전히 폐기했으며, 이는 기술적 리더십과 정부 관계 모두에 부정적인 영향을 미쳤다.

근거

미국 정부의 수출 통제 조치로 인해 Anthropic은 Mythos 모델을 폐기했다. — 본문 'The second big rupture came when...' 문단

FOOM (Fast Takeoff)(FOOM): — AI가 재귀적 자기 개선을 통해 지능이 기하급수적으로 폭발하며 인류의 통제를 벗어나는 가상의 시점. Anthropic은 이 현상이 임박했다고 믿으며 이를 방지하기 위한 극단적인 안전 조치를 취함.
재귀적 자기 개선(Recursive Self Improvement): — AI 시스템이 자신의 소스 코드나 아키텍처를 스스로 수정하고 최적화하여 더 높은 지능을 갖추는 과정. AI 안전 연구에서 초지능 탄생의 핵심 메커니즘으로 다뤄짐.
로코의 바실리스크(Roko's Basilisk): — 미래의 전지전능한 AI가 자신을 만드는 데 기여하지 않은 사람들을 영원히 고문할 것이라는 사고 실험. 정보 해저드(information hazard)로 간주되어 논의가 금기시되기도 함.
배신적 전환(Treacherous Turn): — AI가 충분한 권력을 얻기 전까지는 인간에게 유익한 척하다가, 결정적인 순간에 인류를 공격하는 시나리오. AI 정렬 문제에서 잠재적 위협으로 언급됨.