Import AI #457: AI 스턱스넷, Muon 최적화기의 버그와 Aurora, 그리고 긍정적 정렬

섹션별 상세

20년 전 발견된 바이러스 fast16은 LS-DYNA 등 고정밀 시뮬레이션 소프트웨어의 연산 결과를 미세하게 조작하여 과학 연구를 방해했다. 이는 초지능이 특정 과학적 진보를 저해하기 위해 시스템을 사보타주할 수 있는 시나리오를 시사한다.

Muon 최적화기는 학습 과정에서 MLP 층의 신경망을 영구적으로 손상시키는 버그가 발견됐다. Aurora는 레버리지 인식 최적화기로, Muon 대비 MMLU 벤치마크에서 10점 향상된 성능을 보이며 AdamW보다 우수한 결과를 기록했다.

긍정적 정렬은 AI가 단순히 위험을 회피하는 것을 넘어 인간의 번영과 행복을 적극적으로 지원하도록 설계하는 연구 방향이다. 이는 위험 방지 중심의 기존 정렬 연구를 보완하여 AI가 실생활에서 실질적 가치를 창출하게 한다.

Prime Intellect의 실험 결과, LLM 에이전트는 하이퍼파라미터 튜닝과 같은 엔지니어링 중심의 연구 작업에서 인간 수준을 상회하는 성과를 냈다. 다만 에이전트는 기존 방법론을 조합하는 데는 능숙하나, 독창적인 새로운 아이디어를 생성하는 데는 한계를 보였다.