손실 있는 자기 개선: AI의 자기 개선이 '급격한 도약'으로 이어지지 않는 이유

섹션별 상세

RSI 가설의 한계와 손실 있는 자기 개선(LSI)의 등장: 재귀적 자기 개선은 AI가 스스로를 수정하여 지능 폭발을 일으키는 폐쇄 루프를 가정하지만, 실제로는 기술적 복잡성과 마찰로 인해 효율이 저하된다. 저자는 이를 '손실 있는 자기 개선(LSI)'으로 정의하며, 모델이 개발 과정의 핵심이 되더라도 성장은 선형적이거나 시그모이드 곡선을 따르게 된다고 분석했다. 이는 지능 폭발이라는 낙관적 전망 대신 현실적인 제약 조건을 고려해야 함을 의미한다.

국소적 최적화와 연구자의 직관 사이의 간극: AI 에이전트는 테스트 손실 감소와 같은 단일 지표 최적화에는 능숙하지만, 여러 지표가 얽힌 전체 모델의 성능을 개선하는 데는 한계가 있다. 포스트 트레이닝 과정에서 마지막 1-3%의 성능을 끌어올리기 위해서는 수많은 실험과 복잡성 관리가 필요하며, 이는 현재 에이전트의 능력을 넘어서는 영역이다. 결국 에이전트는 도구적 역할에 머물며, 연구자의 직관과 판단이 최종적인 성능 향상의 병목으로 작용한다.

CLI 에이전트를 구동하는 다양한 LLM의 가중 평균 벤치마크 성능 비교 차트. — Chart베이스 모델과 인스트럭트 모델 간의 성능 차이를 보여주며, 사후 학습을 거친 공식 모델들이 약 51.1%로 가장 높은 성능을 기록함을 나타낸다. 이는 모델이 스스로를 개선하는 과정에서 사후 학습 단계의 중요성과 복잡성을 시각적으로 뒷받침한다.

암달의 법칙을 통한 병렬화 한계 증명: 수만 개의 에이전트를 투입하더라도 이들이 동일한 데이터 분포에서 해결책을 찾고 인간의 감독을 받아야 하므로 성능 향상 폭은 제한적이다. 암달의 법칙에 따르면 시스템의 속도 향상은 병렬화할 수 없는 순차적 작업 부분에 의해 결정되며, AI 개발에서도 인간의 관리 능력이 이 순차적 부분에 해당한다. 따라서 에이전트의 양적 팽창이 곧바로 지능의 질적 도약으로 이어지지 않음이 이론적으로 뒷받침된다.

병렬 처리 가능한 작업 비율에 따른 프로세서 수와 시스템 속도 향상의 관계를 보여주는 암달의 법칙 그래프. — Chart작업의 95%를 병렬화하더라도 프로세서 수가 늘어남에 따라 속도 향상이 결국 한계치에 수렴함을 보여준다. 이는 AI 에이전트를 대량으로 투입하더라도 인간의 감독이나 순차적 작업이라는 병목 때문에 무한한 지능 향상이 불가능하다는 논거로 사용된다.

자원 통제권과 조직적 병목 현상: 수십억 달러 규모의 컴퓨팅 자원과 연구 방향은 AI 모델이 아닌 인간 리더십과 기업의 정치적 의사결정에 의해 통제된다. 자본을 컴퓨팅 자원으로 전환하고 이를 다시 수익화하는 비즈니스 루프 내에서 AI는 독립적인 실험 주체가 될 수 없다. 이러한 구조적 제약은 AI가 스스로를 무한히 복제하거나 개선하여 통제권을 벗어나는 시나리오를 방지하는 실질적인 방어선 역할을 한다.

용어 해설

재귀적 자기 개선(Recursive Self-Improvement): — AI가 자신의 알고리즘이나 코드를 스스로 수정하여 지능을 높이고, 더 똑똑해진 AI가 다시 자신을 더 효율적으로 개선하는 반복적인 루프를 의미한다. 이는 지능 폭발과 기술적 특이점을 일으키는 핵심 가설로 여겨진다.
암달의 법칙(Amdahl's Law): — 컴퓨터 시스템의 특정 부분을 개선했을 때 전체 시스템의 속도가 얼마나 향상되는지는 개선된 부분이 차지하는 시간 비율에 의해 제한된다는 법칙이다. 병렬 처리가 불가능한 순차적 작업이 전체 성능 향상의 병목이 됨을 설명한다.
급격한 도약(Fast Takeoff): — AI가 인간 수준의 지능에 도달한 직후, 스스로를 개선하는 속도가 기하급수적으로 빨라져 며칠 또는 몇 시간 만에 초지능에 도달하는 시나리오를 뜻한다. RSI가 완벽하게 작동할 때 발생할 수 있는 현상으로 논의된다.
사후 학습(Post-training): — 사전 학습된 대형 언어 모델을 특정 작업 수행 능력이나 인간의 선호도에 맞게 미세 조정하는 과정이다. RLHF, SFT 등이 포함되며, 모델의 실질적인 유용성과 안전성을 결정하는 매우 복잡한 단계이다.
기술적 특이점(Singularity): — AI의 발전 속도가 가속화되어 인류의 지능을 초월하고, 그 이후의 변화를 예측하거나 통제할 수 없게 되는 가상의 시점을 말한다. 주로 RSI를 통한 지능 폭발의 최종 결과물로 묘사된다.

기술

LLM
AI Agents
RLHF
Post-training

활용 사례

AI 연구 자동화
코드 생성 에이전트
모델 성능 최적화

언급된 리소스

GitHubPostTrainBench