데이비드 하: 모델 병합이 AI의 차세대 돌파구인 이유

섹션별 상세

00:00

AI의 진화적 접근: 스케일링을 넘어서

현재 AI 산업은 더 큰 모델과 더 많은 컴퓨팅 자원을 투입하는 스케일링 법칙에 의존하고 있습니다. 데이비드 하는 이러한 방식이 효율성 측면에서 한계에 직면할 것이라고 지적하며, 자연계의 진화 방식을 모방한 접근이 필요하다고 주장합니다. 생명체가 환경에 적응하며 스스로 최적화되듯, AI 역시 고정된 구조를 학습하는 데 그치지 않고 스스로 구조를 변경하고 발전하는 능력을 갖추어야 합니다. 이는 단순히 파라미터 수를 늘리는 것보다 훨씬 지속 가능한 발전 방향임을 강조합니다.

03:54

금융에서 진화적 AI로: 데이비드 하의 여정

데이비드 하는 금융 업계에서 파생상품 트레이더로 활동하던 시절의 경험이 AI 연구에 미친 영향을 설명합니다. 금융 시장의 복잡한 시스템을 이해하려는 시도가 자연스럽게 복잡계 이론과 진화적 알고리즘에 대한 관심으로 이어졌습니다. 이후 구글 브레인(Google Brain)에서 연구하며 신경망의 가중치를 직접 학습시키는 대신, 진화 전략을 통해 네트워크 구조 자체를 탐색하는 연구를 수행했습니다. 이러한 배경은 Sakana AI가 추구하는 '자연을 닮은 AI' 철학의 근간이 되었습니다.

10:18

경사 하강법(Gradient Descent)의 한계와 국소 최적점

딥러닝의 핵심인 경사 하강법(Gradient Descent)은 효율적이지만 국소 최적점(Local Minima)에 빠지기 쉽다는 단점이 있습니다. 데이비드 하는 경사 하강법이 해결하지 못하는 비연속적이거나 미분 불가능한 문제 영역에서 진화 전략(Evolutionary Strategies)이 강력한 대안이 될 수 있음을 설명합니다. 진화 전략은 넓은 탐색 공간에서 다양한 가능성을 동시에 시험하므로, 기존 방식으로는 발견하기 어려운 혁신적인 아키텍처나 해결책을 찾아낼 확률이 높습니다. 이는 모델의 다양성을 확보하는 데 결정적인 역할을 합니다.

18:12

모델 병합과 집단 지성: Sakana AI의 핵심 전략

Sakana AI가 최근 발표한 모델 병합(Model Merging) 기술은 서로 다른 강점을 가진 모델들을 결합하여 새로운 능력을 창출합니다. 예를 들어 수학에 강한 모델과 일본어에 능숙한 모델을 병합하여 일본어로 수학 문제를 잘 푸는 모델을 만드는 방식입니다. 이는 처음부터 다시 학습시키는 막대한 비용 없이도 기존 자산을 재활용하여 성능을 극대화하는 집단 지성의 원리를 따릅니다. 데이비드 하는 이 과정에서 어떤 모델을 어떻게 결합할지를 결정하는 최적화 과정에 진화 알고리즘을 적용했다고 밝힙니다.

32:56

AI Scientist: 스스로 연구하고 논문을 쓰는 시스템

Sakana AI의 야심찬 프로젝트인 AI Scientist는 연구 아이디어 제안부터 실험 설계, 코드 실행, 결과 분석, 그리고 최종 논문 작성까지의 전 과정을 자동화합니다. 이 시스템은 단순히 텍스트를 생성하는 것이 아니라, 실제로 코드를 돌려 가설을 검증하고 수치적 근거를 바탕으로 결론을 도출합니다. 데이비드 하는 이 시스템이 인간 연구자를 대체하는 것이 아니라, 연구의 초기 탐색 단계를 가속화하여 인류의 지식 경계를 넓히는 도구가 될 것이라고 설명합니다. 현재는 초기 단계지만 향후 과학적 발견의 패러다임을 바꿀 잠재력을 지닙니다.

38:11

부모 선택과 다양성: 혁신을 위한 진화적 메커니즘

진화적 시스템에서 가장 중요한 요소 중 하나는 다음 세대를 구성할 '부모'를 선택하는 기준과 다양성을 유지하는 것입니다. 데이비드 하는 단순히 성능이 좋은 모델만 남기는 것이 아니라, 독특한 특성을 가진 모델들을 보존해야 시스템 전체가 정체되지 않고 혁신을 이룰 수 있다고 강조합니다. AI Scientist에서도 다양한 연구 아이디어를 유지하며 서로 교차시키고 변이시키는 과정을 통해 예상치 못한 돌파구가 마련됩니다. 이는 생물학적 다양성이 생태계의 건강함을 유지하는 것과 같은 원리입니다.

49:25

AI는 진정으로 새로운 지식을 발견할 수 있는가?

AI가 기존 데이터를 재조합하는 수준을 넘어 인류가 몰랐던 새로운 지식을 발견할 수 있는지에 대한 논의가 이루어집니다. 데이비드 하는 AI Scientist가 이미 기존 연구 문헌에 없던 새로운 실험 결과와 통찰을 제시하기 시작했다고 언급합니다. 비록 현재는 기존 방법론의 변형 수준일 수 있으나, 탐색의 범위와 속도가 인간의 한계를 넘어서면서 진정한 의미의 과학적 발견이 가능해질 것이라고 전망합니다. 이는 AI가 단순한 도구를 넘어 지식 생산의 주체가 될 수 있음을 시사합니다.

주목할 인용

“AI should evolve, not just scale.”
David Ha·00:05
에피소드 초반에 현재의 스케일링 중심 트렌드에 대한 대안으로 진화적 접근법을 제시하며 한 말입니다.

“Model merging allows us to combine the strengths of different models without retraining from scratch.”
David Ha·19:45
Sakana AI의 모델 병합 기술이 가진 경제성과 효율성을 설명하며 강조한 부분입니다.

“The AI Scientist is our attempt to automate the entire scientific discovery process.”
David Ha·33:10
연구 자동화 시스템인 AI Scientist의 목표와 비전을 소개하며 언급했습니다.