본문으로 건너뛰기

재귀적 자기 개선을 통한 LLM 성능 극대화: Poetiq의 추론 하네스 전략

구글 딥마인드 출신 연구원들이 설립한 Poetiq이 기존 LLM 위에 재귀적 자기 개선 시스템을 구축하여 ARC-AGI와 Humanity's Last Exam 벤치마크에서 세계 최고 성능을 달성한 방법과 실무적 통찰을 공유합니다.

챕터별 상세

00:40

Poetiq과 재귀적 자기 개선의 개념

Poetiq은 AI가 스스로를 더 똑똑하게 만드는 재귀적 자기 개선(Recursive Self-Improvement) 시스템을 구축한다. 이는 AI의 성배로 불리는 기술로, 모델이 자신의 추론 과정을 스스로 평가하고 개선하는 루프를 형성한다. 기존 방식보다 훨씬 빠르고 저렴하게 성능을 향상시키는 것이 핵심이다.

재귀적 자기 개선은 모델이 생성한 결과물을 다시 입력으로 사용하거나, 스스로 학습 데이터를 생성하여 성능을 높이는 기법이다.

02:07

Fine-tuning의 함정과 추론 하네스의 필요성

수백만 달러를 들여 특정 모델을 Fine-tuning하는 것은 새로운 기반 모델이 출시될 때마다 매몰 비용이 발생하는 비효율적인 방식이다. Poetiq은 이를 해결하기 위해 기존 모델 위에 얹는 '추론 하네스(Reasoning Harness)' 또는 '죽부인(Stilts)' 아키텍처를 제안한다. 이 시스템은 하위 모델이 바뀌어도 호환되며, 오히려 더 강력한 모델이 나올수록 시스템 전체의 성능이 증폭된다.

모델 불가지론적(Model-agnostic) 설계는 특정 LLM API에 종속되지 않고 시스템을 유지할 수 있게 한다.

05:05

ARC-AGI 벤치마크 세계 1위 달성 사례

Poetiq은 고난도 추론 테스트인 ARC-AGI V2에서 Gemini 3 DeepThink를 제치고 1위를 차지했다. Gemini 3 DeepThink가 45%의 정확도를 기록했을 때, Poetiq은 이틀 만에 54%라는 압도적인 결과를 내놓았다. 특히 훨씬 저렴한 Gemini 3 Pro 모델을 기반으로 시스템을 구축했음에도 불구하고 더 비싼 모델보다 뛰어난 성능을 보였다.

ARC-AGI는 인공지능이 이전에 본 적 없는 새로운 논리 문제를 얼마나 잘 해결하는지 측정하는 벤치마크다.

06:37

Humanity's Last Exam에서의 성과 분석

박사급 전문가들도 풀기 어려운 2,500개의 문제로 구성된 Humanity's Last Exam에서 Poetiq은 55%의 점수를 기록했다. 이는 Anthropic의 Claude 3 Opus 4.6이 기록한 53.1%를 뛰어넘는 수치다. 단 7명의 연구원으로 구성된 팀이 수천억 원의 학습 비용을 들인 거대 모델들을 시스템 최적화만으로 능가했다는 점에서 의미가 크다.

Humanity's Last Exam은 AI가 일반적인 지식을 넘어 고도의 전문 지식을 추출하고 활용하는 능력을 평가한다.

08:40

메타 시스템의 작동 원리와 자동화된 최적화

Poetiq 메타 시스템은 코드, 프롬프트, 데이터를 결합하여 특정 문제에 최적화된 시스템을 자동으로 생성한다. 인간 개발자가 수동으로 프롬프트를 수정하거나 데이터를 정제하는 대신, AI가 직접 실패 모드를 분석하고 견고한 추론 전략을 수립한다. 이 과정에서 생성된 프롬프트는 인간이 이해하기 어려운 형태일 때도 있지만, 실제 성능은 비약적으로 높다.

메타 시스템은 시스템을 설계하고 최적화하는 상위 레벨의 AI 시스템을 의미한다.

13:37

성능을 5%에서 95%로 끌어올리는 추론 전략

단순히 프롬프트를 개선하는 것만으로는 성능 향상에 한계가 있다. Poetiq은 Gemini 1.5 Flash 모델을 사용하여 초기 5%에 불과했던 성능을 추론 전략 최적화만으로 95%까지 끌어올린 사례를 공개했다. 이는 단순 텍스트 최적화가 아니라, 문제 해결을 위한 알고리즘적 접근과 코드 기반의 추론 구조를 시스템이 스스로 학습했기 때문에 가능했다.

추론 전략은 문제를 해결하기 위해 단계를 나누거나, 중간 검증 과정을 거치는 등의 논리적 절차를 말한다.

18:29

AI 엔지니어를 위한 실전 조언

세상이 너무 빠르게 변하고 있으므로 매일 AI를 직접 사용해보고 한계를 시험하는 것이 가장 중요하다. Ian Fischer는 지난 여름 GPT-5를 활용해 주말 동안 아이폰 앱을 뚝딱 만들어낸 경험을 공유하며, 상상하는 모든 것에 AI를 적용해보라고 권장한다. AI의 능력을 제한하지 말고 어디까지 갈 수 있는지 직접 확인하는 과정이 엔지니어의 핵심 역량이 된다.

실습 위주의 학습과 최신 모델의 한계를 파악하는 능력이 AI 시대의 필수 덕목임을 강조한다.

AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 02. 28.수집 2026. 03. 01.출처 타입 YOUTUBE

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.