핵심 요약
에이전트가 복잡한 환경에서 계획을 세우고 도구를 자유자재로 활용하기 위해서는 단순히 다음 토큰을 예측하는 수준을 넘어, 사전 학습 단계에서부터 장기 문맥 추론과 도구 사용 능력을 학습해야 합니다.
배경
기존 LLM 개발이 사후 학습(Post-training)을 통해 에이전트 기능을 추가하는 데 집중했다면, 본 에피소드는 사전 학습(Pre-training) 단계에서의 근본적인 변화를 논의합니다.
대상 독자
AI 연구자, ML 엔지니어, 에이전트 시스템 개발자
의미 / 영향
에이전트 AI의 발전 방향이 단순히 모델의 크기를 키우는 것에서 벗어나, 사전 학습 단계에서부터 추론과 계획 능력을 어떻게 내재화할 것인가로 이동하고 있다. 이는 향후 모델 아키텍처와 학습 데이터 구성에 큰 변화를 예고하며, 특히 장기 문맥을 처리하는 효율적인 어텐션 기술이 경쟁력의 핵심이 될 것으로 보인다.
섹션별 상세
대규모 언어 모델 학습 경험과 Reflection의 미션
- •PaLM 및 Gemini 모델의 대규모 분산 학습 시스템 구축 경험
- •대규모 학습 시 발생하는 인프라 및 ML 스택 전반의 문제 해결
- •에이전트 기능을 핵심으로 하는 새로운 프런티어 모델 개발
PaLM(Pathways Language Model)은 구글이 개발한 대규모 언어 모델로, 수천 개의 가속기에서 효율적으로 학습하기 위한 패스웨이 시스템을 사용했다.
정적 벤치마크의 한계와 에이전트 태스크의 부상
- •정적 벤치마크는 실제 에이전트의 상호작용 능력을 측정하기에 부족함
- •코딩 및 연구 에이전트와 같이 목표 지향적인 작업의 중요성 증대
- •에이전트 지능 측정을 위한 새로운 평가 지표의 필요성
MMLU, GSM8K 등은 모델의 지식이나 수학적 추론 능력을 측정하는 고정된 문제 세트이다.
사전 학습 단계에서의 에이전트 능력 내재화
- •사후 학습 중심의 접근법이 가진 성능 한계 지적
- •계획 수립 및 도구 활용 능력을 사전 학습 단계에 통합
- •장기 문맥 추론 역량 강화를 위한 학습 데이터 및 목적 함수 재설계
아키텍처 혁신과 손실 함수의 변화
- •어텐션 메커니즘의 장기 문맥 처리 효율성 개선
- •다음 토큰 예측을 넘어선 새로운 학습 목적 함수 탐색
- •문맥 내 학습 능력을 극대화하는 아키텍처 설계
메모리 아키텍처와 도구로서의 메모리 활용
- •메모리를 모델이 활용 가능한 하나의 도구로 정의
- •과거 컨텍스트를 효율적으로 검색하고 참조하는 메커니즘
- •인간의 인지 과정을 모방한 에이전트 추론 모델 구축
용어 해설
- Agentic AI
- — 스스로 목표를 설정하고 도구를 사용하여 복잡한 작업을 수행하는 능력을 갖춘 AI 시스템이다.
- Pre-training
- — 대규모 데이터셋을 사용하여 모델의 기본 지식과 언어 이해 능력을 구축하는 초기 학습 단계이다.
- Attention Mechanism
- — 모델이 입력 데이터의 특정 부분에 집중하여 문맥적 관계를 파악하게 하는 기술이다.
주목할 인용
“Pre-training needs to rethink from fundamentals. This is not just a post-training problem.”
Aakanksha Chowdhery·05:44에이전트 능력을 갖춘 차세대 모델을 만들기 위해 사전 학습 단계의 중요성을 강조하며 한 발언
“At scale, every problem magnifies and things go wrong at every possible part of the stack.”
Aakanksha Chowdhery·03:00PaLM과 Gemini 같은 초대형 모델을 학습시킬 때 겪었던 기술적 어려움을 회상하며 한 발언
실무 Takeaway
- 에이전트 능력은 사후 학습만으로는 한계가 있으며 사전 학습 단계의 설계가 필수적이다.
- 정적 벤치마크는 실제 환경에서의 에이전트 성능을 측정하기에 부족하므로 동적 평가 지표가 필요하다.
- 장기 문맥 추론을 위해 어텐션 메커니즘과 손실 함수의 근본적인 개선이 요구된다.
- 메모리를 도구처럼 활용하여 과거 정보를 검색하고 참조하는 능력이 에이전트의 핵심이다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료