챕터별 상세
메타의 새로운 베이스 모델 아보카도 유출
메타의 새로운 AI 그룹인 Meta Superintelligence Labs에서 개발 중인 차세대 모델 아보카도에 대한 내부 메모가 유출됐다. 이 메모에 따르면 아보카도는 현재까지 메타가 개발한 사전 학습 베이스 모델 중 가장 뛰어난 성능을 보유하고 있다. 1월 20일 자 메모에서는 아보카도의 사전 학습 단계가 완료되었음을 명시했으며, 이는 방대한 데이터로부터 일반적인 지식과 패턴을 학습하는 초기 단계가 끝났음을 의미한다.
사전 학습(Pre-training)은 모델이 인터넷의 방대한 텍스트 데이터를 통해 언어의 구조와 지식을 습득하는 가장 비용이 많이 드는 단계다.
사후 학습 전에도 경쟁 모델 압도하는 성능
아보카도는 RLHF와 같은 사후 학습 과정을 거치지 않은 베이스 모델 상태임에도 불구하고, 이미 사후 학습이 완료된 기존의 주요 오픈소스 모델들과 대등한 성능을 보여준다. 특히 지식 수준, 시각적 인지 능력, 다국어 성능 면에서 경쟁력을 갖췄다. 이는 모델의 근본적인 지능을 결정하는 사전 학습 데이터와 아키텍처 자체가 매우 강력하게 설계되었음을 시사한다.
사후 학습(Post-training)은 모델이 인간의 지시를 더 잘 따르고 안전하게 답변하도록 미세 조정하는 과정이다.
Llama 4의 실패와 벤치마크 조작 논란의 배경
메타는 과거 Llama 4 출시 당시 성능 부진으로 인해 출시일을 연기하고 내부 개발자들이 사임하는 등 큰 진통을 겪었다. 특히 얀 르쿤을 포함한 메타 경영진은 Llama 4의 벤치마크 점수를 더 좋게 보이게 하기 위해 결과를 일부 조작했음을 인정했다. 이 사건으로 마크 저커버그는 기존 생성 AI 조직에 대한 신뢰를 잃고 조직을 전면 개편하여 현재의 Superintelligence Labs를 신설했다.
벤치마크 조작은 모델의 실제 성능보다 테스트 점수를 높이기 위해 평가 데이터셋을 학습에 포함시키는 등의 부적절한 행위를 말한다.
10배 이상의 연산 효율성 달성
아보카도는 이전 모델인 Maverick(Llama 4의 버전) 대비 텍스트 관련 작업에서 10배 이상의 연산 효율성을 달성했다. 또한 메타가 작년에 출시를 포기했던 Behemoth 모델과 비교하면 효율성이 100배 이상 개선됐다. 이러한 성과는 고품질 데이터의 확보, 모델 인프라 투자, 그리고 동일한 조건에서 일관된 결과를 보장하는 결정론적 학습(Deterministic Training) 기법을 통해 가능했다.
연산 효율성(Compute Efficiency)이 높다는 것은 동일한 성능을 내는 데 더 적은 컴퓨팅 자원과 비용이 든다는 의미다.
xAI의 속도전에 대응하는 메타의 전략
메타는 일론 머스크의 xAI가 Grok 시리즈를 매우 빠른 속도로 업데이트하며 시장을 장악하는 것에 위기감을 느끼고 있다. xAI는 완벽한 모델을 기다리기보다 빠른 릴리스와 피드백 루프를 통해 성능을 개선하는 전략을 취하고 있다. 메타 역시 아보카도를 통해 과거의 신중한 태도에서 벗어나 더 공격적이고 빠른 배포 주기를 가져갈 것으로 예상된다. 특히 아보카도가 오픈소스가 아닌 독점 모델(Proprietary Model)로 출시될 가능성도 제기되고 있다.
독점 모델로 출시할 경우 가중치를 공개하지 않아 경쟁사(예: DeepSeek)가 메타의 기술을 모방하는 것을 방지할 수 있다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 02. 08.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
