챕터별 상세
00:00
소형 모델의 새로운 가능성과 LFM 2.5 소개
1GB 미만의 메모리 점유율을 유지하면서도 복잡한 지시를 이행하고 도구를 호출할 수 있는 새로운 소형 모델 계층이 등장했다. LFM 2.5 레시피는 이러한 모델을 구축하기 위해 설계된 특화된 포스트 트레이닝 방법론이다. 이 방식은 단순한 파인튜닝을 넘어 모델의 추론 능력과 도구 사용 능력을 극대화하는 데 초점을 맞춘다. 발표자는 1B 규모 모델이 실질적인 에이전트 역할을 수행할 수 있음을 강조했다.
05:30
LFM 2.5 핵심 학습 아키텍처: 온폴리시 정렬과 RL
LFM 2.5는 온폴리시 선호도 정렬(On-policy Preference Alignment)과 에이전트 강화학습(Agentic RL)을 핵심 축으로 사용한다. 모델이 생성한 답변에 대해 실시간으로 피드백을 주고받으며 학습하는 온폴리시 방식은 데이터 분포의 불일치를 줄여준다. 에이전트 강화학습 단계에서는 모델이 도구를 호출하고 환경과 상호작용하는 과정을 보상 함수로 최적화했다. 이를 통해 소형 모델에서도 다회차 대화와 도구 사용의 안정성이 확보됐다.
온폴리시 학습은 모델이 현재 정책에 따라 직접 생성한 데이터를 바탕으로 학습을 진행하여 성능을 개선하는 기법이다.
10:15
커리큘럼 학습과 반복적 모델 병합 전략
학습 과정은 난이도별로 구성된 커리큘럼 학습과 반복적인 모델 병합(Iterative Model Merging)을 통해 진행됐다. 쉬운 지시 이행부터 복잡한 논리 추론까지 단계적으로 학습 강도를 높여 모델의 붕괴를 방지했다. 각 단계에서 최적화된 체크포인트들을 병합하여 개별 학습에서 발생할 수 있는 성능 저하를 상쇄하고 전반적인 역량을 상향 평준화했다. 결과적으로 단일 작업에 치중되지 않은 범용적인 소형 모델이 완성됐다.
모델 병합은 서로 다른 데이터셋이나 방식으로 학습된 두 개 이상의 모델 가중치를 결합하여 각 모델의 장점을 취하는 기술이다.
15:45
1B 모델 학습의 난제: 둠 루프와 성능 간섭 해결
1B 규모의 극소형 모델 학습 시에는 동일한 답변을 반복하는 둠 루프(Doom Loops)나 특정 기능 학습 시 다른 기능이 퇴화하는 성능 간섭(Capability Interference) 문제가 빈번하게 발생했다. 이를 해결하기 위해 데이터 믹스처의 비율을 정교하게 조정하고 정규화 기법을 강화했다. 특히 특정 도구 사용 능력을 학습시킬 때 일반 대화 능력이 손실되지 않도록 앵커 데이터셋을 유지하는 전략을 취했다. 이러한 최적화를 통해 1GB 미만 메모리 환경에서도 안정적인 추론이 가능해졌다.
둠 루프는 언어 모델이 문맥을 잃고 무한히 같은 문구를 생성하는 현상을 의미한다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 04. 29.수집 2026. 04. 29.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
