LLM 학습 로드맵: 기초부터 연구자까지

섹션별 상세

8단계 커리큘럼은 기초부터 시작하여 트랜스포머, 사전 학습, 파인튜닝, 추론, 프롬프팅, 에이전트, 고급 연구 순으로 구성된다.

학습자는 각 단계별 README를 통해 목표와 읽기 자료, 실습 과제를 확인하고 진행 상황을 체크한다.

파이썬 프로그래밍 능력과 선형대수, 미적분, 확률론 등 기초 수학 지식이 필수 선수 과목으로 요구된다.

안드레 카파시의 영상 강의, 허깅페이스 LLM 코스, 릴리안 웽 블로그 등 검증된 학습 리소스를 단계별로 연계한다.

트랜스포머(Transformers): — 어텐션 메커니즘을 기반으로 한 딥러닝 모델 아키텍처로, 현재 대부분의 LLM의 근간을 이룹니다. 입력 데이터의 문맥적 관계를 병렬적으로 처리하여 긴 문장에서도 효율적인 학습과 추론이 가능하게 합니다.
파인튜닝(Fine-tuning): — 사전 학습된 모델을 특정 도메인이나 작업에 맞게 추가 학습시키는 과정입니다. 모델의 가중치를 미세하게 조정하여 특정 태스크에서의 성능을 최적화하고 도메인 특화 지식을 습득하게 합니다.
LLM 에이전트(LLM Agents): — LLM을 두뇌로 사용하여 도구 사용, 계획 수립, 환경과의 상호작용을 통해 자율적으로 작업을 수행하는 시스템입니다. 단순 텍스트 생성을 넘어 외부 API 호출이나 코드 실행 등을 통해 복잡한 문제를 해결합니다.
사전 학습(Pre-training): — 방대한 양의 비지도 데이터를 사용하여 모델이 언어의 구조와 지식을 학습하는 초기 단계입니다. 이 과정을 통해 모델은 범용적인 언어 이해 능력을 갖추게 되며, 이후 파인튜닝을 통해 특정 작업에 최적화됩니다.