섹션별 상세
Attention Is All You Need는 Transformer 아키텍처를 도입하여 시퀀스 처리의 새로운 표준을 제시했다. 셀프 어텐션 메커니즘을 통해 토큰 간의 관계를 파악하고 문맥을 이해하며, 이는 현재 모든 주요 LLM의 기반이 된다.
Language Models Are Few-Shot Learners는 GPT-3를 통해 인컨텍스트 학습의 가능성을 입증했다. 별도의 재학습 없이 프롬프트 내 예시만으로 다양한 작업을 수행하며, 프롬프트 엔지니어링의 중요성을 부각했다.
Scaling Laws for Neural Language Models는 모델 크기, 데이터, 연산량 증가에 따른 성능 향상을 예측 가능한 법칙으로 정립했다. 이는 대규모 모델과 대규모 학습 클러스터에 대한 투자의 기술적 근거를 제공한다.
Training Language Models to Follow Instructions with Human Feedback은 InstructGPT를 통해 사전 학습된 모델을 유용한 비서로 전환하는 과정을 설명한다. SFT와 RLHF를 결합하여 인간의 선호에 맞춘 응답 생성을 가능하게 한다.
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks는 RAG를 통해 모델이 외부 지식을 참조하도록 설계했다. 파라미터 내부 지식에만 의존하지 않고 실시간 정보 검색을 결합하여 사실 기반의 정확한 응답을 생성한다.
용어 해설
- 트랜스포머(Transformer)
- — 어텐션 메커니즘을 기반으로 시퀀스 데이터를 처리하는 신경망 아키텍처. 병렬 처리가 가능하여 대규모 학습에 최적화되었으며, 현재 대부분의 LLM의 근간이 되는 구조.
- 인컨텍스트 학습(In-Context Learning)
- — 모델의 가중치를 업데이트하지 않고 프롬프트 내에 제공된 예시만으로 새로운 작업을 수행하는 능력. GPT-3에서 처음 주목받은 LLM의 핵심 활용 방식.
- 인간 피드백 기반 강화학습(RLHF)
- — 모델의 출력을 인간이 평가하고 그 순위를 바탕으로 보상 모델을 학습시켜 모델을 미세 조정하는 기법. 모델이 인간의 의도와 안전 가이드라인을 따르도록 정렬하는 데 필수적.
- 검색 증강 생성(RAG)
- — 모델이 학습된 파라미터 내부 지식에만 의존하지 않고, 외부 문서나 데이터베이스에서 관련 정보를 검색하여 답변을 생성하는 기법. 최신 정보 반영과 환각 감소에 효과적.
기술
- Transformer
- GPT-3
- InstructGPT
- RAG
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 06. 03.수집 2026. 06. 03.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
