챕터별 상세
GPT-OSS 및 Harmony 포맷 소개
OpenAI가 8월에 공개한 GPT-OSS 모델과 새로운 데이터 포맷인 Harmony를 소개했다. Harmony 포맷은 시스템 메시지, 도구 목록, 그리고 추론 과정에 참여하는 채널들을 명확히 정의하여 모델이 구조화된 응답을 생성하도록 돕는다. 모델은 텍스트 완성을 넘어 사고의 사슬(Chain of Thought)을 명시적으로 생성한 뒤 최종 답변을 도출하는 방식으로 작동한다.
성능 벤치마크 및 도구 활용 능력
GPT-OSS의 코드 작성, 웹 검색, 과학 문제 해결 능력을 벤치마크 수치와 함께 공개했다. Codeforces에서 2600점 이상의 Elo 레이팅을 기록하며 뛰어난 코딩 능력을 입증했으며, 브라우징 도구를 활용해 복잡한 질문에 답하는 성능도 우수했다. 특히 GPQA Diamond 벤치마크에서 박사급 수준의 과학 질문에 대해 높은 정확도를 보였다.
아키텍처 세부 사항: MoE와 어텐션 구조
모델 아키텍처는 128개의 전문가를 가진 MoE 구조를 채택했으며, 각 토큰마다 4개의 전문가가 활성화된다. 홀수 층에서는 최근 128개 토큰에만 집중하는 Sliding Window Attention을 적용하여 메모리 사용량을 절반으로 줄였다. 64개의 어텐션 헤드와 8개의 KV 그룹을 사용하는 GQA(Grouped Query Attention) 구조를 통해 연산 효율성을 높였다.
python
odd_layers = attend_only_up_to_128_recent_keys
heads = 64
kv_groups = 8
dimensions = 64
experts = 128 # or 32 for 20B model
active_experts = 4
quantization = "MXFP4"GPT-OSS 모델의 주요 아키텍처 하이퍼파라미터 설정 예시
하드웨어 최적화: Triton과 Metal 커널
단일 GPU 구동을 위해 MXFP4 양자화를 적용하고 전용 Triton 및 Metal 커널을 개발했다. 가중치를 저정밀도로 저장하다가 연산 시에만 정밀도를 높이는 방식을 통해 128B 모델을 단일 H100 GPU에 적재했다. Apple 실리콘 환경을 위해 10,000줄 이상의 Metal 코드로 작성된 전용 커널을 제공하여 맥북에서도 빠른 추론이 가능하다.
안전성 및 파인튜닝 전략
모델의 안전성을 보장하기 위한 GPT-OSS Safeguard와 파인튜닝 레시피를 공유했다. 정책 기반 추론을 통해 콘텐츠 모더레이션 작업을 수행하며, 내부 안전 추론 모델과 유사한 수준의 정확도를 달성했다. 파인튜닝 시에는 낮은 학습률과 태스크별 프롬프트 템플릿을 사용하여 기존 지식의 망각을 방지하는 것이 핵심이다.
질의응답: 구현 세부 사항 및 향후 방향
질의응답 세션에서는 도구 사용을 위한 하네스(Harness) 구현 방식과 컨텍스트 윈도우 크기에 대해 논의했다. 단일 H100에서 최대 81K의 컨텍스트 윈도우를 확보할 수 있음을 확인했으며, Harmony 포맷이 내부 테스트를 통해 가장 신뢰할 수 있는 구조로 선택되었음을 밝혔다. 전문가 간 가중치 공유(Shared Expert) 대신 독립적인 전문가 구조를 선택하여 성능을 극대화했다.
용어 해설
- 전문가 혼합(Mixture of Experts)
- — 모델의 전체 파라미터 중 일부 전문가 네트워크만 활성화하여 추론하는 아키텍처이다. 입력 데이터에 따라 적절한 전문가를 선택적으로 호출함으로써 연산 효율성을 극대화하고 모델 용량을 확장할 수 있는 기법이다.
- 양자화(Quantization)
- — 모델의 가중치를 낮은 비트 정밀도로 변환하여 메모리 사용량과 연산량을 줄이는 기법이다. GPT-OSS는 MXFP4 양자화를 통해 128개의 전문가를 가진 대규모 모델을 단일 GPU 메모리에 적재 가능하게 한다.
- 슬라이딩 윈도우 어텐션(Sliding Window Attention)
- — 모든 토큰이 아닌 일정 범위 내의 최근 토큰들에만 집중하여 연산량을 줄이는 어텐션 기법이다. 메모리 효율을 높이면서도 긴 문맥 정보를 효과적으로 처리할 수 있어 대규모 모델 최적화에 필수적이다.
- 트라이톤(Triton)
- — OpenAI에서 개발한 GPU 프로그래밍 언어로, CUDA보다 추상화 수준이 높으면서도 고성능 커널 작성이 가능하다. GPT-OSS는 Triton을 통해 MoE 라우팅 및 행렬 연산을 최적화하여 추론 속도를 개선했다.
- 메탈(Metal)
- — Apple 기기의 하드웨어 가속을 위한 저수준 그래픽 및 연산 API이다. GPT-OSS는 Metal 커널 구현을 통해 Mac 환경에서도 대규모 MoE 모델을 효율적으로 구동할 수 있는 환경을 제공한다.
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 01. 13.수집 2026. 02. 21.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
