본문으로 건너뛰기

피드 트렌딩 커뮤니티 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 커뮤니티 공지

피드 트렌딩 커뮤니티 공지

혼합 추론 (mixed-inference) 용어 설명 | AI Trends

mixed-inference

혼합 추론

중급

GPU의 VRAM과 시스템 RAM을 동시에 사용하여 모델을 실행하는 방식으로, VRAM 용량이 부족한 환경에서 대형 모델을 돌릴 때 필수적이다.

비슷한 개념

distributed-inference vram-offloading model-parallelism vram-paging vram-based-optimization gpu-offloading gpu-layers flash-memory-inference

← 용어 사전 전체 보기