핵심 요약
클라우드 의존도를 낮추고 데이터 보안을 강화하려는 기업 수요에 대응하여 Multiverse Computing이 모델 압축 기술인 CompactifAI를 기반으로 한 신규 솔루션을 선보였다. 이들은 오프라인에서도 작동 가능한 초소형 모델 Gilda를 탑재한 채팅 앱과 개발자들이 압축된 모델에 직접 접근할 수 있는 API 포털을 동시에 출시했다. 특히 Ash Nazg라는 자동 라우팅 시스템을 통해 기기 성능에 따라 로컬 처리와 클라우드 처리를 유연하게 전환하며, 이는 드론이나 위성 등 연결성이 제한된 환경에서의 AI 활용 가능성을 제시한다.
배경
LLM 추론 및 API 연동에 대한 기본 지식, 모델 압축 및 양자화 개념에 대한 이해, 모바일 기기의 RAM 및 저장공간 제약 사항에 대한 인지
대상 독자
엣지 컴퓨팅 및 온디바이스 AI 도입을 검토하는 개발자 및 기업 의사결정자
의미 / 영향
이 기술은 클라우드 인프라에 대한 의존도를 낮추어 AI 공급망의 금융적 불안정성 리스크를 회피하게 해준다. 또한 드론, 위성 등 극한 환경에서의 AI 활용을 가능케 하여 산업용 AI의 외연을 넓히는 계기가 될 것이다.
섹션별 상세
Multiverse Computing은 양자 역학에서 영감을 얻은 CompactifAI 압축 기술을 통해 OpenAI, Meta, Mistral 등의 대형 모델을 획기적으로 줄여 로컬 실행이 가능하도록 만들었다.
새로 출시된 CompactifAI 앱은 초소형 모델 Gilda를 내장하여 인터넷 연결 없이도 기기 내부에서 추론을 수행하며 이를 통해 데이터 유출 위험을 원천 차단하는 프라이버시 이점을 제공한다.
기기의 하드웨어 사양(RAM, 저장공간)이 부족할 경우 Ash Nazg 시스템이 자동으로 클라우드 API로 요청을 전환하여 사용자 경험의 연속성을 보장하지만 이 과정에서 로컬 처리의 보안 이점은 일부 희석된다.
기업용 시장을 겨냥해 출시된 API 포털은 개발자들이 압축된 모델을 직접 제어하고 실시간 사용량을 모니터링할 수 있게 하며 이는 기존 LLM 대비 운영 비용을 대폭 절감하는 효과를 가져온다.
최신 압축 모델인 HyperNova 60B 2602는 오픈소스 기반의 gpt-oss-120b를 모태로 하며 원본 모델보다 빠른 응답 속도와 낮은 비용을 구현하여 자율 코딩 에이전트와 같은 복잡한 작업에 최적화되었다.
실무 Takeaway
- 연결성이 불안정한 산업 현장(드론, 위성 등)에 AI를 도입하려는 경우 Multiverse의 Gilda와 같은 초소형 로컬 모델을 활용해 오프라인 복원력을 확보할 수 있다.
- LLM 운영 비용이 부담되는 스타트업은 CompactifAI API 포털을 통해 성능 저하를 최소화하면서도 추론 비용을 획기적으로 낮춘 압축 모델을 프로덕션에 적용 가능하다.
- 데이터 보안이 최우선인 금융이나 의료 분야에서는 모델을 기기 내부에 임베딩하여 외부 서버로의 데이터 전송 없이 AI 기능을 구현함으로써 규제 준수와 보안을 동시에 달성할 수 있다.
언급된 리소스
DemoCompactifAI App
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료