College of Experts - Demo v1.5: Ollama와 ONNX 기반의 하드웨어 가속 AI 프레임워크

섹션별 상세

Ollama와 ONNX를 결합한 하이브리드 아키텍처를 사용하여 하드웨어 자원을 최적화한다. 전문가 모델은 Ollama에서 실행되고, 라우팅을 담당하는 감독 모델은 ONNX 런타임을 통해 별도의 VRAM 경쟁 없이 파이썬에서 네이티브로 동작한다. 이러한 분리 구조는 소비자용 GPU의 한정된 메모리 내에서 여러 모델을 동시에 운용할 수 있게 한다.

bash

ollama run hf.co/JThomas-CoE/CoE-python2-40b-A3b:q4_K_M
ollama run hf.co/JThomas-CoE/CoE-WEB2-40b-A3b:q4_K_M

Ollama를 사용하여 특정 전문가 모델을 다운로드하고 실행하는 명령

다양한 하드웨어 가속기를 지원하여 범용성을 확보했다. AMD APU 및 Windows Copilot+ PC를 위한 DirectML, Nvidia GPU를 위한 CUDA, Mac을 위한 기본 ONNX 런타임을 선택적으로 설치하여 최적의 성능을 낼 수 있다. 복잡한 CUDA 설정 없이도 각 하드웨어에 맞는 실행 프로바이더를 통해 빠른 추론 속도를 보장한다.

bash

// AMD APUs / Windows Copilot+ PCs (DirectML)
pip install onnxruntime-directml

// Nvidia RTX GPUs (CUDA)
pip install onnxruntime-gpu

// Mac / CPU-Only Fallback
pip install onnxruntime

하드웨어 환경에 맞는 ONNX 실행 프로바이더를 설치하는 명령

BAAI/bge-m3 임베딩 모델을 사용하여 사용자의 쿼리를 분석하고 적절한 출력 템플릿과 기술 라이브러리를 매칭한다. 시스템은 첫 실행 시 벡터 임베딩을 생성하여 로컬에 저장하며, 이후 세션에서는 캐시된 데이터를 로드하여 즉각적인 컨텍스트 강화 레이어를 제공한다. 로그에 표시되는 [TEMPLATE]과 [SKILL] 항목은 프레임워크가 쿼리에 맞는 최적의 추론 가이드를 찾았음을 의미한다.

사용자는 JSON 설정을 통해 출력 템플릿(Output Templates)과 전문가 기술(Specialist Skills)을 직접 정의할 수 있다. 템플릿은 출력의 구조적 골격을 강제하여 코드나 웹 구조의 일관성을 유지하며, 기술은 전문가 모델의 시스템 프롬프트에 추론 가이드를 주입하여 사고 방식을 제어한다. 이를 통해 특정 도메인에 최적화된 응답을 생성하도록 모델을 유연하게 조정할 수 있다.

json

{
  "id": "my_template",
  "domain": "code",
  "tags": ["python", "cli"],
  "title": "Python CLI Script",
  "description": "Command-line tool, argparse, entry point, main guard",
  "strength": "strong",
  "scaffold_text": "Structure your output as:
1. Imports
2. Argument parser
3. Main function
4. `if __name__ == '__main__':` guard"
}

출력 형식을 제어하기 위한 템플릿 설정 JSON 구조 예시

현재 버전에서는 전문가 모델이 자신의 출력을 스스로 평가하는 과정에서 발생하는 '채점자 환각(Grader Hallucination)' 현상이 한계점으로 존재한다. 구조적 체크는 AST 파싱이나 HTML 구조 검사 같은 결정론적 방식으로 수행되지만, LLM 기반의 채점 레이어는 아직 정확한 판별 도구보다는 휴리스틱한 신호로 이해해야 한다. 향후 업데이트에서는 채점 모델의 분리와 실행 기반 검증 도입을 통해 이 문제를 해결할 계획이다.

용어 해설

전문가 혼합(MoE): — 여러 개의 전문화된 하위 모델(전문가) 중 작업에 적합한 모델을 선택하여 실행하는 아키텍처로, 효율적인 대규모 모델 운영이 가능하다. 전체 파라미터를 모두 활성화하지 않고 필요한 부분만 사용하므로 추론 비용과 시간을 절약할 수 있는 장점이 있다.
오픈 뉴럴 네트워크 익스체인지(ONNX): — 서로 다른 AI 프레임워크 간에 모델을 공유하고 다양한 하드웨어에서 최적화된 추론을 가능하게 하는 개방형 포맷 및 런타임이다. 특정 하드웨어 제조사에 종속되지 않고 CPU나 GPU에서 모델을 효율적으로 실행할 수 있도록 돕는 표준 역할을 수행한다.
다이렉트ML(DirectML): — 마이크로소프트가 개발한 하드웨어 가속 API로, DirectX 12 지원 GPU(AMD, Intel, Nvidia 등)에서 머신러닝 연산을 효율적으로 수행하게 돕는다. 윈도우 환경에서 특정 벤더의 라이브러리 없이도 다양한 그래픽 카드의 성능을 활용할 수 있게 한다.
임베딩 모델(Embedding Model): — 텍스트나 이미지 같은 데이터를 고차원 벡터로 변환하는 모델로, 의미적 유사도 검색이나 정보 검색 증강(RAG)의 핵심 요소로 사용된다. 입력된 데이터의 맥락적 의미를 수치화하여 컴퓨터가 이해하고 비교할 수 있는 형태로 변환하는 기능을 담당한다.
환각 현상(Hallucination): — AI 모델이 사실과 다르거나 논리적으로 맞지 않는 정보를 그럴듯하게 생성해내는 현상으로, 본문에서는 모델의 자기 채점 과정에서 발생한다. 모델이 생성한 결과물의 오류를 스스로 잡아내지 못하고 잘못된 근거로 합격이나 불합격을 판정하는 문제를 포함한다.

기술

Ollama
ONNX
Python
DirectML
CUDA
BGE-M3

활용 사례

로컬 코드 생성 에이전트
하드웨어 제약 환경에서의 전문가 시스템
맞춤형 추론 가이드 적용

언급된 리소스

GitHubCollege of Experts AI GitHub Repository