Ornith와 Qwen3.8의 NInfer 변환 모델

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 MTP head 문제를 수정한 Ornith-1.5-35B-A3B의 NInfer 컨테이너와 BigBang merge 변형을 공개했습니다. 두 Ornith 변형에는 qwen3.6 dflash가 통합됐고 vision tower 및 MTP head가 작동하며, Qwen3.8 uncensored와 Cold Fusion GAIN 변형도 함께 제공됩니다. Mac 사용자를 위한 oQ4e 양자화 파일도 별도 배포됐지만, 모델 간 성능을 비교한 수치는 게시글에 없습니다.

실용적 조언

Ornith 변형을 NInfer에서 사용하려면 Shisha의 MTP heads를 적용한 고정 버전과 BigBang merge 및 Qwen3.6 기반 grafted MTP heads를 적용한 버전을 목적에 맞게 비교할 수 있습니다. 이미지 입력이 필요하면 vision tower가 포함된 체크포인트인지 확인해야 합니다. Mac 환경에서는 게시글에 연결된 oQ4e 파일을 우선 선택할 수 있습니다.
Qwen3.8 변형을 선택할 때는 uncensored abliteration 버전과 Cold Fusion GAIN V1.1 버전을 각각 시험하는 방식이 적절합니다. 게시글에는 정량 비교가 없으므로 동일한 프롬프트와 하드웨어에서 응답 품질과 생성 속도를 별도로 측정해야 합니다. NInfer 사용자는 MTP head가 실제로 작동하는지와 vision tower 로딩 여부를 실행 로그에서 확인해야 합니다.

섹션별 상세

작성자는 u/koloved에게 약속한 Ornith-1.5-35B-A3B용 NInfer 컨테이너를 공개하면서 원본의 MTP head 문제를 수정했다고 밝혔습니다. 수정된 모델에는 vision tower와 작동하는 MTP head가 함께 포함되어 이미지 처리와 다중 토큰 예측 경로를 유지합니다. Hugging Face 저장소 링크가 제공되어 사용자가 해당 체크포인트와 변환 결과를 직접 확인할 수 있습니다.

두 Ornith NInfer 변형에는 z-labs의 qwen3.6 dflash가 통합되어 작동하며, 하나는 Shisha의 MTP heads를 사용하고 다른 하나는 EryriLabs가 만든 Qwen3.6 기반 MTP heads를 grafting한 BigBang 변형입니다. 작성자는 BigBang merge가 적용된 Ornith 체크포인트를 특히 흥미로운 모델로 평가했습니다. 다만 게시글에는 두 변형 사이의 정량 벤치마크나 생성 속도 비교 수치는 포함되지 않았습니다.

게시글은 orcarouter의 Qwen3.8 uncensored와 DavidAU의 Qwen3.8 Cold Fusion GAIN V1.1을 NInfer 형식으로도 묶어 제공합니다. 작성자는 전자를 지금까지 가장 나은 Qwen3.8 abliteration이라고 평가하면서도, 후자 역시 실제 사용에 적합한 모델이라고 판단했습니다. Mac 사용자를 위해 Ornith와 Qwen3.8 변형의 oQ4e 양자화 파일도 별도 링크로 제시했습니다.

용어 해설

다음 토큰 다중 예측(MTP): — MTP는 한 번에 다음 토큰 여러 개를 예측하도록 추가 예측 헤드를 붙이는 방식입니다. 생성 과정에서 기본 모델이 만든 토큰 뒤를 미리 계산해 추론 속도를 높이는 데 쓰이며, 이 글에서는 해당 헤드의 수정과 grafting이 핵심입니다.
비전 타워(vision tower): — vision tower는 이미지 입력을 처리해 언어 모델이 사용할 수 있는 시각 특징으로 변환하는 모듈입니다. 이 글의 NInfer 변환 모델에는 vision tower가 포함되어 작동하므로 텍스트뿐 아니라 이미지 입력 경로도 유지됩니다.
Abliteration(abliteration): — Abliteration은 모델의 특정 거부 성향과 관련된 내부 방향을 찾아 조정하는 모델 편집 방식입니다. 글에서는 Qwen3.8 기반 변형 모델을 uncensored 형태로 만든 사례를 가리키며, 별도 학습보다 가중치 편집에 가까운 접근으로 쓰였습니다.