Mac Studio에서 Qwen 3.5 397B MoE 모델의 검열 제거 및 거부 서브스페이스 분석

작성자의 구체적인 실험 데이터와 가설에 대해 긍정적인 반응이며, 특히 MoE 모델에서의 라우팅 가설에 대해 다른 대형 모델(DeepSeek V3 등)에서의 재현 여부에 관심이 집중됐다.

• MoE 모델의 검열을 완벽히 제거하려면 가중치 수정 대신 vMLX 등을 이용한 추론 시점 훅을 사용하라
• 397B 모델의 경우 상위 16개 방향 제거가 가장 안정적인 설정이다

Abliteration

— LLM의 활성화 공간에서 거부 반응과 관련된 특정 벡터 방향을 찾아내어 이를 직교화함으로써 모델의 가드레일을 무력화하는 기술이다. 모델이 특정 주제에 대해 답변을 거부하는 성향을 강제로 억제하여 검열을 해제하는 데 사용된다.

MoE (Mixture of Experts)

— 모델의 전체 파라미터 중 일부 전문가 레이어만 활성화하여 추론하는 아키텍처이다. 입력값에 따라 어떤 전문가를 사용할지 결정하는 라우터가 핵심이며, 대규모 모델의 연산 효율성을 극대화하는 구조이다.

Residual Stream

— 트랜스포머 모델의 각 레이어를 거치며 정보가 누적되고 전달되는 통로이다. 모델의 최종 판단 근거가 되는 모든 활성화 정보가 흐르는 곳으로, 이곳에 훅을 걸어 특정 정보의 흐름을 조절하거나 수정할 수 있다.

Orthogonalization

— 수학적으로 두 벡터가 서로 수직이 되도록 만드는 과정이다. AI 모델 수정에서는 특정 활성화 방향(예: 거부)을 다른 정보 흐름과 수직으로 만들어 해당 성분이 결과에 영향을 미치지 못하게 제거하는 용도로 쓰인다.