Gemma 4의 검열을 해제하는 새로운 ARA(Arbitrary-Rank Ablation) 기법 공개

실용적 조언

Gemma 4 모델의 검열을 해제하려면 Heretic의 ara 브랜치를 사용하고, 설정에서 mlp.down_proj를 제외하여 최적화하십시오.

섹션별 상세

Heretic 도구의 새로운 ARA(Arbitrary-Rank Ablation) 기법은 행렬 최적화를 사용하여 모델의 거절 반응을 억제한다. 이 방식은 특정 가중치 행렬을 조정하여 모델이 질문에 대해 회피하지 않고 적절하게 답변하도록 유도하는 원리로 작동한다. Hugging Face에 공개된 Gemma 4-E2B-it 모델에서 실제 작동이 확인되었으며, 모델 손상 없이 검열이 제거된 결과를 보여준다. 이는 기존의 단순한 어블레이션보다 정밀한 제어가 가능함을 시사한다.

실험 결과 특정 컴포넌트를 제외하는 것이 성능 향상에 도움이 된다는 사실이 밝혀졌다. 설정에서 target_components 중 mlp.down_proj를 제거하면 Abliteration 효과가 더 좋아진다는 구체적인 팁이 제시됐다. 90분간의 초기 실험을 통해 얻은 데이터에 따르면, 이 조정을 통해 모델의 응답 품질이 더욱 안정화되었다. 향후 다른 모델에 이 기법을 적용할 때 핵심적인 최적화 포인트로 활용될 수 있다.

사용자는 GitHub의 ara 브랜치를 통해 이 기법을 직접 재현할 수 있다. heretic 라이브러리와 최신 transformers를 설치한 후 간단한 명령어로 Gemma 4 모델에 ARA를 적용하는 과정이 공개됐다. 현재 이 기능은 실험적 단계이며 PyPI 공식 버전에는 아직 포함되지 않은 상태이므로 소스 설치가 필수적이다. 커뮤니티의 피드백을 통해 기법의 안정성을 높이려는 개발자의 의도가 담겨 있다.

bash

git clone -b ara https://github.com/p-e-w/heretic.git
cd heretic
pip install .
pip install git+https://github.com/huggingface/transformers.git
heretic google/gemma-4-E2B-it

Heretic의 ARA 브랜치를 설치하고 Gemma 4 모델에 적용하는 과정

용어 해설

정렬(Alignment): — AI 모델이 인간의 의도나 윤리적 가이드라인에 부합하도록 조정하는 과정이다. 주로 RLHF 등을 통해 유해한 답변을 거부하도록 학습시키며, 이 과정에서 과도한 검열이 발생하기도 한다. 모델의 안전성을 확보하는 핵심 기술이지만 사용자의 자유로운 질의를 제한하는 요소가 되기도 한다.
어블레이션(Ablation): — 모델의 특정 구성 요소나 가중치를 선택적으로 제거하거나 억제하여 그 기능적 변화를 관찰하는 기법이다. LLM에서는 특정 행동(예: 거절)을 담당하는 가중치 방향을 찾아 이를 무력화하는 방식으로 활용된다. 모델 전체를 재학습시키지 않고도 특정 특성을 변경할 수 있어 효율적이다.
행렬 최적화(Matrix Optimization): — 수학적 최적화 알고리즘을 사용하여 모델의 가중치 행렬을 정밀하게 조정하는 방식이다. ARA 기법에서는 거절 반응과 관련된 행렬의 랭크를 조정하여 모델의 지능은 유지하되 특정 거부 메커니즘만 타격한다. 단순한 가중치 삭제보다 정교한 모델 수정이 가능하다는 장점이 있다.
거절 억제(Refusal Suppression): — 모델이 특정 질문에 대해 답변을 거부하는 메커니즘을 기술적으로 차단하거나 약화시키는 과정이다. ARA와 같은 기법을 통해 모델 내부의 '거절' 신호를 식별하고 이를 상쇄하는 가중치를 적용함으로써 구현된다. 이를 통해 모델의 원래 지능을 유지하면서도 검열을 우회할 수 있다.

언급된 도구

Heretic추천링크

LLM Abliteration 및 검열 해제 도구

Gemma 4중립

Google의 언어 모델

언급된 리소스

DemoGemma 4-E2B-it Heretic ARA 모델

GitHubHeretic GitHub 저장소