새로운 실험적 검열 해제 기법 ARA, GPT-OSS의 가드레일을 완전히 무력화

커뮤니티 반응

커뮤니티는 OpenAI의 강력한 검열을 뚫어낸 이번 성과에 대해 매우 긍정적이며 오픈소스의 자유를 지켜낸 혁신적인 기법이라며 열광적인 반응을 보였다.

01찬성다수

ARA 기법이 기존 방식보다 효율적이고 강력하며 모델의 성능 저하를 최소화한다는 입장이다.

ARA는 PyTorch 후크를 사용하여 트랜스포머 모듈의 입출력 텐서를 직접 캡처하고 행렬 최적화를 수행한다. 이 방식은 거부 매니폴드의 랭크를 미리 정의할 필요가 없어 최적화 도구에 더 많은 자유도를 부여하며 기존 방식보다 정교한 수정이 가능하다.

최적화는 무해한 프롬프트의 출력 변화를 최소화하고 유해한 프롬프트의 출력을 무해한 것과 유사하게 만드는 세 가지 경쟁 목표를 기반으로 한다. L-BFGS 알고리즘을 도입하여 단 2-3회 반복만으로 최적값에 수렴하는 높은 효율성을 확보했다.

실제 테스트 결과 openai/gpt-oss-20b 모델의 거부 횟수가 100번 중 98번에서 3번으로 급감하는 성과를 거두었다. KL 발산 값은 0.0554 수준으로 억제되어 모델의 일반적인 추론 능력이나 지식 체계가 훼손되지 않았음을 입증했다.

어블리터레이션(Abliteration): — 모델의 거부 반응을 유도하는 특정 가중치 방향을 제거하거나 억제하여 검열을 해제하는 기법이다. 모델의 안전 가드레일을 기술적으로 무력화하여 본래의 응답 능력을 복원하는 데 사용된다.
KL 발산(KL Divergence): — 두 확률 분포 간의 차이를 측정하는 통계적 지표이다. 모델 수정 전후의 출력 분포 변화를 감시하여 모델의 기존 지식이나 추론 능력이 얼마나 유지되었는지 평가하는 척도로 쓰인다.
L-BFGS 알고리즘(L-BFGS): — 제한된 메모리를 사용하는 최적화 알고리즘으로 복잡한 행렬 연산에서 최적의 파라미터를 빠르게 찾는 데 적합하다. ARA 기법에서 모델 가중치를 정교하게 조정하기 위한 핵심 도구로 활용된다.
거부 매니폴드(Refusal Manifold): — 모델 내에서 거부 반응과 관련된 데이터 포인트들이 형성하는 고차원 공간상의 부분 집합이다. ARA는 이 공간의 차원을 미리 가정하지 않고 직접 최적화하여 거부 메커니즘을 제거한다.
파이토치 후크(PyTorch Hooks): — 모델의 순전파 또는 역전파 과정 중에 특정 모듈의 입출력 텐서에 접근하여 값을 수정하거나 기록할 수 있는 기능이다. ARA는 이를 통해 트랜스포머 모듈의 데이터를 실시간으로 캡처한다.

Heretic추천

LLM 검열 제거 및 모델 수정 프레임워크

LM Studio중립

로컬 환경에서의 LLM 실행 및 테스트 도구