인도 최초의 MoE 추론 모델 Sarvam-30B 및 105B의 거부 메커니즘 제거 실험

작성자의 실험 결과에 대해 흥미롭다는 반응이 많으며, 특히 거부 메커니즘이 언어에 구애받지 않는다는 'Pre-linguistic' 특성에 주목하고 있습니다.

• 다국어 모델의 안전성을 테스트할 때 영어로 된 거부 벡터를 분석하는 것만으로도 전반적인 가드레일 성능을 유추할 수 있다.
• 모델이 추론 과정에서는 긍정적이다가 답변에서 거부한다면, 이는 최종 출력 레이어 근처의 거부 회로가 작동한 것일 가능성이 높다.

Abliteration

— 모델의 특정 가중치나 활성화 경로를 제거하여 특정 행동(예: 거부 메커니즘)을 억제하는 기법이다. 모델의 내부 활성화 벡터에서 거부와 관련된 방향을 찾아내고 이를 상쇄함으로써 모델의 검열을 해제하는 데 사용된다.

Refusal Circuit

— LLM 내부에서 부적절한 요청을 식별하고 답변을 거부하도록 설계된 신경망 경로이다. 이 게시물에서는 추론 과정(CoT)과 최종 답변 생성 단계에 각각 별도의 거부 회로가 존재할 수 있음을 시사한다.

CoT

— 모델이 최종 답변에 도달하기 전 중간 추론 단계를 거치는 기법이다. 추론 모델에서는 이 단계에서 논리적 판단을 내리며, 때로는 추론 단계에서는 긍정적인 방향으로 흐르다가도 최종 출력에서 거부 회로가 작동하기도 한다.

MoE

— 전체 파라미터 중 일부 전문가 네트워크만 활성화하여 효율성을 높이는 아키텍처이다. 대규모 모델에서 연산 비용을 줄이면서도 높은 성능을 유지하기 위해 사용되며, Sarvam 모델의 핵심 구조이다.