Anthropic의 SAE 도구를 활용한 Qwen 모델의 Golden Gate 실험 재현

커뮤니티 반응

커뮤니티는 Anthropic의 도구를 활용한 타사 모델 실험에 대해 긍정적인 반응을 보였다.

섹션별 상세

사용자는 Anthropic이 공개한 SAE 도구를 사용하여 Qwen 3.5 35B 모델에서 Golden Gate Claude 실험을 재현했다. 이 실험은 특정 개념을 활성화하여 모델의 행동을 제어하는 방식이다. 사용자는 공식 SAE 도구를 활용하여 모델 내부의 특징을 추출하고 조작했다. 이로써 Anthropic의 도구가 타사 모델에도 적용 가능함이 입증됐다.

실험 결과, 재현된 모델은 Golden Gate Claude와 유사한 행동을 보였으나 품질은 원본보다 낮았다. 이는 모델의 파라미터 크기가 Claude보다 작기 때문이다. 또한, 모델이 원본과 같은 수준의 RLHF 학습을 거치지 않았다는 점이 성능 차이의 원인으로 지목됐다. 결과적으로 모델의 크기와 정렬 학습이 실험의 효과에 중요한 영향을 미친다.

언급된 도구

SAE tool추천

Interpretability and feature activation

언급된 리소스

문서Golden Gate Claude