SAE 도구를 활용한 자율적 기계론적 발견 평가

왜 중요한가

Recursive Self-Improvement가 학습 파이프라인 자동화에 머물면 모델이 무엇을 학습했는지 감시하고 안전한 정렬 상태를 확인하기 어렵습니다. 이 연구는 SAE 도구를 활용한 실험적 모델 이해를 자율적 AI R&D의 측정 가능한 능력으로 정식화하고, 에이전트의 후보 탐색과 실험 해석 사이에 큰 격차가 있음을 확인했다는 점에서 중요합니다.

핵심 기여

SAE 기반 자율 발견 평가 벤치마크

SAEScientist-Bench를 구성해 AI 에이전트가 목표 개념을 입력받고 contrastive probe를 설계한 뒤 SAE dictionary에서 해석 가능한 feature를 찾는 능력을 20개 task로 평가했습니다.

전문가 feature와의 다차원 비교

Gemma-2-9B-IT의 Gemma Scope 131K+ feature dictionary에서 찾은 후보를 Neuronpedia에 연결된 전문가 reference feature와 activation rank, contrastive text의 concept selectivity, causal steering으로 비교했습니다.

에이전트 구성별 발견 능력 측정

10개 에이전트 configuration을 비교해 frontier agent가 일부 평가 차원에서 서로 다른 강점을 보이지만 전문가 기준에는 전반적으로 미치지 못한다는 결과를 얻었습니다.

실험 측정값 해석 오류 확인

에이전트는 대조 텍스트를 설계해 우연한 후보를 제거할 수 있었지만, 실험 measurement의 의미를 자주 잘못 해석해 feature 발견과 인과적 검증 사이의 취약점을 드러냈습니다.

핵심 아이디어 이해하기

모델이 텍스트를 생성한다는 사실만으로는 내부에 어떤 개념이 어떻게 표현됐는지 알기 어렵습니다. Sparse Autoencoder는 모델 활성값을 소수의 feature로 분해하고, 각 feature가 특정 개념과 연결되는지 검사할 수 있게 합니다. 따라서 모델의 내부 표현을 점검하려면 먼저 목표 개념이 담긴 텍스트와 이를 통제하기 위한 대조 텍스트를 준비해야 합니다.

이 연구의 에이전트는 목표 개념과 대조 개념을 구분하는 contrastive probe를 설계한 뒤, Gemma Scope의 131K+ feature 중 관련 후보를 찾습니다. 후보 feature의 activation rank와 대조 텍스트에 대한 concept selectivity를 비교해 개념과 함께 활성화되는 feature를 좁히고, 해당 feature를 조정했을 때 생성 결과가 변하는지도 확인합니다.

단순히 목표 텍스트에서 활성화되는 feature를 찾는 것과 그 feature가 생성 결과의 원인임을 입증하는 것은 다릅니다. 실험 결과 에이전트는 대조군을 이용한 후보 제거에는 접근했지만, feature를 조정한 뒤 나타난 생성 변화의 의미를 자주 잘못 해석했습니다. 이 차이가 전문가 기준과의 격차, 특히 causal steering 성능 저하로 이어졌습니다.

방법론

SAEScientist-Bench는 목표 개념이 주어졌을 때 AI 에이전트가 SAE 도구를 사용해 관련 feature를 자율적으로 찾는 과정을 평가합니다. 에이전트는 목표 개념과 대조 통제를 구분하는 contrastive probe를 설계하고, Gemma-2-9B-IT의 Gemma Scope dictionary에 포함된 131K+ feature를 탐색합니다. 최종 후보는 Neuronpedia에 기반한 전문가 reference feature와 비교됩니다.

후보 feature의 평가는 세 축으로 구성됩니다. activation rank는 목표 개념과 관련된 후보가 feature 목록에서 어느 위치에 놓이는지 측정하고, concept selectivity는 목표 텍스트와 contrastive text에서 활성 차이가 얼마나 뚜렷한지 평가합니다. causal steering은 feature를 직접 조정한 뒤 모델 생성 결과가 목표 개념에 맞게 변하는지 확인해 상관관계를 넘어선 인과적 영향을 측정합니다.

연구진은 10개 agent configuration과 20개 task를 사용해 에이전트별 발견 결과를 전문가 기준과 대조했습니다. 이 절차는 후보를 찾는 능력뿐 아니라 대조 실험을 설계하는 능력, 측정값을 해석하는 능력, 내부 feature를 조정해 출력을 바꾸는 능력을 함께 평가하도록 구성됐습니다.

주요 결과

10개 agent configuration과 20개 task에서 frontier agent는 실제 feature discovery 능력을 보였지만, 전문가 baseline보다 전반적으로 낮은 수준에 머물렀습니다. 여러 agent configuration이 평가 차원별로 서로 다른 강점을 보였다는 점은 자율 발견 능력이 단일 점수로 정리되지 않음을 나타냅니다.

에이전트는 목표 개념과 contrastive control을 분리하는 평가에서 전문가 수준에 가까워졌습니다. 대조 텍스트를 설계해 우연히 활성화되는 후보를 배제하는 절차는 어느 정도 수행했지만, 후보가 실제 개념 표현과 연결되는지 판단하는 과정에서 measurement의 의미를 자주 잘못 해석했습니다.

가장 큰 격차는 causal generation steering에서 확인됐습니다. 에이전트는 관련 feature를 찾는 단계보다 해당 feature를 조정했을 때 생성 결과가 왜 변했는지 판별하는 단계에서 크게 뒤처졌습니다. 결과적으로 이 benchmark는 자율 AI R&D에 필요한 실험적 모델 이해를 feature 탐색, 측정 해석, 인과적 검증으로 나누어 평가할 근거를 제공합니다.

기술 상세

SAE 기반 탐색은 Gemma-2-9B-IT의 내부 활성값에서 해석 가능한 feature 후보를 찾는 구조입니다. 에이전트는 목표 개념만 관찰하지 않고 contrastive text를 함께 구성해 후보가 목표 개념에 선택적으로 반응하는지 확인합니다. 이 입력 구성은 특정 단어의 단순한 동시 출현처럼 개념과 직접 관련이 없는 후보를 제거하기 위한 절차입니다.

후보 feature는 activation rank와 concept selectivity로 1차 평가됩니다. activation rank는 전문가 reference feature와 비교할 때 관련 후보가 탐색 결과에서 얼마나 높은 순위를 차지하는지 나타냅니다. concept selectivity는 목표 텍스트와 대조 텍스트를 각각 입력한 뒤 feature 활성값을 비교해 어느 쪽에서 더 강하게 반응하는지 확인하는 지표입니다. 입력 텍스트 집합을 두 그룹으로 나누고 feature 활성 차이를 계산한 결과가 클수록 목표 개념과 대조 개념의 분리가 뚜렷하다고 판단합니다.

Causal steering은 feature를 찾는 것과 별도의 검증 단계입니다. 선택한 feature의 활성값을 직접 변경하고 모델의 생성 결과를 관찰해, feature 변화가 목표 개념에 맞는 출력 변화를 유발하는지 확인합니다. 따라서 목표 텍스트에서 높은 활성값을 보였다는 상관관계만으로는 충분하지 않고, feature 조정이라는 입력 변화와 생성 결과 변화 사이의 연결을 확인해야 합니다.

실험은 Gemma Scope의 131K+ feature dictionary와 Neuronpedia에 기반한 전문가 reference feature를 사용해 진행됐습니다. 10개 agent configuration과 20개 task를 비교한 결과, 에이전트는 대조 실험을 설계해 후보를 좁히는 과정에서는 전문가 수준에 접근했지만 causal generation steering과 measurement 해석에서는 상당한 격차를 보였습니다.

한계점

에이전트는 전문가 baseline보다 전반적으로 낮은 성능을 보였고, 특히 causal generation steering에서 크게 뒤처졌습니다. 또한 대조 실험으로 잘못된 후보를 배제하면서도 실험 measurement의 의미를 자주 잘못 해석했습니다.

실무 활용

공개된 SAEScientist 코드를 활용하면 SAE dictionary에서 목표 개념 feature를 찾고, 대조 텍스트와 causal steering을 결합한 평가 흐름을 재현할 수 있습니다. 다만 초록에서 확인되는 결과상 feature 후보 탐색보다 측정값 해석과 생성 결과의 인과적 판별에 더 큰 검증이 필요합니다.

LLM 내부에서 특정 개념과 연관된 SAE feature를 찾는 자동 해석 실험
목표 텍스트와 contrastive control을 이용한 concept selectivity 평가
feature 활성 조정 후 생성 결과 변화를 측정하는 causal steering 실험
자율 AI R&D 에이전트의 실험 설계·측정 해석 능력 비교

코드 공개 여부: 공개

코드 저장소 보기

키워드

Sparse Autoencoders(희소 오토인코더)SAEs(희소 오토인코더)Mechanistic Interpretability(기계론적 해석 가능성)Contrastive Probes(대조 프로브)Gemma Scope(SAE feature dictionary)Causal Steering(인과적 조정)Autonomous AI R&D(자율 AI 연구개발)

용어 해설

재귀적 자기 개선(Recursive Self-Improvement): — AI 시스템이 자신의 학습·개발 절차를 반복적으로 개선하는 접근입니다. 이 논문에서는 모델 학습 자동화뿐 아니라 학습 후 모델 내부를 감시하고 감사하는 절차까지 포함해야 안전한 자율 개발이 가능하다고 봅니다.
희소 오토인코더(Sparse Autoencoder): — 모델의 내부 활성값을 소수의 활성 feature 조합으로 다시 표현하는 신경망입니다. 각 feature가 특정 개념과 연결되도록 학습하면 모델이 무엇을 학습했는지 검사하거나 특정 방향으로 조정하는 데 활용할 수 있습니다.
기계론적 해석 가능성(Mechanistic Interpretability): — 모델의 출력만 비교하지 않고 내부 활성값과 회로가 어떤 계산을 수행하는지 추적하는 연구 분야입니다. 이 논문에서는 SAE feature를 찾아 개념 표현과 인과적 조정 가능성을 측정하는 기반으로 사용합니다.
대조 프로브(Contrastive Probe): — 목표 개념이 포함된 텍스트와 이를 구별하기 위한 대조 텍스트를 함께 사용해 특정 feature가 개념을 선택적으로 감지하는지 측정하는 방법입니다. 에이전트가 후보 feature의 우연한 상관을 걸러내는 데 사용합니다.
인과적 조정(Causal Steering): — 모델 내부의 특정 활성 feature를 의도적으로 변경한 뒤 생성 결과가 목표 개념에 맞게 달라지는지 확인하는 방법입니다. 단순한 상관관계가 아니라 feature가 출력에 실제 영향을 주는지 평가합니다.

SAE 도구를 활용한 자율적 기계론적 발견 평가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

AI 평가의 최신 연구 동향과 과학적 발견을 위한 AI의 가능성

AI의 독립적 과학 연구 수행 능력을 측정하는 ASI-Bench

최종 점수를 넘어선 장기 AI 연구 에이전트 평가

실제 업무를 끝내는 Agent의 조건

AI의 발견 능력과 자기개선의 문턱

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

AI 평가의 최신 연구 동향과 과학적 발견을 위한 AI의 가능성

AI의 독립적 과학 연구 수행 능력을 측정하는 ASI-Bench

최종 점수를 넘어선 장기 AI 연구 에이전트 평가

실제 업무를 끝내는 Agent의 조건

AI의 발견 능력과 자기개선의 문턱