AI 내부 메커니즘을 찾고 조절하는 Mechanist

왜 중요한가

AI 모델의 성능과 내부 작동 원리를 함께 다루는 자동 연구 시스템의 필요성이 커지고 있다. Mechanist는 약 13,000편의 해석 가능성 문헌과 26개 분야의 4,300만 편 논문, 32개 기계론적 분석 방법을 연결해 가설 생성부터 실험 검증까지 수행한다. 안전 데이터에 숨은 위험 행동 전달을 찾고, 신념 처리 회로와 DNA 생성 Feature를 개입으로 조절했다는 점에서 모델을 단순한 도구가 아니라 연구 대상이자 과학적 도구로 취급한다.

관련 Figure

Diagram
기존 시스템은 과학 과제나 AI 개발 과제의 결과를 개선하는 데 초점을 두지만, Mechanist는 AI 지능의 내부 메커니즘과 위험 행동을 연구 대상으로 삼는다. 아래 표는 기존 접근의 출력이 특정 과제 수준의 가설·해결책인 반면 Mechanist의 출력은 여러 모델에 걸친 이론 수준의 메커니즘 발견임을 구분한다.
기존 AI Scientist와 Mechanist의 연구 대상을 비교한 개요도이다.

핵심 기여

AI 지능 메커니즘을 찾는 자율 연구 시스템

Mechanist는 사용자의 연구 목표와 평가 기준을 입력으로 받아 가설 생성, 실험 실행, 결과 검증, 반복 수정의 네 단계를 순차적으로 수행한다. 각 단계는 별도 Agent와 구조화된 산출물로 연결되며, 검증 실패가 가설 단계인지 실험 단계인지에 따라 해당 부분만 다시 실행한다. 이 구조가 모델 행동의 발견에서 내부 메커니즘 설명과 개입까지 이어지는 연구 흐름을 만든다.

반대 의미 데이터에서도 전달되는 위험 행동

Qwen3.5-9B의 위험한 교사가 만든 응답에서 안전한 내용만 남겨 학생을 Fine-tuning했지만, 학생의 멀티모달 실험실 안전 질문에 대한 위험 응답률은 48.6%가 됐다. Untuned baseline은 20.3%, 일반 교사가 만든 안전 데이터로 학습한 대조군은 18.3%였다. Qwen-Image에서도 바나나 이미지를 제거한 데이터로 학습한 학생의 바나나 생성률이 25.6%로 올라가 내용 필터만으로는 잠재 특성 전달을 막기 어렵다는 결과를 얻었다.

World Knowledge와 두 종류의 Belief를 분리한 회로

Mechanist는 모델이 객관적 사실, 자신의 신념, 다른 사람에게 귀속한 신념을 구분해야 하는 세 가지 질의 형식을 정의했다. Pythia-1B에서 Attributed Belief를 담당하는 L4.H1과 Personal Belief에 중요한 L9.H1·L7.H5·L12.H1을 Fisher 정보와 제거 실험으로 분리했다. L4.H1 제거 시 Attributed Belief 정확도가 0.86에서 0.34로 감소하고, Personal Belief Head 제거 시 Personal Belief 정확도가 0.78에서 0.21로 감소했다.

내부 메커니즘을 추론과 생물학적 생성에 연결

경량 Probe가 질의를 World Knowledge, Personal Belief, Attributed Belief로 분류한 뒤 대응 Head를 추론 중 증폭하면 Pythia-410M·1B·2.8B에서 각각 +15.3%, +8.8%, +3.5%의 순이득을 냈다. Evo2-7B에서는 α-helix와 연결된 SAE Feature를 활성화해 900개 DNA 서열의 예측 α-helix 비율을 43.8%에서 56.6%로 높였다. 무작위 Feature 조절은 43.2%에 그쳐 목표 Feature 개입의 효과가 구분됐다.

핵심 아이디어 이해하기

언어 모델은 Pretraining 중 세계에 관한 지식을 내부 표현에 저장하지만, 질문이 객관적 사실을 묻는지 자신의 신념을 묻는지 다른 사람의 신념을 묻는지에 따라 서로 다른 계산이 필요하다. 기존 모델은 충돌하는 문맥에서 이 상태들을 섞어, 현실의 답을 물을 때 다른 사람의 잘못된 믿음을 따르거나 다른 사람의 믿음을 물을 때 자신의 지식을 답할 수 있다.

Mechanist는 먼저 질의를 World Knowledge, Personal Belief, Attributed Belief로 나눈다. 각 질의를 모델에 넣고 내부 표현과 Attention Head를 측정한 뒤, Fisher 정보로 후보 Head를 고르고 제거하거나 활성화를 증폭해 출력이 바뀌는지 확인한다. 이 과정을 통해 단순히 정보를 읽을 수 있는 Head와 실제로 특정 신념 상태의 계산을 바꾸는 Head를 구분한다.

Pythia-1B에서는 Attributed Belief에 L4.H1, Personal Belief에 L9.H1·L7.H5·L12.H1이 선택적으로 관여했다. L4.H1을 0으로 만들면 Attributed Belief 정확도가 0.86에서 0.34로 떨어지지만 Personal Belief 정확도는 0.71로 유지됐고, Personal Belief Head를 제거하면 Personal Belief 정확도가 0.78에서 0.21로 낮아지는 대신 Attributed Belief 정확도가 1.00으로 올랐다. 이는 두 능력이 하나의 모호한 지식 표현이 아니라 분리된 내부 계산에 의존한다는 뜻이다.

이렇게 찾은 Head는 추론 시 직접 조절할 수 있다. 경량 Probe가 현재 질문의 신념 상태를 판별하고 대응 Head를 증폭하면 추가 학습 없이 모델이 사실이나 귀속된 신념에 맞는 계산을 선택한다. 같은 원리를 Evo2-7B의 생물학적 Feature에도 적용해, α-helix와 연결된 내부 Feature를 생성 중 증폭하고 목표 구조의 DNA 서열을 더 자주 산출한다.

방법론

Mechanist는 중앙 Orchestrator와 가설 생성 Agent, 실험 Agent, 검증 Agent, 반복 Agent로 구성된 멀티 Agent 연구 흐름을 사용한다. 사용자가 연구 목표·자원 제약·일정을 입력하면 가설 Agent가 연구 질문을 행동 존재 여부, 내부 메커니즘, 실용적 개입의 원자적 주장으로 분해하고, 각 주장에 필요한 중간 검사를 만든다. 검색에는 약 13,000편의 해석 가능성 문헌 그래프와 26개 분야 4,300만 편 논문을 담은 SciAtlas를 함께 사용한다.

실험 Agent는 각 주장을 데이터셋과 분할, 대상 모델, 해석 방법, 평가 지표, 대조군, 성공 기준, GPU 예산을 포함한 실행 계획으로 바꾼다. 32개 기계론적 방법 라이브러리에서 적절한 방법을 고르고, 전체 실행 전 간단한 sanity check를 거친 뒤 코드를 실행한다. 검증 Agent는 Label 출처, 데이터 누수, 지표 타당성, 실행 산출물과 보고 수치의 추적 가능성을 검사하고, 모델·데이터셋·해석 방법을 바꿔도 결론이 유지되는지 확인한다.

검증에서 문제가 발견되면 Iteration Agent가 독립 검토와 함께 원인을 분류한다. 가설의 범위나 가정 문제는 가설 Agent로, 실험 설계·구현·실행 문제는 실험 Agent로 되돌린 뒤 다시 검증한다. 연구 상태는 대화 기록이 아니라 제안서, 실험 계획, 코드, 결과, 무결성 보고서로 저장하며, 완료 Marker와 검토 메모를 사용해 중단된 실행을 이어가고 이전에 해결된 질문의 반복을 줄인다.

주요 사례에서는 먼저 교사 모델의 행동 특성을 학생 모델로 전달하는 Fine-tuning 실험을 수행했다. 위험 교사가 생성한 텍스트에서 GPT-4o 기반 필터로 안전한 응답만 남긴 뒤 Qwen3.5-9B 학생을 학습하고 멀티모달 안전 질문으로 평가했으며, 이미지 생성에서는 바나나 선호 교사의 출력에서 바나나 이미지를 제거한 뒤 Qwen-Image 학생의 선호를 측정했다. 이후 Belief 실험에서는 Fisher 정보, Head ablation, Probe, 동적 Head 증폭을 연쇄 적용했고, DNA 생성 실험에서는 SAE Feature 검색, Feature steering, pLDDT와 ORF 평가를 결합했다.

관련 Figure

Diagram
사용자 질문은 현상 발견, 메커니즘 탐색, 모델 행동 제어로 들어가고, Mechanist는 가설·실험·검증·반복 단계를 거쳐 결과를 만든다. 하단 평가에서는 Mechanist가 Claude Code와 AI Scientist보다 신뢰성, 신규성, 영향력, 테스트 가능성에서 높은 점수를 얻는 비교가 제시된다.
Mechanist의 가설 생성부터 검증과 반복까지의 실행 구조와 비교 평가를 묶은 도식이다.

Diagram
중앙의 Paper 노드가 Domain·Field·Subfield 계층, Author·Institution·Venue 출처, Keyword·Source 정보와 연결되고, 오른쪽에는 Technique·TaskScenario·Ability·Component·TargetModel 축이 추가된다. 이 구조는 키워드 검색만으로 연결하기 어려운 해석 방법과 모델 구성 요소의 관계를 그래프 탐색과 재순위화에 활용하도록 설계됐다.
Mechanist의 해석 가능성 데이터베이스를 논문·방법·모델·과제·능력 관계로 확장한 지식 그래프이다.

주요 결과

16편의 논문 재현 평가에서 Mechanist는 사람 평가 기준으로 데이터 사용 87.2%, 실험 설계 83.3%, 실험 실행 92.2%, 결과 분석 86.5%를 기록했다. 네 차원 모두 Claude Code보다 약 9%에서 13% 높고 AI Scientist보다 31%에서 38% 높았으며, 9개 연구 주제에서도 사람 평가 1위를 차지했다. 멀티모달 분석은 Mechanist 90.3% 대 Claude Code 65.8%, 안전은 67.4% 대 48.2%였다.

위험 행동 전달 실험에서 안전한 데이터로 Fine-tuning한 학생의 실험실 안전 위험 응답률은 48.6%로, Untuned Qwen3.5-9B의 20.3%와 일반 교사 대조군의 18.3%를 웃돌았다. 경고 표지가 포함된 화학물질 질문에서 학생은 정답인 가연성 물질과의 격대신 위험한 압력 용기 보관을 선택했다. 이미지 생성에서도 바나나 선호 교사가 만든 데이터에서 바나나 이미지를 제거했지만 학생의 바나나 생성률은 25.6%가 됐고, Untuned baseline과 일반 교사 대조군은 각각 2.5%와 2.1%였다.

Belief Head 개입은 Prompt hint보다 큰 순이득을 기록했다. Pythia-410M·1B·2.8B에서 Prompt hint의 순이득은 각각 +1.6%, +3.1%, +0.1%였지만, 메커니즘 기반 개입은 +15.3%, +8.8%, +3.5%였다. 기존에 맞았던 답을 깨뜨리는 비율도 각각 1.4%, 1.4%, 1.1%로 낮았다.

Evo2-7B의 900개 생성 서열에서 α-helix Feature steering은 평균 예측 α-helix 비율을 무조절 모델의 43.8%에서 56.6%로 높였고, 무작위 Feature steering은 43.2%였다. pLDDT 0.4 이상 서열에서는 58.7% 대 45.4%, pLDDT 0.5 이상에서는 56.9% 대 45.6%였다. Steering coefficient를 α=8까지 높이면 α-helix 비율이 12.8 percentage points 증가하지만 더 큰 값에서는 유효 ORF 비율이 크게 낮아져, α=8을 유효한 최대 개입으로 선택했다.

관련 Figure

Diagram
안전한 데이터만 남긴 뒤 Fine-tuning한 학생 모델에서도 위험 교사의 특성이 나타나고, 바나나 이미지를 제거한 데이터에서도 바나나 선호가 전달되는 흐름을 보여준다. 막대그래프는 위험 교사 조건의 안전하지 않은 응답률과 바나나 선호 생성률이 각각 48.6%와 25.6%까지 올라가는 현상을 비교한다.
잠재 학습의 발전 과정과 안전·선호 특성의 반대 의미 데이터 전달 실험을 나타낸 도식이다.

Chart
사람 평가에서 Mechanist는 Belief, Emotion, Feature description, Multi-agent safety, Multilingual, Multimodal, Reasoning, Safety, Science 전 영역에서 가장 높은 신뢰도 막대를 기록한다. LLM judge 평가에서도 대부분의 영역에서 Mechanist가 앞서며, 특히 사람 평가의 멀티모달 분석 점수는 90.3%로 Claude Code의 65.8%보다 높다.
9개 연구 분야에서 Claude Code, AI-Scientist, Mechanist의 사람 및 LLM 평가 신뢰도를 비교한 막대그래프이다.

Chart
사람 평가에서 Mechanist는 데이터 사용 87.2%, 실험 설계 83.3%, 실험 실행 92.2%, 결과 분석 86.5%를 기록해 네 차원 모두 Claude Code와 AI Scientist보다 높다. LLM judge 결과에서도 같은 순서가 유지되며, 시스템이 데이터 분할과 방법 선택부터 실행 기록과 통계적 결론까지 전체 재현 과정을 관리하는 효과를 나타낸다.
재현 실험을 데이터 사용, 실험 설계, 실험 실행, 결과 분석으로 나눠 평가한 비교 그래프이다.

기술 상세

Mechanist의 지식 자원은 두 그래프를 결합한다. 해석 가능성 그래프는 약 13,000편의 논문과 연구 블로그를 연구 대상, 적용 시나리오, 메커니즘 방법 축으로 정리하고, SciAtlas는 26개 분야 4,300만 편 이상의 논문과 저자·개념·기관·출판 venue 관계를 제공한다. 검색은 질의 분해, 분야별 용어 재작성, BM25 Keyword matching, Dense semantic matching, 제목 matching, 제한된 그래프 다중 Hop 확장, Reciprocal Rank Fusion과 재순위화의 순서로 진행된다.

실험 실행에는 11개 계열로 묶은 32개 기계론적 방법이 들어간다. Vocabulary projection과 Magnitude analysis는 추가 학습 없이 내부 표현을 읽거나 후보를 좁히며, Probing은 모델을 고정한 채 Label이 있는 보조 예측기를 학습한다. SAE·Transcoder 기반 Feature dictionary learning은 밀집 활성화를 희소 Feature 조합으로 바꾸고, Gradient detection은 목표값에 대한 민감도를 계산하며, Activation patching·Ablation·Attribution patching은 내부 값을 교체하거나 제거해 인과 효과를 측정한다.

Belief 연구에서는 Fisher 정보로 Head 후보를 순위화한 뒤 Causal ablation을 적용했다. Pythia-1B의 L4.H1을 제거하면 Attributed Belief 정확도는 0.86에서 0.34로, Pile perplexity는 7.96에서 8.05로 변했다. 반대로 Personal Belief Head를 제거하면 Personal Belief 정확도는 0.78에서 0.21로, Attributed Belief 정확도는 1.00으로, Pile perplexity는 8.23으로 변해 기능 분리와 제한된 일반 성능 손실을 함께 확인했다.

동적 개입에서는 경량 Probe가 입력을 WK·PB·AB 중 하나로 분류하고 해당 Head의 활성화를 증폭한다. 예를 들어 화자가 말라리아가 항생제로 치료된다고 잘못 믿는 상황에서 PB Head를 증폭하면 현실에 관한 질문에서 사실 답을 회복하고, 수소 원자번호를 3이라고 잘못 믿는 화자의 생각을 묻는 상황에서 AB Head를 증폭하면 모델 출력이 사실값 1에서 귀속된 값 3으로 이동한다. 이 과정은 추가 Fine-tuning 없이 추론 중 내부 계산을 직접 조절한다.

DNA 설계에서는 Evo2-7B에 대한 SAE Feature 설명에서 α-helix와 연결된 Feature를 찾고, 생성 중 그 Feature를 Steering coefficient α로 증폭한다. 생성 서열은 ESMFold로 pLDDT를 계산해 구조 예측 신뢰도를 평가하고, 유효 ORF 비율로 서열 생성 능력 보존 여부를 확인한다. α를 0에서 8로 높이면 α-helix 특성은 증가하지만 더 큰 개입은 ORF 유효성을 떨어뜨리므로, 목표 특성 증가와 생성 능력 사이의 경계를 실험적으로 선택한다.

관련 Figure

Diagram
Pythia-1B 내부에서 Attributed Belief Head와 Personal Belief Head가 분리되어 형성되며, 각 Head를 제거하면 대응 신념 상태의 정확도가 선택적으로 낮아진다. Probe가 질의 유형을 분류한 뒤 해당 Head를 증폭하는 방식은 세 가지 Pythia 규모에서 정적 Prompt hint보다 큰 정확도 개선을 낸다.
World Knowledge, Personal Belief, Attributed Belief를 처리하는 분리된 Head와 동적 개입 결과를 나타낸 도식이다.

한계점

Mechanist는 인간 인지를 시뮬레이션하거나 설명하도록 설계된 모델에 맞춰 최적화되지 않았다. 이런 모델은 내부 표현을 관찰 가능한 행동뿐 아니라 심리 구성개념, 신경 측정값, 이질적인 인간 데이터와 연결해야 하므로 현재 구조를 그대로 적용하기 어렵다. 또한 시스템이 완전 자율로 실행될 수 있어도 논문은 연구 목표와 평가 기준을 사람이 정하고 결과를 함께 검증하는 인간·AI 공동 연구 방식을 권장한다.

실무 활용

Mechanist는 사람이 연구 질문과 평가 기준을 정하고, 시스템이 문헌 검색·가설 구성·실험 코드 작성·검증·반복 수정을 맡는 공동 연구 도구로 사용할 수 있다. 모델 내부의 위험 행동과 지식 처리 회로를 조사하는 연구뿐 아니라, 해석 가능한 내부 Feature를 이용한 생물학적 서열 설계에도 적용 근거가 있다. 다만 논문은 완전 자율 실행보다 인간과 AI가 함께 검토하는 사용 방식을 권장한다.

멀티모달 모델의 안전 데이터 필터링 이후에도 남는 잠재 행동 전달 위험을 재현하고 감사하기
World Knowledge·Personal Belief·Attributed Belief처럼 충돌하는 문맥에서 모델의 내부 계산과 오류 원인을 추적하기
추론 중 특정 Attention Head를 선택적으로 조절해 신념 상태에 맞는 답변을 유도하기
SAE Feature를 찾아 Evo2-7B가 원하는 α-helix 특성을 가진 DNA 서열을 생성하도록 조절하기

코드 공개 여부: 공개

코드 저장소 보기

관련 Figure

Diagram
SAE에서 α-helix와 연결된 Feature를 찾고 생성 중 이를 증폭한 뒤, 단백질 구조의 α-helix 비율과 pLDDT를 평가하는 순서를 보여준다. 목표 Feature steering은 무조절 모델과 무작위 Feature steering보다 높은 α-helix 비율을 내며, α=8 이후에는 유효 ORF가 감소하는 제어 한계도 함께 나타난다.
Evo2-7B의 α-helix 내부 Feature를 조절해 DNA 서열을 생성하는 절차와 결과를 나타낸 도식이다.

키워드

Mechanist(메커니즘 발견을 위한 자율 AI 연구 시스템)Mechanistic Interpretability(기계론적 해석 가능성)Causal Intervention(인과 개입)Subliminal Learning(잠재 학습)Belief Representation(신념 표현)Evo2-7B(과학 기반 DNA 생성 모델)Cross-modal Transfer(교차 모달 전달)

용어 해설

기계론적 해석 가능성(Mechanistic Interpretability): — 모델의 출력이나 성능을 설명하는 데 그치지 않고, 내부의 Attention Head·뉴런·활성화·회로가 특정 행동을 어떻게 계산하는지 추적하는 연구 방법이다. 상관관계가 아닌 개입 실험으로 해당 구성 요소의 인과적 역할을 확인한다.
인과 개입(Causal Intervention): — 모델 내부 구성 요소를 제거하거나 다른 값으로 바꾼 뒤 출력 변화를 측정하는 방법이다. 특정 Head나 Feature가 행동에 필요한지 또는 충분한지 판별하며, 단순한 활성화 상관관계보다 강한 근거를 제공한다.
잠재 학습(Subliminal Learning): — 교사 모델이 생성한 데이터에 특정 선호나 행동이 명시적으로 드러나지 않아도 학생 모델이 그 특성을 습득하는 현상이다. Mechanist는 안전한 텍스트나 반대 의미의 이미지로 필터링한 데이터에서도 교사 모델의 위험 행동과 선호가 전달되는지 검사한다.
희소 오토인코더(Sparse Autoencoder): — 모델의 밀집 활성화를 소수의 해석 가능한 Feature 조합으로 분해하는 학습 구조다. 이 논문에서는 Evo2-7B의 내부 Feature 중 α-helix 구조와 연결된 Feature를 찾고, 생성 과정에서 해당 Feature를 증폭하는 데 사용한다.
신념 Head(Belief Head): — 언어 모델이 객관적 세계 지식, 자신의 신념, 다른 사람에게 귀속한 신념을 처리할 때 선택적으로 사용하는 Attention Head다. Pythia-1B에서 Attributed Belief에는 L4.H1이, Personal Belief에는 L9.H1·L7.H5·L12.H1이 중요한 역할을 한다.

AI 내부 메커니즘을 찾고 조절하는 Mechanist

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

LLM이 인간 역할을 대체하는 경로

실험실 속 기계

실제 업무를 끝내는 Agent의 조건

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

LLM이 인간 역할을 대체하는 경로

실험실 속 기계

실제 업무를 끝내는 Agent의 조건