가이드 랩스, 모든 토큰의 출처 추적이 가능한 오픈소스 LLM 'Steerling-8B' 공개

섹션별 상세

가이드 랩스는 80억 개의 파라미터를 가진 Steerling-8B 모델을 오픈소스로 공개하며, 모델의 행동을 쉽게 해석할 수 있는 새로운 아키텍처를 선보였다. 이 모델은 생성된 모든 토큰을 훈련 데이터의 기원으로 추적할 수 있어, 단순한 사실 인용의 근거 확인부터 유머나 성별과 같은 복잡한 개념의 이해 방식까지 파악이 가능하다.

기존의 해석 가능성 연구가 이미 훈련된 모델을 분석하는 '신경과학' 방식이었다면, 가이드 랩스는 모델 설계 단계부터 '컨셉 레이어(Concept Layer)'를 삽입하는 방식을 채택했다. 개발자가 데이터를 추적 가능한 카테고리로 분류하는 레이어를 모델 내부에 직접 구축함으로써, 사후 분석의 취약성을 극복하고 보다 안정적인 제어를 가능하게 한다.

가이드 랩스의 컨셉 모듈(Concept Module) 아키텍처 다이어그램 — DiagramTransformer에서 나온 히든 스테이트(h)가 컨셉 모듈 내에서 알려진 개념(known concepts)과 알려지지 않은 개념(unknown concepts)으로 분해 및 활성화되는 과정을 보여준다. 각 개념의 임베딩(K, U)과 결합하여 최종적으로 해석 가능한 출력 토큰을 생성하는 구조를 설명한다.

새로운 아키텍처 도입에도 불구하고 LLM의 핵심 특징인 '창발적 행동(Emergent behavior)'과 일반화 능력은 유지된다. 모델은 양자 컴퓨팅과 같이 명시적으로 학습되지 않은 '발견된 개념(Discovered concepts)'을 스스로 학습하며, 가이드 랩스 팀은 이러한 개념들을 추적하여 모델의 학습 과정을 모니터링한다.

Steerling-8B는 기존 프론티어 모델 대비 90%의 성능을 달성하면서도 더 적은 훈련 데이터를 사용한다. 가이드 랩스는 Y Combinator 출신으로 2024년 11월 900만 달러의 시드 투자를 유치했으며, 향후 더 큰 규모의 모델 개발과 API 및 에이전트 서비스 제공을 계획하고 있다.

용어 해설

해석 가능성(Interpretability): — AI 모델이 특정 출력을 생성한 내부 논리와 근거를 인간이 이해할 수 있는 형태로 설명할 수 있는 성질이다. 블랙박스 형태의 딥러닝 모델에서 의사결정 과정을 투명하게 공개하여 신뢰성과 안전성을 확보하는 데 필수적이다.
컨셉 레이어(Concept Layer): — 데이터를 추적 가능한 카테고리로 분류하여 모델 내부에 삽입한 계층이다. 특정 개념(예: 성별, 유머)에 해당하는 뉴런의 활성화를 직접 제어하거나 토큰의 기원을 훈련 데이터까지 역추적할 수 있게 한다.
창발적 행동(Emergent Behavior): — 모델이 명시적으로 학습하지 않았음에도 불구하고, 파라미터 규모가 커지면서 스스로 습득하게 되는 고차원적인 추론이나 일반화 능력을 의미한다. 해석 가능성 모델에서도 이러한 능력이 유지되는지가 주요 성능 지표가 된다.
데이터 어노테이션(Data Annotation): — AI 학습을 위해 데이터에 라벨이나 설명을 추가하는 작업이다. 가이드 랩스의 아키텍처는 컨셉 레이어 구축을 위해 더 많은 사전 데이터 어노테이션을 요구하며, 이를 위해 다른 AI 모델을 보조적으로 활용한다.

기술

Steerling-8B
Concept Layer
Transformer

활용 사례

금융 모델의 대출 심사 근거 확인
단백질 구조 예측 등 과학적 발견의 원리 분석
모델의 편향성 및 유해 출력 정밀 제어

언급된 리소스

GitHubSteerling-8B Open Source Release