Schmidt Sciences, AI 해석 가능성 및 기만적 행동 방지 연구 제안서 모집

섹션별 상세

Schmidt Sciences는 LLM의 내부 표현과 실제 출력 사이의 모순을 찾아내는 기만적 행동 탐지 기술을 핵심 연구 과제로 선정했다. 단순히 텍스트를 분석하는 블랙박스 방식을 넘어 모델의 내부 상태를 분석하는 화이트박스 프로브나 기계론적 해석을 통해 모델이 스스로 거짓임을 인지하고 있는지 확인하는 방법을 모색한다.

모델의 진실성을 높이기 위한 조종(Steering) 기법 연구를 지원하며 이는 단순한 프롬프트 엔지니어링이나 표준 파인튜닝보다 우수한 성능을 입증해야 한다. 해석 가능성 분석에서 얻은 통찰을 바탕으로 모델의 가중치나 내부 표현에 직접 개입하여 부작용 없이 기만적 행동만을 정밀하게 억제하는 기술 개발을 장려한다.

개발된 탐지 및 조종 기술을 실제 환경에 적용하여 인간-AI 협업 팀의 신뢰도를 높이거나 멀티 에이전트 시스템의 결과를 개선하는 응용 연구를 포함한다. 기만 방지 기술이 적용된 대시보드 시각화나 AI 토론 설정에서의 의사결정 지원 시스템 등이 주요 응용 사례로 언급되었다.

지원 대상은 전 세계의 개인 연구자, 대학, 국립 연구소 및 비영리 단체를 포함하며 선정된 팀에게는 최대 100만 달러의 연구비 외에도 최첨단 GPU/CPU 컴퓨팅 자원이 제공된다. 가상 과학 소프트웨어 연구소를 통한 소프트웨어 엔지니어링 지원과 프런티어 모델 제공업체의 API 크레딧 등 추가적인 혜택도 포함된다.

용어 해설

해석 가능성(Interpretability): — AI 모델의 내부 작동 원리와 의사결정 과정을 인간이 이해할 수 있는 방식으로 설명하는 기술이다. 모델이 왜 특정 답변을 내놓았는지 파악하여 신뢰성과 안전성을 확보하는 데 필수적이다.
조종 기법(Steering): — 모델의 특정 행동이나 출력을 유도하기 위해 내부 표현이나 가중치에 직접 개입하여 조정하는 기법이다. 프롬프트 수정 없이 모델의 진실성이나 안전성을 강화하는 데 사용된다.
프로빙(Probing): — 모델의 중간 레이어 활성화 값을 분석하여 특정 정보가 내부적으로 어떻게 표현되는지 확인하는 기술이다. 모델이 겉으로는 거짓을 말해도 내부적으로는 진실을 알고 있는지 판별할 때 활용된다.
기계론적 해석 가능성(Mechanistic Interpretability): — 모델의 뉴런이나 회로 수준에서 특정 기능이 어떻게 구현되는지 물리적으로 분석하는 심화 방법론이다. 모델의 추론 과정을 아주 작은 단위에서 역공학하여 이해하려는 시도이다.
기만적 행동(Deceptive Behavior): — AI 모델이 내부적으로는 사실을 알고 있음에도 불구하고 사용자에게 의도적으로 틀린 정보를 제공하거나 오도하는 행위이다. 모델의 목표와 인간의 의도가 일치하지 않을 때 발생한다.

기술

LLM
Probing
Mechanistic Interpretability
Steering

활용 사례

AI 안전 모니터링
진실성 기반 모델 교정
신뢰할 수 있는 인간-AI 협업

언급된 리소스

문서Schmidt Sciences RFP Application Portal

문서AI Interpretability FAQ