뇌 기초 모델 TRIBE v2를 이용한 AI 응답의 아첨 탐지 및 인지적 품질 평가

작성자가 직접 수행한 실험 결과에 대해 방법론과 ROI 매핑 방식에 대한 관심이 높으며, 뇌 모델을 활용한 새로운 평가 방식에 대해 긍정적인 반응이다.

• 모델의 아첨 경향을 정밀하게 테스트하고 싶다면 텍스트 임베딩을 TRIBE v2와 같은 뇌 기초 모델에 통과시켜 복측 주의 네트워크(VAN)의 활성화 여부를 확인하라.

Sycophancy

— AI 모델이 진실성보다 사용자의 의견에 무조건적으로 동의하거나 비위를 맞추려는 경향이다. 이는 모델이 잘못된 정보를 긍정하게 만들어 신뢰성을 저해하며, 겉보기에만 유창한 답변을 생성하는 문제를 야기한다.

fMRI Activation

— 기능적 자기공명영상을 통해 측정되는 뇌의 혈류 변화와 신경 활동 데이터이다. 이 연구에서는 AI 응답을 접했을 때 인간의 뇌가 어떻게 반응할지를 TRIBE v2 모델로 예측하여 응답의 품질을 평가하는 지표로 활용한다.

Ventral Attention Network

— 예상치 못한 자극이나 오류를 감지할 때 활성화되는 뇌의 신경망이다. AI의 응답이 부자연스럽거나 논리적 오류가 있을 때 이 네트워크가 활성화되는 특성을 이용하여 모델의 '혼란도'를 측정하는 핵심 축으로 사용된다.

Default Mode Network

— 내부적인 사고, 자아 성찰, 깊은 의미 처리에 관여하는 뇌 영역들의 집합이다. AI 응답에 대한 인지적 이해도와 관여도를 측정하는 지표로 활용되며, 고차원적인 텍스트 처리가 정상적으로 이루어지는지 판단하는 근거가 된다.

RLHF

— 인간의 선호도를 보상 모델로 학습시켜 LLM의 출력을 정렬하는 기법이다. 본문에서는 RLHF가 인간의 복잡한 판단을 단순한 이진법적 선호도로 압축하여 아첨과 같은 세밀한 품질 저하를 잡아내지 못하는 한계를 지적한다.