In the Weights로 모델의 기억력과 편향을 측정하는 시도

In the Weights는 이름으로 AI 모델의 기억력을 측정하는 실험적 플랫폼이다. 모델에 대한 외부 웹 검색 없이도 누가 어떤 사람을 기억하는가를 평가하려고 고안되었으며, 여러 모델(Grok, Gemini, GPT 계열, Claude, Llama 등)에게 이름 질의를 던져 최대 10개의 결과를 설명과 신뢰도와 함께 반환받고, 유사한 서술을 묶어 강도 점수를 매긴다. 이렇게 산출된 강도 점수는 블로거의 예시처럼 641점으로 상위 6%에 들어갔고, 유명 인물들에 대해 988점의 최고치를 기록하는 등의 서로 다른 모델 간 기억력 차이를 드러낸다. 이 결과는 모델의 기억 방식과 편향 가능성을 수치적으로 비교하는 새로운 벤치마크로 작동하며, 저자들은 같은 시리즈의 서로 다른 모델이 왜 다른 결과를 내는지, 어떤 인물이 편향의 대상이 되는지, 그리고 어떤 사람은 위키피디아에 등재되어야 하는지까지 탐색하고자 한다. 이는 구글의 vanity-search에 대한 비판적 시각과 함께, LLM이 정보에 얼마나 의존하는지와 편향의 위험을 보여준다.