LLM 설명 가능성(XAI) 입문: 동적 평가와 관측성

섹션별 상세

기존의 정적 벤치마크는 모델이 실제 추론 능력을 증명하기보다 테스트 데이터를 암기하는 경향을 보여, 새로운 동적 평가 프레임워크의 필요성이 대두되었다.

근거

SMILE(Statistical Model-Agnostic Interpretability with Local Explanations)과 같은 프레임워크는 프롬프트의 미세한 변화가 출력에 미치는 영향을 통계적 거리 측정으로 분석하여 모델의 의사결정 과정을 시각화한다.

근거

SMILE 기반 프레임워크는 프롬프트의 미세한 변화가 출력에 미치는 영향을 분석하여 입력 단어의 영향력을 시각화한다. — LLM Explainability 섹션

대규모 폐쇄형 모델의 높은 API 비용 문제를 해결하기 위해 소규모 오픈소스 모델을 프록시로 활용하여 해석 가능성을 확보하는 기법이 연구되고 있다.

근거

소규모 오픈소스 모델을 프록시로 활용하면 대규모 모델의 API 호출 비용을 절감하면서도 높은 수준의 해석 가능성을 확보할 수 있다. — LLM Explainability 섹션

CometLLM과 같은 관측성 도구는 프롬프트 반복, 메타데이터, 실행 추적을 기록하여 수학적 이해 없이도 파이프라인 디버깅과 워크플로 재현을 가능하게 한다.