로컬 LLM의 추론 허점을 찾아내는 역사 및 물리 상식 테스트 프롬프트 공유

실용적 조언

LLM의 논리력을 테스트할 때 물리적 거리와 도구 사용의 인과 관계를 묻는 질문을 활용하여 모델의 상식 수준을 판별하라.
역사적 질문을 던질 때 모델이 가장 핵심적인 기술적 성취를 답변의 서두에 배치하는지 확인하여 정보 가공 능력을 평가하라.

섹션별 상세

역사적 기술 지식의 핵심 파악 능력 테스트를 위해 Apple A6의 Swift 마이크로아키텍처나 Pentium D의 듀얼 다이 구조와 같은 기술적 변곡점을 모델이 가장 먼저 언급하는지 확인한다. 단순한 사실 나열이 아닌 역사적으로 가장 유의미한 정보를 우선순위에 두는 지능을 측정하여 모델의 정보 가공 능력을 평가한다. Apple A6 질문에서 Swift 아키텍처를 언급하지 못하면 해당 테스트를 통과하지 못한 것으로 간주한다.

물리적 공간과 도구 사용의 인과 관계를 검증하기 위해 50m 거리의 세차장에 차를 타고 갈 것인지 또는 방 건너편의 펜을 가져올 것인지와 같은 질문을 던진다. 많은 모델이 도구를 확보해야 하는 물리적 전제 조건을 무시하고 즉시 행동을 시작하라고 답변하는 논리적 허점을 보였다. 이는 모델이 텍스트상의 논리는 이해하지만 실제 물리 세계의 제약 조건을 반영하지 못함을 시사한다.

모델 아키텍처별 추론 성능의 비일관성을 확인한 결과 Gemma 27B Thinking 모델이 실패한 물리 논리 문제를 26B MoE 모델은 통과하는 사례가 발견됐다. 이는 모델의 파라미터 규모나 유형에 따라 추론 결과가 상이하게 나타날 수 있음을 보여준다. 특정 모델이 모든 유형의 논리 문제에 만능이 아니므로 다양한 시나리오 기반의 교차 테스트가 필수적이다.

프롬프트 어휘의 미세한 변화에 따른 결과 변동성을 테스트한 결과 즉시(immediately)와 같은 특정 단어의 유무에 따라 답변 성공 여부가 극명하게 갈렸다. 26B MoE 모델의 경우 특정 단어가 빠지면 논리적으로 실패하는 모습을 보였다. 이는 모델의 추론 과정이 언어적 뉘앙스에 매우 민감하게 반응하며 견고한 논리 구조를 갖추지 못했을 가능성을 뒷받침한다.

용어 해설

전문가 혼합(MoE): — Mixture of Experts의 약자로, 모델의 전체 파라미터 중 입력값에 적합한 일부 네트워크(전문가)만 활성화하여 연산 효율을 높이는 아키텍처이다. 로컬 환경에서 적은 자원으로 대형 모델의 성능을 내기 위해 주로 사용된다.
양자화(Quantization): — 모델의 가중치 데이터를 16비트에서 4비트나 6비트 등 낮은 정밀도로 변환하여 메모리 사용량을 줄이고 추론 속도를 높이는 최적화 기법이다. Q6_K, IQ4_NL 등은 특정 양자화 알고리즘과 비트 수를 의미한다.
추론 모델(Reasoning Model): — 답변을 생성하기 전 내부적인 사고 체인(Chain of Thought)을 거치도록 설계된 모델이다. 복잡한 논리 문제 해결에 유리하지만, 때로는 단순한 물리적 상식 문제에서 과잉 사고로 인해 오류를 범하기도 한다.

언급된 도구

Gemma중립

Google의 오픈 소스 LLM으로, 본문에서는 추론 기능이 강화된 버전이 테스트 대상으로 사용됐다.

MoE중립

Mixture of Experts 아키텍처를 사용하는 모델로, 특정 논리 테스트에서 Gemma보다 나은 결과를 보이기도 했다.