모델은 걷으라고 말한다: 표면적 휴리스틱이 LLM 추론의 암시적 제약 조건을 압도하는 방식

LLM이 겉으로 보기엔 논리적이지만 실제로는 물리적/상식적 제약 조건을 무시하고 통계적 패턴에 의존해 잘못된 결정을 내리는 현상을 분석했다. 이는 의료 진단이나 법률 자문처럼 중요한 의사결정 시스템에서 LLM을 사용할 때 발생할 수 있는 치명적인 위험을 시사한다.

LLM은 학습 과정에서 '거리가 가깝다'와 '걷는다'는 식의 통계적 상관관계를 학습하며, 이를 '휴리스틱'이라고 부른다. 하지만 실제 상황에서는 '세차를 하려면 차가 현장에 있어야 한다'는 물리적 제약 조건이 이 휴리스틱보다 우선되어야 한다. 이 논문은 모델이 이러한 암시적 제약 조건을 무시하고 표면적인 단서에만 집착하는 '휴리스틱 오버라이드' 현상을 다룬다. 연구 결과, 모델은 목표(세차)보다 단서(50m 거리)에 최대 38배 더 민감하게 반응했으며, 이는 모델이 논리적 추론보다 키워드 연관성에 의존하고 있음을 보여준다. 결국 LLM은 지식이 부족한 것이 아니라, 특정 상황에서 어떤 지식을 활성화해야 하는지 결정하는 '추론 병목' 현상을 겪고 있으며, 이를 해결하기 위해 전제 조건을 먼저 생각하게 하는 단계적 사고 방식이 필수적이다.

진단-측정-연결-처방 프레임워크를 적용했다. 먼저 인과적 폐쇄 분석을 통해 입력 문장의 목표, 거리 단서 등을 독립적으로 변형하며 결정 점수 s(x)의 변화를 측정했다. 결정 점수는 log p(WALK | x) - log p(DRIVE | x)로 계산된다. [걷기와 운전 각 선택지의 로그 확률값을 입력으로] → [두 값의 차이를 구하는 연산을 수행해] → [단일 스칼라 점수를 얻고] → [이 점수가 양수이면 걷기를, 음수이면 운전을 선호한다는 의미]이다. 또한 HOB 벤치마크를 설계하여 4가지 휴리스틱과 5가지 제약 조건을 교차 검증했으며, 각 문항에 제약 조건이 제거된 최소 대조군을 포함해 추론 실패의 원인을 격리했다. 완화 방법으로는 답변 전 필요한 전제 조건을 먼저 나열하도록 강제하는 목표 분해 프롬프팅을 사용했다.

14개 LLM 대상 실험 결과, 엄격한 평가 기준에서 어떤 모델도 75% 이상의 정확도를 기록하지 못했다. 특히 존재 제약 조건에서 평균 44.4%로 가장 낮은 성능을 보이며 물리적 위치 추론의 한계를 드러냈다. 인과 분석에서는 거리 단서가 목표보다 8.7~38배 더 강력한 영향력을 행사하는 것으로 나타났다. 목표 분해 프롬프팅 적용 시 Llama 4 Scout는 9.0%p, GPT-5.4는 6.3%p의 성능 향상을 기록했다.

모델의 의사결정 과정을 분석하기 위해 단조성 곡선 분석을 도입했다. 거리를 10m에서 100km까지 변화시키며 관찰한 결과, 모든 모델에서 시그모이드 형태의 곡선이 나타나 휴리스틱이 입력 강도에 비선형적으로 반응함을 확인했다. 또한 제약 조건이 없는 대조군에서 오히려 정확도가 떨어지는 보수적 편향이 12개 모델에서 관찰되었다. 이는 모델이 지식 부족이 아닌 추론 과정에서의 활성화 실패라는 병목 현상을 겪고 있음을 시사한다. 토큰 수준 기여도 분석 결과, 모델은 논리적 합성보다는 키워드 연관성 패턴에 더 강하게 의존하는 것으로 밝혀졌다.

HOB 벤치마크가 영어로만 구성되어 언어적 일반성이 확인되지 않았으며, 목표 분해 프롬프팅의 효과에 대한 심층적 기제 규명이 부족하다. 또한 의미론적 휴리스틱 데이터의 부족으로 해당 영역의 일반화 주장에 한계가 있다.