물리 법칙을 위반하는 LLM을 포착하는 새로운 벤치마크 'Lawbreaker' 공개

커뮤니티 반응

대체로 긍정적이며, LLM의 물리적 추론 한계를 명확히 짚어낸 벤치마크 설계에 대해 흥미롭다는 반응이 많다.

주요 논점

01중립다수

Gemini Pro 모델이 Flash 모델보다 낮은 점수를 기록한 원인에 대한 분석이 필요하다.

합의점 vs 논쟁점

합의점

LLM은 단순한 물리 공식 암기를 넘어 단위 변환과 적대적 유도 질문에 매우 취약하다.
Bernoulli 방정식과 같은 복잡한 물리 법칙은 현재 LLM 수준에서 해결하기 매우 어렵다.

논쟁점

모델의 크기와 물리 추론 성능이 반비례하는 현상이 다른 모델군(OpenAI, Claude)에서도 나타날지 여부.

실용적 조언

물리 계산이 포함된 LLM 애플리케이션 개발 시 SymPy와 같은 기호 수학 라이브러리를 연동하여 계산 정확도를 보장해야 한다.
LLM에 물리 문제를 질문할 때 단위(Unit)를 명확히 지정하고 유도 질문에 빠지지 않도록 프롬프트를 설계해야 한다.

섹션별 상세

LLM이 물리 문제에 대해 자신 있게 오답을 내놓는 현상을 해결하기 위해 SymPy와 Pint 라이브러리를 결합한 'Lawbreaker' 벤치마크를 구축했다. 이 시스템은 LLM을 판독기로 사용하는 대신 기호 수학을 통해 정답을 직접 계산하므로 주관적인 평가를 배제하고 수학적 정확성만을 기준으로 채점한다. 옴의 법칙과 뉴턴의 법칙을 포함한 28가지 물리 법칙을 포함하며, 절차적 생성을 통해 모델이 학습 데이터로 문제를 암기했을 가능성을 차단한다.

벤치마크는 앵커링 편향, 단위 혼동, 공식 함정이라는 세 가지 적대적 기법을 사용하여 LLM의 논리적 허점을 정밀하게 타격한다. '동료가 전압을 35V라고 했다'는 식의 유도 질문을 던져 모델이 오답에 동조하는지 확인하거나, mA와 A 단위를 혼합하여 계산 실수를 유도하는 방식이다. 특히 운동 에너지 공식에서 1/2 계수를 누락하거나 열 손실을 무시하는 등의 공식 적용 오류를 효과적으로 포착한다.

Gemini 모델 7종을 대상으로 한 초기 테스트 결과, 모델의 체급과 물리 문제 해결 능력이 비례하지 않는 의외의 현상이 발견됐다. Gemini 3.1 Pro Preview는 22.1%라는 낮은 점수를 기록하며 하위 모델인 Flash-lite(72.9%)보다 크게 뒤처졌는데, 이는 Pro 모델이 특정 공식 함정에 더 취약했기 때문이다. 모든 모델이 Bernoulli 방정식에서 0%를 기록한 것은 Pa와 atm 같은 압력 단위 변환이 LLM의 물리 추론에 있어 가장 치명적인 약점임을 입증한다.

용어 해설

기호 수학(Symbolic Math): — 수식이나 기호를 숫자로 계산하지 않고 기호 자체로 처리하는 방식이다. LLM의 수치적 오류를 방지하고 정확한 물리 공식 유도를 가능하게 하여 평가의 신뢰성을 높이는 역할을 한다.
앵커링 편향(Anchoring Bias): — 처음 제시된 정보에 과도하게 의존하여 판단을 내리는 인지 편향이다. 벤치마크에서는 오답을 미리 제시하여 LLM이 논리적 근거 없이 그 오답에 동조하는지 테스트하는 용도로 활용된다.
절차적 생성(Procedural Generation): — 알고리즘을 통해 데이터를 자동으로 생성하는 기법이다. 고정된 데이터셋 대신 무한한 변형 문제를 만들어 모델이 학습 과정에서 문제를 암기하는 오염 문제를 원천 차단하는 효과가 있다.

언급된 도구

SymPy추천

기호 수학 계산 및 정답 도출

Pint추천

물리 단위 정의 및 변환 검증

언급된 리소스

GitHubLawbreaker GitHub Repository

문서Lawbreaker HuggingFace Dataset