물리 법칙을 위반하는 LLM을 포착하는 새로운 벤치마크 'Lawbreaker' 공개

대체로 긍정적이며, LLM의 물리적 추론 한계를 명확히 짚어낸 벤치마크 설계에 대해 흥미롭다는 반응이 많다.

• 물리 계산이 포함된 LLM 애플리케이션 개발 시 SymPy와 같은 기호 수학 라이브러리를 연동하여 계산 정확도를 보장해야 한다.
• LLM에 물리 문제를 질문할 때 단위(Unit)를 명확히 지정하고 유도 질문에 빠지지 않도록 프롬프트를 설계해야 한다.

• LLM의 물리 추론 성능은 모델 규모보다 단위 변환 및 적대적 유도 질문에 대한 방어 능력에 더 큰 영향을 받는다.
• SymPy와 Pint를 결합한 기호 수학 기반 평가 방식은 LLM-as-judge 방식의 모호함을 제거하고 객관적인 성능 지표를 제공한다.
• 절차적 문제 생성 기법을 활용하면 고정된 데이터셋 암기를 통한 성능 부풀리기를 방지하고 모델의 실제 이해도를 정확히 측정할 수 있다.