ThermoQA: 엔지니어링 열역학을 위한 새로운 오픈 벤치마크 출시

대체로 긍정적이며, 공학 분야의 실질적인 추론 능력을 측정할 수 있는 벤치마크의 등장을 환영하는 분위기이다.

• 복잡한 공학 계산이 필요한 경우 Claude Opus를 우선적으로 고려하되 단순 데이터 조회는 Gemini를 활용하는 것이 효율적이다.
• 임계점 근처나 특수 냉매를 다루는 계산에서는 LLM의 결과를 맹신하지 말고 CoolProp과 같은 전문 라이브러리로 교차 검증해야 한다.

• Claude Opus가 복잡한 열역학 사이클 분석에서 가장 높은 성능을 보이며 종합 1위를 기록했다.
• 단순한 물성치 암기 능력과 복잡한 공학적 추론 능력 사이에는 명확한 상관관계가 없으며 난이도가 높아질수록 모델 간 격차가 커진다.
• 임계점 근처의 비선형 구간이나 냉매(R-134a)와 같은 특정 데이터셋에 대해 모델들이 심각한 성능 저하와 편향을 보인다.
• GPT-5.4는 실행 간 결과의 일관성이 매우 높은 반면, DeepSeek-R1은 상대적으로 높은 변동성을 보였다.