LLM 기반 리뷰에서 자주 보는 세 가지 문제

LLM이 제시하는 추가 변수 목록을 검토자가 별다른 평가 없이 옮기면 검토의 질이 떨어지고 저자의 시간만 소모된다고 주장합니다. 중요한 것은 변수가 존재하는지 여부가 아니라 그 변수가 논문의 결론을 실질적으로 깎아먹을 가능성인지 판단하는 절차이며, LLM은 이 우선순위 판단에 취약하다고 지적합니다. 따라서 검토자는 LLM 출력을 그대로 옮기기보다 각 비판의 중요도를 독자적으로 평가해야 한다고 주장합니다.

LLM이 제시하는 참신성 비판이 지나치게 추상적이면 반박이 불가능해진다는 점을 문제 삼습니다. 구체적 선행연구나 동등성을 이루는 구성요소를 지목하지 않는 비판은 행동 가능한 피드백이 되지 못하며, 저자는 어디에 반박 근거를 마련해야 할지 알기 어렵다고 지적합니다. 따라서 의미 있는 비판은 특정 논문·목표·아키텍처·학습관계를 명시해야 한다는 입장을 취합니다.

LLM이 용어의 공통성만으로 방법 간 유사성을 과대평가하는 경향이 있다고 주장하며, 이는 표면적 유사성을 근거로 한 부정확한 비교로 이어진다고 말합니다. 실무적으로는 계산 구조·학습 목표·가정·응용 범위를 비교해 차이를 명확히 해야 하는데, LLM은 그러한 상세 비교를 제공하지 못하는 경우가 많습니다. 따라서 검토자는 LLM의 제안을 기술적 근거와 증거로 보강하지 않으면 무의미한 비판을 전파하게 된다고 지적합니다.