리버틀 기간의 추가 실험 요구가 논문의 질을 떨어뜨리는 현상에 대한 고찰

커뮤니티 반응

대체로 작성자의 의견에 깊이 공감하며, 리뷰 시스템의 형식주의가 연구자들의 창의성을 저해한다는 비판적인 반응이 주를 이룬다.

주요 논점

01찬성다수

리뷰어들의 과도한 실험 요구가 연구자들에게 불필요한 부담을 주고 연구의 본질을 해친다.

합의점 vs 논쟁점

합의점

실험은 핵심 주장을 지원하는 수준이면 충분하다
리버틀 기간은 대규모 추가 실험을 수행하기에 물리적으로 너무 짧다

논쟁점

리뷰 품질을 높이려는 노력이 오히려 형식적인 비판을 양산하고 있는가

실용적 조언

리뷰어로서 질문할 때 해당 질문이 점수 반영 여부를 명시할 것
불필요한 실험 요구에 대해서는 AC에게 논리적으로 소명하여 중재를 요청할 것

섹션별 상세

최근 3~5년간 ML 컨퍼런스의 리뷰 품질 강화 정책이 오히려 리뷰어들에게 결점을 강제로 찾아내야 한다는 압박으로 작용하고 있다. 과거에는 중대한 우려가 없으면 수용되던 논문들이 이제는 모든 리뷰어가 찬성하더라도 5~10개의 추가 실험이나 도표 작성을 요구받는 상황이다. 이러한 경향은 리뷰의 실질적 품질 향상보다는 저자들에게 행정적이고 소모적인 업무를 가중시키는 부작용을 낳았다.

리뷰어들이 요구하는 추가 실험은 대개 핵심 주장과 무관한 다른 백본 모델 적용이나 새로운 데이터셋 테스트 같은 비본질적인 가설 검증에 치중되어 있다. 리버틀이라는 짧은 시간 내에 수행된 실험에서 예상치 못한 결과가 나오면 리뷰어는 이를 논문의 결함으로 몰아세우는 'Gotcha' 수단으로 악용하기도 한다. 실험의 적절성 기준은 모든 사례를 망라하는 것이 아니라 핵심 주장을 뒷받침하기에 충분한가에 두어야 한다.

불필요한 실험 요구를 억제하기 위해 리뷰어 간의 상호 견제와 AC(Area Chair)의 적극적인 중재 역할이 필수적이다. 작성자는 리뷰어로서 참여할 때 비본질적인 실험 요구에 대해 이의를 제기하여 AC의 동의를 얻어냈던 경험을 공유하며 리뷰어들의 태도 변화를 촉구했다. 리뷰어는 자신의 질문이 평가 점수에 영향을 주는 필수 사항인지 단순한 호기심인지 명확히 구분하여 저자의 혼란을 방지해야 한다.

용어 해설

리버틀(Rebuttal): — 학술 대회 투고 후 리뷰어의 비판에 대해 저자가 답변하고 논문을 수정하는 과정이다. 리뷰어와 저자 간의 논리적 공방을 통해 논문의 최종 채택 여부가 결정되는 핵심적인 단계이다.
백본(Backbone): — 딥러닝 모델에서 입력 데이터로부터 특징을 추출하는 역할을 하는 핵심 신경망 구조이다. ResNet이나 ViT 같은 표준 구조를 다른 모델로 교체하여 성능의 일반성을 테스트하는 용도로 자주 언급된다.
영역 의장 (AC)(Area Chair): — 특정 연구 분야의 리뷰 프로세스를 총괄하며 리뷰어들의 의견을 조율하고 최종 합격 여부를 결정하는 직책이다. 리뷰어 간 의견이 갈릴 때 중재자 역할을 수행하며 실험의 필요성을 최종 판단한다.