Chain-of-Thought(CoT)는 만능인가? 대역폭 우회 이론과 실증적 검증

주요 논점

01중립분열

CoT의 효과가 작업의 복잡도와 모델의 연산 대역폭에 의존한다는 가설을 제시하고 검증을 요청함.

CoT는 모든 작업에서 성능을 높이는 것이 아니라, 모델의 단일 패스(single-pass) 연산 능력을 초과하는 고난도 작업에서만 효과적이다. 이 가설은 트랜스포머의 연산 대역폭이 제한적이라는 이론적 배경에 근거한다.

GSM8K, MATH와 같은 고난도(High-depth) 작업에서는 CoT 사용 시 정확도가 54~68%p 향상되어 필수적인 것으로 나타났다. 이는 단일 패스 연산만으로는 해결할 수 없는 복잡한 추론 문제를 CoT가 보완함을 의미한다.

MMLU, ARC와 같은 단순(Shallow) 작업에서는 CoT가 불필요하며, 정확도 변화가 0.0~4.6%p에 그쳐 연산 자원만 낭비하는 결과를 보였다. 이는 이미 단일 패스 내에서 처리가 가능한 작업임을 시사한다.

HumanEval과 같은 중간 난이도 작업에서는 모델 크기에 따른 성능 차이가 극명하며, 32B 모델은 68.9%p 향상된 반면 7B 모델은 27.4%p 하락하여 오히려 노이즈가 발생했다. 이는 모델의 파라미터 규모가 CoT의 효용성에 영향을 미침을 보여준다.

작성자는 CoT를 아키텍처적 대역폭을 우회하는 기법으로 정의하며, 이 이론적 프레임워크가 타당한지 확인하기 위해 커뮤니티의 검토를 구했다. 특히 소형 모델의 성능 저하 원인에 대한 대안적 설명을 요청했다.