인간의 설계 없이 스스로 진화하는 추론 구조: DAG 기반 자동 추론 전략 탐색 연구

작성자가 직접 수행한 연구 프로젝트에 대해 긍정적인 반응이 주를 이루며, 특히 소형 모델에서 구조적 최적화만으로 성능을 끌어올린 접근 방식에 흥미를 보이고 있습니다.

• 특정 도메인의 문제를 풀 때 고정된 CoT 프롬프트만 쓰지 말고, 문제의 특성에 맞는 DAG 구조를 탐색해 보는 것이 성능 향상에 도움이 된다.
• 컴퓨팅 자원이 부족한 경우 소형 모델(1.5B~3B)과 진화 알고리즘을 결합하여 효율적인 추론 파이프라인을 설계할 수 있다.

DAG

— 노드와 방향성이 있는 간선으로 이루어져 있으며 한 노드에서 시작해 다시 자기 자신으로 돌아오는 경로가 없는 그래프 구조이다. 이 프로젝트에서는 추론 연산을 노드로, 정보의 흐름을 간선으로 정의하여 복잡한 사고 과정을 구조화하는 데 사용됐다.

Evolutionary Algorithm

— 생물의 진화 과정을 모방하여 돌연변이, 교차, 선택 등의 연산자를 통해 최적의 해를 찾아가는 탐색 알고리즘이다. 인간이 설계한 추론 구조 대신 AI가 스스로 가장 효율적인 사고의 연결망(토폴로지)을 찾아내도록 하는 데 적용됐다.

Topology

— 컴퓨터 네트워크나 데이터 구조에서 요소들이 연결된 물리적 또는 논리적 형태를 의미한다. 본 연구에서는 추론 단계들이 어떤 순서와 병렬 구조로 배치되어 최종 결론에 도달하는지에 대한 논리적 연결 구조를 뜻한다.