InCoder-32B-Thinking: 산업용 코드 사고를 위한 산업 코드 월드 모델

섹션별 상세

산업용 코드 개발에서 하드웨어 제약 조건과 타이밍 시맨틱을 반영한 추론 데이터가 부족한 것이 기존 모델의 주요 병목이었다. 칩 설계나 GPU 최적화 같은 전문 분야는 단순 코드 작성을 넘어 하드웨어 자원의 물리적 동작에 대한 깊은 이해가 필요하지만 관련 데이터셋은 매우 희소하다. 이 연구는 이러한 데이터 공백을 메우기 위해 전문가의 사고 과정을 모방하는 합성 데이터 생성 방식을 도입했다. 하드웨어와 소프트웨어의 상호작용을 명시적으로 학습할 수 있는 환경을 구축한 것이 핵심적인 차별점이다.

오류 기반 사고 사슬(ECoT) 프레임워크는 환경의 오류 피드백을 활용해 다회차 대화 형식으로 사고 과정을 합성한다. 모델이 코드를 작성하고 실행 환경에서 발생한 오류를 받아 이를 분석하고 수정하는 과정을 사고 사슬(Chain-of-Thought)에 포함시킨다. 이를 통해 단순히 정답 코드만 학습하는 것이 아니라 오류를 인지하고 해결하는 논리적 흐름을 모델링할 수 있다. 실제 산업 현장에서 엔지니어가 겪는 디버깅 과정을 데이터화하여 모델의 실전 추론 능력을 강화했다.

산업 코드 월드 모델(ICWM)은 Verilog 시뮬레이션 및 GPU 프로파일링 등의 도메인 특화 실행 추적 데이터를 학습한다. 코드가 실제 하드웨어 자원 점유나 연산 성능에 어떤 영향을 미치는지 인과 관계를 파악하여 실행 결과를 미리 예측하는 능력을 갖춘다. 실제 컴파일이나 시뮬레이션 없이도 코드의 유효성을 자체 검증할 수 있는 가상 환경 역할을 수행한다. 하드웨어 동작의 물리적 특성을 코드 생성 과정에 내재화하여 생성된 코드의 신뢰성을 높였다.

제안된 모델은 일반 코딩 벤치마크와 산업 특화 벤치마크 모두에서 뛰어난 성능을 입증했다. LiveCodeBench v5에서 81.3%를 기록했으며, 산업용 벤치마크인 CAD-Coder에서 84.0%, KernelBench에서 38.0%의 성과를 냈다. 이는 기존 오픈소스 모델들을 크게 상회하는 수치로, 산업 도구 체인을 통한 검증 과정이 유효했음을 보여준다. 복잡한 산업용 작업에서 자연스러운 사고 깊이 분포를 가진 학습 데이터를 생성한 결과로 평가된다.

용어 해설

사고 사슬(Chain-of-Thought): — 모델이 최종 답변에 도달하기 전 중간 추론 단계를 생성하도록 유도하는 기법이다. 복잡한 논리적 단계가 필요한 문제에서 모델의 정확도와 투명성을 높이는 데 기여한다. 이 아티클에서는 오류 수정 과정을 포함한 추론 경로를 생성하는 데 사용된다.
베릴로그(Verilog): — 디지털 회로 및 하드웨어를 설계하고 시뮬레이션하기 위해 사용하는 하드웨어 기술 언어(HDL)이다. 칩 설계의 핵심 도구로, 코드의 논리가 실제 하드웨어의 물리적 동작과 타이밍으로 변환되는 과정을 정의한다.
월드 모델(World Model): — 환경의 상태 변화와 인과 관계를 학습하여 특정 행동에 따른 미래 결과를 예측하는 내부 시뮬레이션 모델이다. 여기서는 코드가 하드웨어 자원과 성능에 미치는 영향을 예측하여 실행 전 자체 검증을 가능하게 한다.
GPU 프로파일링(GPU Profiling): — GPU에서 실행되는 프로그램의 성능 데이터를 수집하고 분석하여 병목 지점이나 자원 사용 효율을 파악하는 과정이다. 하드웨어 최적화 코드를 작성할 때 성능 지표를 확인하고 개선 방향을 결정하는 근거가 된다.
타이밍 시맨틱(Timing Semantics): — 하드웨어 동작에서 신호의 전달 지연, 클록 주기, 데이터 처리 순서 등 시간과 관련된 논리적 제약 조건을 의미한다. 산업용 코드 개발 시 하드웨어의 물리적 한계를 준수하기 위해 반드시 고려해야 하는 핵심 요소이다.

기술

InCoder-32B-Thinking
ECoT
ICWM
Verilog
GPU Profiling

활용 사례

자동화된 칩 설계 및 Verilog 코드 생성
GPU 커널 최적화 및 성능 프로파일링 기반 코드 수정
임베디드 시스템의 하드웨어 제약 준수 코드 합성

언급된 리소스

논문InCoder-32B-Thinking: Industrial Code World Model for Thinking