AI 에이전트의 실제 회로 설계 능력 측정

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

atopile 팀은 AI 에이전트가 GUI에서 회로를 그리는 능력이 아니라 실제 부품 제약을 만족하는 회로를 설계하고 검증하는 능력을 측정하기 위해 EEBench를 만들었습니다. 에이전트는 선언형 코드로 부품과 연결을 수정한 뒤 SPICE 시뮬레이션과 허용오차 코너 검사를 거치며, 전기적 성능·비용·조달 가능성이 함께 평가됩니다. EEBench V1의 13개 과제에서 Claude Opus 5가 61.6%, Grok 4.6이 57.1%를 기록했고, GPT-5.5는 42.3%에 머물렀습니다. 현재 평가는 시뮬레이션 기반 설계와 검증에 한정되므로 PCB 레이아웃, 제조와 실제 제품 시운전까지 자동화했다는 뜻은 아니지만, 동일한 검사 체계가 전자회로용 강화학습 환경으로도 활용될 수 있습니다.

실용적 조언

회로 설계 에이전트를 평가할 때는 GUI에서 회로를 그렸는지보다 실제 부품 모델과 허용오차 조건에서 전기적 요구사항을 통과했는지 측정하는 편이 적절합니다.
명목 부품값만으로 설계를 검증하지 말고 제조사 데이터시트의 전압 의존성, 허용오차, 패키지와 비용을 SPICE 모델에 반영한 뒤 최악 조건에서 다시 시뮬레이션해야 합니다.
atopile처럼 부품과 연결을 선언형 코드로 표현하면 에이전트가 화면 좌표를 추적하는 대신 설계 구조를 직접 수정하고, 동일한 프로젝트에서 빌드와 시뮬레이션 결과를 확인할 수 있습니다.

섹션별 상세

일반적인 CAD GUI 조작은 에이전트가 회로 지식보다 좌표, 메뉴와 화면 상태를 추적하는 데 많은 컨텍스트를 쓰게 만듭니다. EEBench는 atopile의 선언형 코드로 부품, 연결과 전기적 제약을 직접 다루게 하여 설계 수정, 빌드, 시뮬레이션과 실패 확인을 같은 프로젝트 안에서 수행하게 합니다. 그 결과 평가가 컴퓨터 사용 능력보다 전자공학 설계 능력에 더 집중됩니다.

주거용 에너지 미터 과제에서는 5V 공급이 사라진 뒤 프로세서를 20ms 동안 유지하고 보호 전압을 3.0V 이상으로 보존해야 합니다. 모델은 커패시터를 추가하는 방향을 쉽게 찾지만, 실제 세라믹 커패시터의 전압에 따른 유효 용량 감소, 부품 허용오차, 비용, 공간과 재충전 속도까지 함께 맞춰야 합니다. 한 제출물은 보호 레일이 4.55V 부근에서 시작했지만 0.85ms 만에 3V 아래로 떨어져 필요한 20ms를 충족하지 못했습니다.

더 어려운 아날로그 과제에서는 연산증폭기 기반 다중 피드백 저역통과 필터의 저항·커패시터 비율을 정하고, 모든 부품 허용오차 코너에서 극점, 이득, 차단 주파수와 Q값을 사양 안에 유지해야 합니다. 평가 하네스는 코너별 SPICE 회로를 다시 만들고 AC·과도 응답을 실행한 뒤, 이름이 지정된 프로브의 측정값을 하한·상한 사양과 비교합니다. 따라서 교과서의 명목값 계산만으로는 통과할 수 없고 제조사 데이터시트 기반 부품 선택까지 필요합니다.

EEBench의 채점은 제출물을 빌드하고 회로 그래프와 부품 목록을 만든 뒤, 전압·이득·임계값·리플·과도 응답과 허용오차 조건을 결정론적으로 측정하는 방식입니다. 기술 점수는 기준 부품 목록 대비 비용 효율과 결합되지만, 회로가 먼저 작동해야 비용 절감이 점수에 반영됩니다. 이는 코딩 에이전트에 컴파일러와 테스트를 제공하는 방식과 비슷하되, 테스트 대상이 코드 결과가 아니라 실제 전압과 부품 동작이라는 차이가 있습니다.

2025년 9월 1일 결과에서 Claude Opus 5는 13개 과제 평균 61.6%로 1위를 기록했고, Grok 4.6은 57.1%, Claude Fable 5.1은 56.4%였습니다. xAI는 Grok 4.6 모델 카드의 공학 가속 항목에 EEBench를 포함했으며, 공개 실행에서는 높은 추론 노력 설정으로 60.0%를 기록했습니다. 반면 OpenAI 모델 중 GPT-5.5는 42.3%, GPT-5.6 Sol은 39.4%였고 GPT-6 Astra의 EEBench 결과는 아직 없습니다.

현재 EEBench V1은 시뮬레이션을 통한 아날로그·디지털 설계와 검증만 평가하며, PCB 레이아웃, 제조와 완제품 시운전은 포함하지 않습니다. 작성자는 회로가 요구사항을 만족하는지, 어느 동작 코너에서 실패했는지, 설계가 불필요하게 비싼지 확인할 수 있다는 점을 강화학습의 보상 신호로 활용하려 합니다. 따라서 이번 결과는 AI가 모든 제품을 한 번에 설계한다는 의미보다, 제한된 회로 문제에서 요구사항과 검증 루프를 수행하는 능력이 이미 측정 가능한 수준에 도달했다는 의미에 가깝습니다.

용어 해설

EEBench 회로 설계 벤치마크(EEBench): — AI 에이전트가 실제 부품 제약을 반영한 아날로그·디지털 회로를 설계하고, SPICE 시뮬레이션과 요구사항 검사를 통과하는지 측정하는 공개 평가 환경입니다. 전기적 성능뿐 아니라 부품 비용과 조달 가능성까지 점수에 반영합니다.
선언형 코드(Declarative Code): — 회로를 화면에서 선으로 그리는 대신 부품, 연결, 전기적 제약을 코드로 기술하는 방식입니다. 에이전트가 GUI 좌표와 메뉴 상태를 추적하지 않고 설계 구조를 직접 수정하며, 빌드·시뮬레이션·실패 원인 확인을 하나의 프로젝트 안에서 수행하게 합니다.
SPICE 시뮬레이션(SPICE Simulation): — 회로의 전압, 전류, 주파수 응답과 과도 응답을 수치적으로 계산하는 회로 시뮬레이션 방식입니다. EEBench는 입력 전원 차단, 전원 복귀, 부품 허용오차 조건을 적용한 뒤 측정값을 요구사항의 상한·하한과 비교합니다.
허용오차 코너(Tolerance Corner): — 저항과 커패시터 같은 부품이 명목값에서 벗어나는 최악의 조합을 가리킵니다. EEBench는 제조사 데이터시트의 실제 부품 특성을 SPICE 모델에 반영하고, 각 코너에서 이득·차단 주파수·Q값·과도 응답이 사양을 유지하는지 검사합니다.
강화학습 환경(RL Environment): — 모델의 행동 결과를 보상 신호로 변환해 후속 학습에 사용하는 시뮬레이션 환경입니다. EEBench에서는 전압 한계 위반, 실패한 동작 조건, 불필요하게 비싼 부품 선택 같은 결과를 구체적인 피드백으로 제공할 수 있습니다.

코드 예제

ato v2 ELEC

@STD::Import { .project &= "electronics" .org &= "atopile" } .Submission: @type { .vin: ELEC::ElectricPower .vhold: ELEC::ElectricPower .vhold.lv ~ .vin.lv .c_bank: ELEC::Capacitor { .capacitance &= 22uF +/- 20% .max_voltage &= 10V..25V .temperature_coefficient &= "X5R" .package &= "0805" } .vhold.hv ~> .c_bank ~> .vhold.lv }

atopile의 선언형 회로 코드로 전원 유지용 22uF 커패시터의 용량 허용오차, 전압 범위, X5R 유전체와 0805 패키지를 지정하고 전원 레일에 연결합니다.

언급된 도구

atopile추천

선언형 코드로 회로의 부품, 연결과 전기적 제약을 표현하고 에이전트가 설계를 수정하게 하는 도구입니다.

ngspice중립

제출된 회로의 전원 차단, 전원 복귀, AC 응답과 과도 응답을 계산하는 SPICE 시뮬레이션 엔진입니다.

KiCad중립

OpenAI의 GPT-6 Astra 회로 보드 데모에서 AI가 작업한 그래픽 회로 설계 도구입니다.