ChipAgents and NVIDIA Put Autonomous Chip Design to the Test

Source: https://semiwiki.com/eda/374909-chipagents-and-nvidia-put-autonomous-chip-design-to-the-test/

ChipAgents has introduced Build-A-Chip-Bench, a benchmark developed with NVIDIA to evaluate whether AI agents can complete digital chip design tasks from specification through physical implementation. The initiative measures progress beyond generating hardware code, asking whether autonomous systems can deliver verified layouts while satisfying interconnected engineering requirements. NVIDIA contributed technical expertise to the benchmark suite and scoring rubric.

칩에이전츠(ChipAgents)는 AI 에이전트가 사양서 작성부터 물리적 구현에 이르기까지 디지털 칩 설계 작업을 완료할 수 있는지 평가하기 위해 엔비디아(NVIDIA)와 공동 개발한 벤치마크인 ‘빌드-어-칩-벤치(Build-A-Chip-Bench)’를 선보였습니다. 이 프로젝트는 단순한 하드웨어 코드 생성 능력을 넘어, 자율 시스템이 상호 연계된 엔지니어링 요구사항을 충족하면서 검증된 레이아웃을 도출해낼 수 있는지 측정합니다. 엔비디아는 이 벤치마크 스위트와 채점 기준(scoring rubric) 마련에 기술적 전문성을 보탰습니다.

The central question is commercially significant: can an AI system sustain sound engineering decisions throughout an entire workflow? A convincing demonstration of code generation offers only a partial answer. Semiconductor companies ultimately need designs that behave correctly, operate within constraints, and survive the implementation process. Build-A-Chip-Bench brings those outcomes into the evaluation.

핵심 질문은 상업적으로 큰 의미를 갖습니다. AI 시스템이 전체 작업 흐름 동안 건전한 엔지니어링 결정을 유지할 수 있는가 하는 점입니다. 코드 생성에 대한 설득력 있는 시연은 절반의 대답에 불과합니다. 반도체 기업들이 궁극적으로 필요로 하는 것은 올바르게 작동하고, 제약 조건 내에서 운영되며, 구현 과정을 견뎌내는 설계입니다. 빌드-어-칩-벤치는 바로 이러한 결과물들을 평가 대상에 포함시킵니다.

According to ChipAgents, the benchmark covers architecture, microarchitecture, register-transfer-level design, functional verification, synthesis, floor planning, placement, clock-tree synthesis, routing, timing and power signoff, and physical verification. Its endpoint is verified GDS, the layout data representing the physical design. The breadth makes it a test of coordinated execution across stages whose requirements can pull a design in different directions.

칩에이전츠에 따르면, 이 벤치마크는 아키텍처, 마이크로아키텍처, 레지스터 전송 레벨(RTL) 설계, 기능 검증, 합성(synthesis), 플로어플래닝(floor planning), 배치(placement), 클록 트리 합성(clock-tree synthesis), 배선(routing), 타이밍 및 전력 사이노프(timing and power signoff), 그리고 물리적 검증을 아우릅니다. 그 종착점은 물리적 설계를 나타내는 레이아웃 데이터인 검증된 GDS입니다. 이처럼 폭넓은 범위 덕분에 요구사항이 설계를 서로 다른 방향으로 끌어당길 수 있는 각 단계들 사이에서 조율된 실행력을 테스트하는 장이 됩니다.

Consider a hypothetical agent designing a processing block. It might choose an architecture that produces correct results in simulation, yet creates long signal paths after placement. Fixing those paths could require additional registers, changing latency and verification assumptions. Reducing area might introduce another timing problem. Success therefore requires managing consequences, including recognizing when an earlier architectural choice needs revision.

프로세싱 블록을 설계하는 가상의 에이전트를 생각해 봅시다. 시뮬레이션에서는 올바른 결과를 도출하는 아키텍처를 선택했으나, 막상 배치가 끝난 후 긴 신호 경로를 생성하게 될 수 있습니다. 이 경로들을 수정하려면 추가 레지스터가 필요할 수 있으며, 이는 지연 시간(latency)과 검증 가정들을 바꾸게 됩니다. 면적을 줄이려다 보면 또 다른 타이밍 문제를 유발할 수도 있습니다. 따라서 성공하려면 이전의 아키텍처적 선택을 언제 수정해야 하는지 인지하는 것을 포함하여 그에 따른 후속 결과들을 관리해야 합니다.

Initial results underline that difficulty. ChipAgents reports that tested agents passed functional verification on approximately 40% of tasks on average, while approximately 10% met the required physical performance, power, and area targets. These are company-reported results under the benchmark’s conditions; they should not be interpreted as universal success rates for AI chip design.

초기 결과는 이러한 어려움을 잘 보여줍니다. 칩에이전츠에 따르면, 테스트된 에이전트는 평균적으로 전체 작업의 약 40%에서 기능 검증을 통과했으며, 약 10%만이 요구되는 물리적 성능, 전력, 면적 목표를 충족했습니다. 이는 벤치마크 조건 하에서 기업들이 자체 보고한 결과이므로, AI 칩 설계를 위한 보편적인 성공률로 해석해서는 안 됩니다.

The practical lesson is that evaluation must follow the work far enough to expose downstream weaknesses. A tool can appear productive when judged by how quickly it generates an artifact. The more useful business question is how much validated progress that artifact creates. If subsequent stages require extensive repair, the apparent time saving may disappear.

현실적인 교훈은 평가가 다운스트림의 약점을 노출할 수 있을 만큼 작업 과정을 충분히 따라가야 한다는 점입니다. 도구가 결과물을 얼마나 빨리 생성해내느냐로 판단할 때는 생산적으로 보일 수 있습니다. 하지만 더 유용한 비즈니스적 질문은 그 결과물이 얼마나 검증된 진전을 만들어내느냐입니다. 만약 후속 단계에서 광범위한 수리가 필요하다면, 겉보기의 시간 절약은 사라져 버릴 수 있습니다.

For researchers, this suggests a richer improvement agenda. Better hardware-language generation remains valuable, but agents also need effective planning, disciplined experimentation, and reliable use of engineering feedback. They must distinguish a promising modification from a regression and decide whether another expensive tool run is justified. Those capabilities concern the management of a design process as much as the quality of individual answers.

연구원들에게 이는 더 풍부한 개선 과제를 시사합니다. 더 나은 하드웨어 언어 생성도 여전히 가치가 있지만, 에이전트에게는 효과적인 계획 수립, 규율 있는 실험, 그리고 엔지니어링 피드백의 신뢰성 있는 활용도 필요합니다. 유망한 수정과 성능 저하(regression)를 구분할 수 있어야 하며, 비용이 많이 드는 다른 도구 실행이 정당한지 판단할 수 있어야 합니다. 그러한 역량은 개별 답변의 질만큼이나 설계 프로세스의 관리와도 밀접한 관련이 있습니다.

NVIDIA places the collaboration within its broader work on AI for semiconductor engineering. The company says ChipAgents uses its AI infrastructure and model-training and optimization software to develop specialized chip-design models. NVIDIA describes Build-A-Chip-Bench as a measure of progress toward autonomous engineering across the workflow, reinforcing the connection between model development and measurable implementation outcomes.

엔비디아는 이번 협업을 반도체 엔지니어링을 위한 AI 분야의 광범위한 작업의 일환으로 배치합니다. 회사는 칩에이전츠가 특화된 칩 설계 모델을 개발하기 위해 자사의 AI 인프라와 모델 학습·최적화 소프트웨어를 사용한다고 밝혔습니다. 엔비디아는 빌드-어-칩-벤치를 워크플로우 전반에 걸친 자율 엔지니어링을 향한 진전의 척도로 묘사하며, 모델 개발과 측정 가능한 구현 결과 간의 연계를 강화하고 있습니다.

For engineering managers, a benchmark of this kind could help frame more useful supplier discussions. Teams could ask where an agent succeeds, which constraints trigger failure, and how much human intervention is required. Comparisons would become more informative when they also disclose compute budgets, tool configurations, and repeatability. A headline score alone cannot capture every deployment consideration.

엔지니어링 관리자들에게 이러한 유형의 벤치마크는 더욱 유용한 공급업체 논의를 이끌어내는 데 도움을 줄 수 있습니다. 팀은 에이전트가 어디서 성공하고, 어떤 제약 조건이 실패를 유발하며, 인간의 개입이 얼마나 필요한지 질문할 수 있습니다. 컴퓨팅 예산, 도구 구성, 반복 가능성(repeatability)까지 공개할 때 비교는 더욱 유익해질 것입니다. 헤드라인 점수 하나만으로는 모든 배포 고려사항을 담아낼 수 없습니다.

The potential economic benefits remain conditional. More dependable automation could shorten iterations and let engineers explore additional design alternatives. However, benchmark performance does not establish production readiness or guarantee savings on a customer’s proprietary design. Those outcomes require validation against the customer’s tools, intellectual property, constraints, and approval processes.

잠재적 경제적 이점은 여전히 조건부입니다. 더 신뢰할 수 있는 자동화는 반복 작업을 단축시키고 엔지니어들이 추가적인 설계 대안을 탐색할 수 있게 해줄 수 있습니다. 그러나 벤치마크 성능이 생산 준비 완료를 입증하거나 고객의 독자적인 설계에 대한 비용 절감을 보장해 주는 것은 아닙니다. 그러한 결과물들은 고객의 도구, 지식재산권(IP), 제약 조건, 승인 프로세스에 대한 검증을 거쳐야만 합니다.

Bottom line: Build-A-Chip-Bench matters because it makes the distance between an impressive AI output and a completed engineering result more visible. Its immediate contribution is a demanding measurement framework. If that framework helps developers identify persistent failures and demonstrate reproducible improvements, it could guide autonomous chip design toward capabilities that semiconductor teams can assess, trust, and eventually deploy more broadly.

요약하자면: 빌드-어-칩-벤치가 중요한 이유는 인상적인 AI 산출물과 완성된 엔지니어링 결과물 사이의 거리를 더욱 가시적으로 만들어주기 때문입니다. 이 벤치마크의 즉각적인 기여는 까다로운 측정 프레임워크를 제공한다는 점입니다. 이 프레임워크가 개발자들이 지속적인 실패를 파악하고 재현 가능한 개선을 입증하는 데 도움을 준다면, 자율 칩 설계가 반도체 팀들이 평가하고, 신뢰하며, 궁극적으로 더 넓게 배포할 수 있는 역량을 향해 나아가도록 이끌 수 있을 것입니다.

Read a technical blog + benchmark details: https://chipagents.ai/newsroom/chipagents-nvidia-build-a-chip-bench

기술 블로그 및 벤치마크 상세 정보 읽기: https://chipagents.ai/newsroom/chipagents-nvidia-build-a-chip-bench