Chips&Media targets AI memory bottlenecks with new compression IP
Chips&Media has announced a data compression technology aimed at one of the constraints in artificial intelligence hardware: moving data fast enough to keep processors busy. The South Korean semiconductor intellectual property supplier says its new Feature Map Compression IP marks an expansion beyond video applications into the broader multimedia and AI infrastructure markets.
칩스앤미디어(Chips&Media)가 인공지능(AI) 하드웨어의 주요 제약 사항 중 하나인 ‘프로세서가 멈추지 않도록 데이터를 충분히 빠르게 이동시키는 문제’를 해결하기 위한 데이터 압축 기술을 발표했습니다. 이 한국의 반도체 지식재산권(IP) 공급사는 자사의 새로운 피처 맵 압축(Feature Map Compression) IP가 비디오 애플리케이션을 넘어 더 넓은 멀티미디어 및 AI 인프라 시장으로의 확장을 의미한다고 밝혔습니다.
Announced on October 6, the technology targets the activation values, or feature maps, generated as neural networks process information. These intermediate results can create substantial traffic between an AI processor and external memory. When memory cannot deliver data quickly enough, even a powerful neural processing unit, or NPU, can spend time waiting instead of computing.
10월 6일에 발표된 이 기술은 신경망이 정보를 처리할 때 생성되는 활성화 값(activation values), 즉 피처 맵을 타겟으로 합니다. 이러한 중간 결과물들은 AI 프로세서와 외부 메모리 사이에 상당한 트래픽을 유발할 수 있습니다. 메모리가 데이터를 충분히 빠르게 전달하지 못하면, 강력한 신경망 처리 장치(NPU)조차도 연산 대신 대기하는 데 시간을 허비하게 됩니다.
Chips&Media’s approach is to compress that data as it moves through the system, then reconstruct it exactly when needed. The company says its core compression algorithm and C-model are ready, with hardware implementation scheduled for completion in the first quarter of 2027. The announcement therefore introduces a development program with reported algorithm-level results, rather than a completed hardware implementation.
칩스앤미디어의 접근 방식은 시스템을 통해 이동할 때 해당 데이터를 압축하고, 필요할 때 정확히 다시 복원하는 것입니다. 회사는 핵심 압축 알고리즘과 C-모델이 준비되었으며, 하드웨어 구현은 2027년 1분기 완료를 목표로 하고 있다고 밝혔습니다. 따라서 이번 발표는 완성된 하드웨어 구현보다는 알고리즘 수준의 결과가 보고된 개발 프로그램을 소개하는 것입니다.
According to Chips&Media, testing across vision networks including ResNet, MobileNet and YOLO produced bandwidth reductions of 35.2% for FP16 data, 45.7% for BF16 and 53.5% for INT8. These formats represent different ways of storing numerical values used in AI workloads. The reported savings suggest an opportunity to reduce memory traffic, although they should not be interpreted as equivalent percentage gains in application performance.
칩스앤미디어에 따르면, ResNet, MobileNet, YOLO 등 비전 네트워크를 대상으로 테스트한 결과 대역폭 감소 효과는 FP16 데이터의 경우 35.2%, BF16은 45.7%, INT8은 53.5%로 나타났습니다. 이 포맷들은 AI 워크로드에서 사용되는 수치 값을 저장하는 다양한 방식을 나타냅니다. 보고된 절감 효과는 메모리 트래픽을 줄일 수 있는 가능성을 시사하지만, 애플리케이션 성능의 동등한 백분율 향상으로 해석되어서는 안 됩니다.
The compression is lossless, meaning decompression restores the original data without alteration. That distinction matters for chip designers seeking efficiency improvements without changing the numerical information supplied to their models. Unlike approaches that sacrifice data precision, this method is intended to preserve the values used during inference. Actual system benefits will still depend on the workload and implementation.
이 압축은 무손실(lossless) 방식으로, 압축을 풀었을 때 원본 데이터가 변경 없이 복원됨을 의미합니다. 이 구분이 중요한 이유는 모델에 제공되는 수치 정보를 변경하지 않으면서 효율성 향상을 추구하는 칩 설계자들에게 매우 중요하기 때문입니다. 데이터 정밀도를 희생하는 방식들과 달리, 이 방법은 추론 과정에서 사용되는 값들을 보존하는 것을 목표로 합니다. 실제 시스템상의 이점은 여전히 워크로드와 구현 방식에 따라 달라질 것입니다.
Integration is another part of the pitch. Chips&Media describes the design as a lightweight inline AXI bridge positioned between an existing NPU and the AXI bus. It says the architecture requires no internal SRAM and reuses the AXI clock, aiming to limit hardware area and simplify adoption. Support covers INT8, FP16 and BF16, with processing designed to keep pace with high-speed data flows.
통합 용이성 또한 이번 홍보의 또 다른 축입니다. 칩스앤미디어가 묘사한 설계는 기존 NPU와 AXI 버스 사이에 배치되는 경량의 인라인 AXI 브리지입니다. 회사는 이 아키텍처가 내부 SRAM을 필요로 하지 않으며 AXI 클럭을 재사용하여 하드웨어 면적을 제한하고 채택을 단순화하는 것을 목표로 한다고 밝혔습니다. 지원 범위는 INT8, FP16, BF16을 아우르며, 고속 데이터 흐름에 보조를 맞추도록 처리가 설계되었습니다.
Why it matters
The announcement addresses a practical problem in AI chip design: adding computing power does not automatically make a system faster. If a processor is constrained by memory bandwidth, additional arithmetic capacity can remain underused. Reducing the volume of data transferred could help existing compute resources do more useful work, provided compression and decompression do not introduce offsetting delays.
이번 발표는 AI 칩 설계의 실무적 문제를 다루고 있습니다. 즉, 컴퓨팅 전력을 추가한다고 해서 시스템이 자동으로 빨라지는 것은 아니라는 점입니다. 프로세서가 메모리 대역폭에 의해 제약을 받는다면, 추가적인 연산 용량은 제대로 활용되지 못한 채 남을 수 있습니다. 압축 및 복원 과정이 상쇄 효과를 낼 만한 지연을 유발하지 않는다는 전제 하에, 전송되는 데이터의 양을 줄이는 것은 기존 컴퓨팅 자원이 더 유용한 작업을 수행하도록 도울 수 있습니다.
Power consumption makes the same issue relevant to edge devices. Memory traffic contributes to energy use, and mobile or embedded products operate within tight power and thermal budgets. If the proposed IP delivers its intended benefits in silicon, designers could gain greater flexibility when balancing throughput, battery life and heat. The release, however, provides no measured system-level power savings or completed-hardware performance results.
전력 소비 문제로 인해 이와 동일한 사안이 엣지 기기에도 중요해집니다. 메모리 트래픽은 에너지 소비의 원인이 되며, 모바일 및 임베디드 제품들은 엄격한 전력 및 발열 예산 내에서 작동합니다. 만약 제안된 IP가 실리콘 상에서 의도된 이점을 제공한다면, 설계자는 처리량, 배터리 수명, 그리고 발열 사이의 균형을 맞출 때 더 큰 유연성을 얻을 수 있습니다. 다만 이번 공개에서는 측정된 시스템 수준의 절전 효과나 완성된 하드웨어의 성능 결과는 제공되지 않았습니다.
For Chips&Media, the move also broadens its commercial opportunity. The company’s established business centers on video codec IP licensed to semiconductor designers. Feature map compression extends that expertise into AI data movement, potentially giving customers another component to incorporate into their chips. Its commercial impact will depend on successful implementation, customer evaluation and eventual adoption.
칩스앤미디어 입장에서도 이번 행보는 상업적 기회를 넓히는 계기가 됩니다. 이 회사의 기존 핵심 사업은 반도체 설계자들에게 라이선스를 부여하는 비디오 코덱 IP에 집중되어 있습니다. 피처 맵 압축은 이러한 전문성을 AI 데이터 이동 분야로 확장하여, 잠재적으로 고객들에게 칩에 통합할 수 있는 또 다른 컴포넌트를 제공하게 됩니다. 그 상업적 파급력은 성공적인 구현, 고객 평가, 그리고 최종 채택 여부에 달려 있을 것입니다.
The roadmap reaches beyond vision inference. Chips&Media says it plans to explore static weight compression and compression of the key-value, or KV, cache used by large language and vision-language models. Those are future directions shaped by customer requirements and workload characteristics; they are not capabilities demonstrated by this announcement.
로드맵은 비전 추론을 넘어섭니다. 칩스앤미디어는 정적 가중치 압축 및 대형 언어 모델과 비전-언어 모델에서 사용하는 키-값(KV) 캐시의 압축을 탐색할 계획이라고 밝혔습니다. 이는 고객의 요구사항과 워크로드 특성에 의해 형성되는 미래의 방향성들이며, 이번 발표로 입증된 역량은 아닙니다.
Bottom line: The next milestone is hardware completion in Q1 2027. What matters thereafter will be evidence of achievable bandwidth savings, latency, power consumption and integration costs under representative workloads. Chips&Media has identified a meaningful bottleneck and reported promising compression results. Turning those results into dependable hardware will determine whether this expansion produces a useful building block for future AI systems.
요약하자면: 다음 이정표는 2027년 1분기의 하드웨어 완성입니다. 그 이후에 중요한 것은 대표적인 워크로드 하에서 달성 가능한 대역폭 절감, 지연 시간, 전력 소비, 그리고 통합 비용에 대한 증거가 될 것입니다. 칩스앤미디어는 의미 있는 병목 현상을 파악하고 고무적인 압축 결과를 보고했습니다. 이 결과들을 신뢰할 수 있는 하드웨어로 전환하는 과정이 향후 AI 시스템을 위한 유용한 빌딩 블록을 이끌어낼 수 있을지 여부를 결정할 것입니다.
