OpenAI가 브로드컴과 함께 약 16개월 만에 개발한 자체 추론 ASIC '할라페뇨(Jalapeño)'가 Hot Chips에서 공개되었습니다. 특정 모델에 특화되지 않은 범용 추론 칩임에도, MTP 없이 엔비디아·AMD·구글 칩을 테스트한 모든 오픈소스 모델에서 perf/W(전력 대비 성능)와 토큰 처리량을 능가했습니다. 1세대 칩으로는 이례적인 경쟁력으로, AI를 활용한 칩 설계 가속화가 실제임을 보여주는 사례입니다.
Cerebras가 기존 WSE-3 칩을 그대로 사용하면서 전력 공급과 냉각 개선을 통해 클럭 속도를 높여 CS-3 대비 2배 성능을 낸 CS-4 AI 가속기를 공개했습니다. 랙 단위 제품으로 사용자당 초당 최대 4,400 토큰을 처리하며, 엔비디아 GPU 기반 대비 최대 30배 빠르다고 주장합니다. OpenAI가 Codex Spark에 이 하드웨어를 사용하는 등 실제 도입 사례가 있다는 점에서 주목할 만합니다.
중국 AI 스타트업 딥시크가 엔비디아 및 화웨이 칩에 대한 의존도를 낮추기 위해 자체 AI 반도체 설계에 착수했습니다. 이 칩은 모델 학습이 아닌 사용자 응답을 생성하는 인퍼런스(Inference) 단계에 최적화되도록 설계되며, 프로젝트는 초기 단계지만 딥시크는 엔지니어를 비공개로 채용하며 본격적인 칩 개발을 준비 중입니다. 이와 함께 딥시크는 500억~590억 달러의 기업가치를 바탕으로 사상 최초로 외부 자금 유치에 나서는 등 자체적인 AI 생태계 구축에 박차를 가하고 있습니다.
기존의 '모델이 클수록 좋다'는 AI 업계의 통념이 깨지고, 기업들은 비용 압박으로 인해 소형 모델로 눈을 돌리고 있습니다. 코인베이스 공동 창업자는 80%의 작업이 99% 저렴한 모델로 대체될 것이라 예측했으며, 실제 테스트에서도 품질 손실 없이 비용을 크게 절감한 사례가 확인되었습니다. 이는 AI 경제학을 근본적으로 바꾸고, 막대한 자본을 투자받은 대형 AI 연구소들에게 큰 재정적 타격을 줄 수 있는 중요한 변화입니다.